Kāpēc atkārtojamība ir svarīgāka par demonstrācijām
Otrais izpildījums ir patiesība
Pirmajā izpildījumā bija aplausi. Modelis atrada klauzulu, informācijas panelis iedegās, atbilde atsaucās uz pareizo dokumentu, un telpa atslāba tieši tādā veidā, kā telpas atslābst, kad budžeta pozīciju kļūst vieglāk aizstāvēt. Komanda bija rūpīgi mēģinājusies. Dati bija pietiekami tīri, jautājumi saprātīgi, tīkls uzvedās kā nākas, piegādātāja klēpjdators nebija nolēmis kļūt par mazu radiatoru, un neviens nejautāja par to vienu robežgadījumu, kas bija pieklājīgi pārcelts uz vēlāku fāzi. Tā bija laba demonstrācija. Labas demonstrācijas ir noderīgas. Tās parāda iespējas. Tās dod cilvēkiem kopīgu objektu pārrunām. Tās padara abstraktu spēju redzamu.
Tad nāca otrais izpildījums. Tas pats lietošanas gadījums, bet tagad ar pagājušās nedēļas datiem, citu operatoru, avota dokumentu ar dīvainu tabulu, politikas atjauninājumu, kas nebija nonācis līdz uzvednei, un vadītāju, kurš vēroja, jo rezultātam bija jāveido reāls lēmums. Atbilde joprojām bija raita. Tā nebija problēma. Problēma bija tā, ka neviens nevarēja pateikt, vai tā ir tā pati atbilde to pašu iemeslu dēļ, vai cita atbilde ar tādu pašu toni. Demonstrācija bija pierādījusi, ka sistēma spēj darboties. Tā nebija pierādījusi, ka organizācija spēj atkārtot sniegumu.
Šeit nopietns AI darbs maina raksturu. Demonstrācija jautā: vai mēs varam panākt, lai tas darbotos vienreiz. Darbība jautā: vai mēs varam panākt, lai tas darbotos atkal, izskaidrot, kāpēc tas darbojās, zināt, kad tas nedarbojās, un saglabāt pierādījumus, kad kāds jautā pēc sešiem mēnešiem. Atkārtojamība nav inovācijas pretstats. Tā ir tā inovācijas daļa, kas izdzīvo saskarē ar algu sarakstu, likumiem, drošību, klientiem, iedzīvotājiem, revidentiem, nogurušiem darbiniekiem un reālo datu kluso naidīgumu.
Lielākā daļa AI darbības neveiksmju nenāk kā kinematogrāfisks sabrukums. Tās nāk kā nelielas atšķirības, kuras neviens nevar atkārtot. Mainās izguves rezultāts. Uzvednes atjauninājums labo vienu gadījumu un vājina citu. Modeļa jauninājums pārvieto lēmumu robežu. Avota plūsma izlaiž lauku. Cilvēka veikta ignorēšana tiek ierakstīta vienā sistēmā, bet ne citā. Organizācijai joprojām ir strādājoša sistēma teātra nozīmē. Tai vairs nav sistēmas, kas spēj pastāstīt to pašu stāstu divreiz.
Demonstrācija slēpj garlaicīgo līgumu
Demonstrācijai ir atļauts būt izvēlīgai. Tai ir stāsts, sākums, apmierinošs klikšķis un parasti izlases datu kopa, kas ir izķemmēta kā bērns pirms skolas fotogrāfijām. Tā nav krāpšanās. Tā ir komunikācija. Problēmas sākas tad, kad organizācija jauc komunikāciju ar darbības līgumu. Demonstrācija nenosaka datu avota aktualitāti, versiju robežas, rezerves ceļus, cilvēka pārskatīšanas tiesības, kļūdu paziņojumu valodu, datu glabāšanas termiņus vai precīzu nosacījumu, saskaņā ar kuru sistēmai jāatsakās atbildēt. Šīs detaļas bieži vien atrodas tieši ārpus ekrāna, izskatās nemoderni un gaida, lai vēlāk izrakstītu rēķinu visiem.
Atkārtojamība padara līgumu redzamu. Tā jautā, kurš ievaddatu variants ir īstais ievaddatu variants, nevis tuvākā kopija. Tā jautā, kura noteikumu versija ierobežoja atbildi, nevis kura politikas lapa šķita pazīstama. Tā jautā, vai izguves secība ir stabila, vai vienādu rezultātu gadījumos izvēle ir determinēta, vai uzvednes ir versētas, vai modeļa parametrus var nosaukt, vai rīku izsaukumi tiek ierakstīti, vai operators var atkārtot gadījumu un vai ignorēšana maina darba plūsmu vai tikai rotā žurnālu. Tie nav filozofiski jautājumi. Tie ir vadi, kas nodrošina uzticamu darbu.
Grūtākais ir tas, ka atkārtojamība sākumā šķiet lēnāka. Komanda, kas dzenas pēc demonstrācijas, var izmantot ātrāko ceļu cauri dārzam. Komandai, kas veido atkārtojamību, ir jāliek bruģakmeņi, jāmarķē vārti un jāizlemj, kam pieder šķūnīša atslēga. Cilvēkiem, kuri redz tikai pirmo nedēļu, tas var šķist birokrātiski. Līdz trešajam incidentam tas sāk šķist žēlsirdīgi.
Mākslīgā intelekta sistēmas palielina vajadzību pēc šīs žēlsirdības, jo tās ievieš leģitīmu mainīgumu. Valodas modeļus var izlases veidā izmantot. Izguve var atklāt līdzīgus kandidātus. Cilvēka spriedums var atšķirties. Dokumenti var būt neskaidri. Atkārtojama sistēma neizliekas, ka pasaule ir determinēta katrā detaļā. Tā nošķir pieļaujamo mainīgumu no nepārvaldītā mainīguma. Tā nosaka, ka šis lauks var mainīties, jo lietotājs jautā dabiskā valodā, bet šī avotu kopa nedrīkst mainīties bez reģistrētām korpusa izmaiņām. Šis kopsavilkuma formulējums var atšķirties, bet atbilstības pamats nedrīkst. Šis rādītājs var mainīties pēc modeļa jaunināšanas, bet jauninājumam jābūt izsekojamam.
Viens un tas pats ievaddatu variants nav vienkārša frāze
Cilvēki saka viens un tas pats ievaddatu variants, it kā frāze būtu pašsaprotama. Reālās sistēmās tā reti ir pašsaprotama. Redzamais lietotāja jautājums ir tikai viena daļa. Faktiskais ievaddatu variants var ietvert izgūtos dokumentus, slēptās instrukcijas, sistēmas uzvednes, rīku shēmas, politikas noteikumus, lietotāja lomu, laiku, lokalizāciju, piekļuves tiesības, kešotos ierakstus, funkciju karodziņus, modeļa versiju, iegulšanas indeksu, sliekšņa iestatījumus un kluso pieņēmumu, ka vakardienas datu noliktavas atsvaidzināšana bija veiksmīga. Viens un tas pats ievaddatu variants var kļūt pārsteidzoši pārpildīta telpa.
Tāpēc atkārtojamība sākas ar ievaddatu identitāti. Sistēmai būtu jāzina, kuri ieraksti bija pieejami, kuri ieraksti tika atlasīti, kura korpusa versija tika meklēta, kura uzvednes veidne tika izmantota, kura politikas kopa tika piemērota, kurš modelis tika izpildīts, kuri rīki bija atļauti un kura cilvēka loma pieņēma izvadi. Ja tas izklausās pēc daudz, tas ir tāpēc, ka lēmumu ceļš jau bija liels. Vienīgais jautājums ir, vai organizācija to atzīst.
Atšķirība ir vissvarīgākā tad, kad rezultāti tiek apstrīdēti. Ja klients jautā, kāpēc prasība tika noraidīta, slimnīca jautā, kāpēc parādījās riska karodziņš, banka jautā, kāpēc lieta tika nodota augstākā līmenī, vai valsts iestāde jautā, kāpēc pilsonis saņēma konkrētu norādījumu, organizācija nevar atbildēt, balstoties tikai uz redzamo jautājumu. Tai ir nepieciešams darbības konteksts. Bez tā incidentu izskatīšana kļūst par pieklājīgu seansu, kurā visi piesauc žurnālus, atmiņu un ekrānuzņēmumus, vienlaikus izliekoties, ka tā ir metode.
Ievades identitāte arī aizsargā komandas no nepamatotas vainošanas. Ja rezultāts mainījās tāpēc, ka mainījās avota dokuments, tā ir satura problēma. Ja tas mainījās tāpēc, ka indekss tika pārbūvēts ar citiem parametriem, tā ir izguves problēma. Ja tas mainījās tāpēc, ka modelis tika jaunināts, tā ir izvietošanas problēma. Ja tas mainījās tāpēc, ka operators izmantoja citu darba plūsmu, tā ir procesa problēma. To visu saukt par modeļa uzvedību ir ērti un nepareizi, spēcīga kombinācija organizācijās ar aizņemtiem kalendāriem.
Atkārtojamība nenozīmē visu iesaldēt
Ir slinks iebildums, ka atkārtojamība nogalina pielāgošanos. Tā to nedara. Tā nogalina noslēpumainību. Atkārtojama darbība joprojām var uzlabot modeļus, mainīt uzvednes, atjaunināt noteikumus, tīrīt datus, pievienot avotus, noregulēt sliekšņus un pārveidot darba plūsmas. Atšķirība ir tā, ka izmaiņas kļūst par nosauktiem notikumiem, nevis par laikapstākļiem. Kad rezultāts mainās, komanda var jautāt, kura kontrolētā izmaiņa to izraisīja. Tā uzlabojumi kļūst par mācīšanos, nevis māņticību ar laidiena piezīmi.
Labākās darbības komandas izturas pret izmaiņām kā pret eksperimentiem ar robežām. Tās saglabā bāzes gadījumus. Tās veic ēnu novērtējumus. Tās salīdzina vecos un jaunos izguves rezultātus. Tās pārbauda augstas ietekmes piemērus pirms veicināšanas. Tās ieraksta, kurš apstiprināja izmaiņas un kāpēc. Tās definē atgriešanās nosacījumus pirms palaišanas zvana, nevis kamēr atbalsta kanāls kvēlo. Tā nav teatrāla piesardzība. Tā ir veids, kā komandas virzās ātrāk pēc tam, kad pirmajai sistēmai ir nozīme.
Ir arī morālā dimensija, lai gan tā ir labāka, ja to izsaka vienkārši. Ja sistēma ietekmē naudu, darbu, aprūpi, prioritātes, izpildi vai piekļuvi, cilvēki, kurus tā skar, ir pelnījuši vairāk nekā izrādi. Viņi ir pelnījuši procesu, kas spēj sevi izskaidrot. Atkārtojamība rada priekšnosacījumu šim izskaidrojumam. Jūs nevarat revidēt pazušanas aktu. Jūs varat tikai aplaudēt vai sūdzēties.
Laba atkārtojamība tāpēc atdala stabilo no elastīgā. Stabilas ir notikušā atzīmes, versiju identifikatori, novērtējumu kopa, avotu izcelsme, noteikumu īpašnieks, apstiprināšanas ceļš un atteikuma nosacījumi. Elastīgas ir metodes, ko izmanto uzlabojumiem šajās robežās. Amats ir zināt, kas ir kas. Daudzas organizācijas to apgriež. Tās iesaldē procesu, jo neviens neuzticas sistēmai, un pēc tam pieļauj slēptas tehniskas izmaiņas, jo neviens tās nevar redzēt. Tā ir pārvaldība ar žalūziju.
Novērtējumu kopa ir darba atmiņa
Katra nobriedusi darbība ir nepieciešama neliela gadījumu kopa, ko tā atsakās aizmirst. Nevis sintētisks etalons, kas izvēlēts tāpēc, ka tas izskatās iespaidīgi atskaitē, bet gan dzīva vērtēšanas kopa, kas veidota no neveiklajiem gadījumiem, kuri komandai kaut ko iemācīja. Dokuments ar pretrunīgiem datumiem. Klienta pieprasījums, kas sajauc divas politikas. Rēķins, kurā tabulas atpazīšana gandrīz darbojas. Medicīniskā piezīme ar neskaidru saīsinājumu. Iepirkuma gadījums, kurā juridiskais pamats ir svarīgāks par acīmredzamo atbildi. Šie gadījumi kļūst par institucionālo atmiņu.
Atkārtojama sistēma palaiž šos gadījumus, kad kaut kas mainās. Mērķis nav pielūgt vecos rezultātus. Dažreiz vecais rezultāts bija nepareizs. Mērķis ir saprast kustību. Vai jaunā versija uzlaboja gadījumu pareizā iemesla dēļ. Vai tā salauza trauslu, bet svarīgu uzvedību. Vai tā kļuva pārliecinātāka, vienlaikus zaudējot pierādījumus. Vai tā izvēlējās citu avotu. Vai tā radīja to pašu secinājumu ar vājāku ceļu. Nopietnā darbā ceļam ir nozīme, jo viena un tā pati atbilde nepareiza iemesla dēļ nav tā pati atbilde.
Šeit daudzas demonstrāciju vadītas programmas zaudē kontroli. Tās mēra lietotāju sajūsmu, latentumu un plašu precizitāti, bet tās netur sāpīgos gadījumus tuvumā. Rezultāts ir sistēma, kas kopumā var izskatīties labāka, vienlaikus kļūstot sliktāka tajās malās, kurām ir nozīme. Vidējie rādītāji ir noderīgi. Malas ir vieta, kur sūdzība ierodas ar pielikumiem.
Vērtēšanas kopā jāiekļauj arī atteikuma gadījumi. Sistēma, kas vienmēr atbild, nav noderīga. Tā ir uzmācīga. Atkārtojamība prasa, lai sistēma konsekventi atsakās, ja trūkst avotu, nav pilnvaru, pārliecība ir pārāk vāja, lietotājs jautā ārpus savas lomas vai uzdevums prasa cilvēka lēmumu. Atteikuma uzvedība ir daļa no kvalitātes. Skaidrs nē bieži ir vērtīgāks par burvīgu varbūt, kas tērpts pārliecībā.
Cilvēka spriedumam arī jābūt atkārtojamam
Atkārtojamība nav tikai mašīnu īpašība. Cilvēku soļiem arī nepieciešama atkārtojamība. Ja viens recenzents modela izvadi uzskata par melnrakstu, cits to uzskata par lēmumu, bet trešais par kaitinošu kolēģi, darba plūsma novirzīsies neatkarīgi no tā, cik stabila ir modelis. Organizācijai jādefinē, ko nozīmē recenzēšana. Vai cilvēks pārbauda avotus, pārbauda politiku, atlasa pierādījumus, apstiprina, rediģē valodu vai uzņemas atbildību par secinājumu. Katrs darbības vārds rada atšķirīgu pienākumu.
Operatoriem ir nepieciešamas saskarnes, kas atbalsta šos pienākumus. Ja viņiem jāpārbauda avoti, avotiem jābūt redzamiem. Ja viņiem jāpārbauda politika, noteikumu pamatam jābūt blakus izvadei. Ja viņiem jāatsauc lēmums, atcelšanas ceļam jābūt normālam, nevis paslēptam aiz pogas, kas liek justies kā nodevības atzīšanai. Ja viņiem vēlāk jāpaskaidro lēmums, sistēmai jāsaglabā tas, ko viņi redzēja tajā brīdī. Pretējā gadījumā cilvēka uzraudzība kļūst par dekoratīvu frāzi ar pievienotu darbinieka ID.
Apmācībai arī ir nozīme, bet ne tādai, kas māca cilvēkiem apbrīnot sistēmu. Noderīga apmācība parāda robežas. Tā sniedz recenzentiem spēcīgu izvadu, vāju izvadu, trūkstošu pierādījumu, novecojušu avotu, prompt injekcijas, politikas konfliktu un gadījumu piemērus, kad modelis jāignorē ar mierīgu sirdi. Tā stāsta cilvēkiem, kuras domstarpības ir gaidāmas. Tā stāsta, ka labas atcelšanas ir daļa no kontroles sistēmas. Ja katra atcelšana tiek uzskatīta par ieviešanas neveiksmi, cilvēki iemācīsies pārstāt pamanīt. Cilvēki ir adaptīvi, dažreiz neērti tādā veidā.
Procedūras pierakstīšanā ir sausa mierinājuma sajūta. Ne tāpēc, ka dokumenti būtu maģiski. Tie nav, kā to zina ikviens, kurš ir saskāries ar koplietojamo disku. Mierinājums nāk no tā, ka organizācija ir spiesta izvēlēties. Atkārtojams cilvēka solis nosaka, ka šai lomai jāveic šī pārbaude, ar šiem pierādījumiem, šajā termiņā, un lūk, kas notiek, ja pārbaude neizdodas. Pēkšņi uzraudzībai ir kauli.
Nejaušībai vajag mājas adresi
Dažās mākslīgā intelekta sistēmās nejaušība ir iebūvēta pēc dizaina. Izlases paraugu ņemšana var uzlabot valodu. Meklēšana var izpētīt alternatīvas. Agenti var izmēģināt dažādus rīku ceļus. Cilvēku atsauksmes laika gaitā var mainīt uzvedību. Nekas no tā pats par sevi nav slikts. Operacionālā kļūda ir ļaut nejaušībai dzīvot visur un nekur. Ja variācija ir noderīga, pasakiet, kur tā ir atļauta. Ja tā ir riskanta, ierobežojiet to. Ja tā notiek, ierakstiet pietiekami, lai to saprastu. Nejaušība bez adreses ir tas, kā komandas nonāk pie miglas mašīnas atkļūdošanas.
Ir praktiski paņēmieni. Izmantojiet deterministiskus iestatījumus tur, kur iznākums ir nozīmīgs un uzdevums ir ierobežots. Piespraudiet versijas un veidnes. Saglabājiet kopu momentuzņēmumus. Reģistrējiet izguves kandidātus. Atdaliet radošo melnrakstu veidošanu no lēmumu atbalsta. Ģeneratīvam tekstam, kas var mainīties, izvērtējiet apgalvojumus un avotus, nevis virsmas formulējumu. Agenta darbplūsmām ierakstiet rīku plānus, rīku rezultātus un atteikuma ceļus. Modeļu atjauninājumiem pirms datplūsmas pārvietošanas veiciet pāru salīdzinājumus. Nekas no tā nenovērš nenoteiktību. Tas dod nenoteiktībai vietu pie galda un neļauj tai klīst pa griestu paneļiem.
Atkārtojamība maina arī incidentu valodu. Tā vietā, lai teiktu, ka MI sniedza sliktu atbildi, komanda var teikt, ka atbilde izmantoja kopas momentuzņēmumu 18, politikas kopumu 12, modeļa versiju 4, uzvednes veidni 31, izgūtos dokumentus A, C un F, izlaida dokumentu B piekļuves tvēruma dēļ, un to pieņēma loma X bez eskalācijas. Šis teikums ir mazāk aizraujošs nekā sistēma izgāja no kontroles. Tas ir arī noderīgāks, kas dramatiskiem cilvēkiem ir atkārtota vilšanās.
Kad sistēma nevar sniegt šo teikumu, organizācija nedarbojas ar MI. Tā apmeklē MI. Tā vēro, reaģē, mierina un cer, ka nākamā maiņa būs labāka. Tas var būt pieņemami prototipam. Tas nav pieņemami darbam, no kura cilvēki ir atkarīgi.
Iepirkuma kļūda
Atkārtojamība ir jāiegādājas tikpat daudz, cik jāveido. Daudzi iepirkuma procesi joprojām atalgo labāko demonstrāciju. Sistēma, kas izskatās raita, ātri atbild un vadībai sniedz patīkamu modernitātes sajūtu, iegūst punktus. Sistēma, kas izskaidro pierādījumu saglabāšanu, eksporta formātu, regresijas testēšanu, deterministisko izguvi, modeļa versijas piespraušanu, uz lomu balstītu pārskatīšanu un atrites politiku, var izklausīties mazāk aizraujoša. Tā organizācijas pērk nākotnes sapulces.
Labāki iepirkuma jautājumi ir tieši. Vai mēs varam atkārtot lietu. Vai mēs varam eksportēt pierādījumu ceļu. Vai mēs varam piespraust vai nosaukt katru modeli un uzvedni, kas ietekmē atbildi. Vai izguvi var reproducēt pēc indeksa pārbūves. Vai mēs varam salīdzināt pašreizējo uzvedību ar sākotnējo kopu, kas iestatīta pirms atjauninājuma pieņemšanas. Vai cilvēka veiktās korekcijas var analizēt, nesodot noderīgu spriedumu. Vai mēs varam aiziet ar saviem ierakstiem. Vai mēs varam auditoram pateikt, kas notika, neatverot atbalsta biļeti un neaizdedzinot sveci.
Šie jautājumi neprasa naidīgumu pret piegādātājiem. Tie prasa pieaugušo attieksmi. Labam piegādātājam būtu jāspēj pateikt, kuras daļas ir atkārtojamas, kuras daļas ir varbūtības rakstura, kuri pierādījumi ir pieejami, kuri pierādījumi nav pieejami un kas pircējam jāpārvalda pašam. Pircējs, kurš nevar uzdot šos jautājumus, galu galā atklās atbildes ražošanā, kur atbildes ir dārgākas un tiek pasniegtas ar austiņām galvā.
Tā pati iepirkuma loģika attiecas arī uz iekšējiem procesiem. Platformu komandas nedrīkst pārdot demonstrāciju operāciju komandai bez atkārtojamības līguma. Datu komandas nedrīkst nodot avotus bez izcelsmes līnijas. Modeļu komandas nedrīkst izlaist uzlabojumus bez sākotnējo rādītāju salīdzinājuma. Pārvaldības komandas nedrīkst apstiprināt principus, nepārbaudot ierakstus. Visi vēlas palaišanu. Atkārtojamība ir disciplīna rūpēties par dienu pēc palaišanas.
Atkārtojamība ir laipnība pret nākotnes komandām
Atkārtojamībai ir cilvēcisks iemesls, kas reti parādās stratēģijas prezentācijās. Tā ir laipnāka. Tā ir laipnāka pret operatoriem, kuriem nevajadzētu minēt, kāpēc sistēma mainījās. Tā ir laipnāka pret inženieriem, kuriem nevajadzētu rekonstruēt incidentus no informācijas paneļa atliekām. Tā ir laipnāka pret vadītājiem, kuriem jāpieņem lēmumi uzmanības centrā. Tā ir laipnāka pret klientiem, iedzīvotājiem, pacientiem un kolēģiem, kuri ir pelnījuši atbildes, kas nav improvizētas pēc fakta. Atkārtojama sistēma samazina institucionālās izlikšanās apjomu, kas nepieciešams, lai izdzīvotu nedēļu.
Atkārtojamība arī padara godīgumu vieglāku. Kad pierādījumi ir pieejami, komandas var pateikt, ka modelis šeit neizdevās, dati tur bija novecojuši, politika bija neskaidra, recenzentam nebija pietiekami daudz konteksta vai avots trūka. Bez pierādījumiem katrs atzīšanās brīdis šķiet riskants, jo neviens nezina, kur vaina nonāks. Tāpēc cilvēki mīkstina valodu, atliek lēmumus un rada biezo miglu, kas pazīstama kā saskaņošana. Pierādījumi nepadara organizācijas drosmīgas, bet tie samazina precizitātes izmaksas.
Pārsteigumi joprojām būs. Atkārtojamība nav burvestība pret realitāti. Jauni gadījumi sagraus pieņēmumus. Lietotāji uzdos dīvainus jautājumus. Dokumenti pienāks ar formatējumu, kas izskatās, it kā tas būtu saskaņots elektrības pārtraukuma laikā. Modeļi vienā virzienā uzlabosies, citā regresēs. Mērķis nav novērst pārsteigumus. Mērķis ir padarīt pārsteigumus informatīvus, nevis lipīgus.
Tāpēc atkārtojamība ir svarīgāka par demonstrācijām. Demonstrācijas rada pārliecību, ka spēja pastāv. Atkārtojamība rada iespēju uz to paļauties. Pirmais noder sarunas uzsākšanai. Otrais ir nepieciešams darba veikšanai. Kad mākslīgā intelekta sistēma kļūst par iestādes daļu, jautājums vairs nav par to, vai tā var atstāt iespaidu uz klātesošajiem. Jautājums kļūst par to, vai tā var radīt, saglabāt un izskaidrot savu darbu parastā dienā, parastā spiedienā, ar parastiem cilvēkiem iesaistītiem. Parastās dienās nopietnas sistēmas apliecina savu vērtību.