Zakaj je ponovljivost pomembnejša od predstavitev
Drugi zagon je resnica
Prvi zagon je požel aplavz. Model je našel klavzulo, nadzorna plošča se je osvetlila, odgovor je navedel pravi dokument in prostor se je sprostil na tisti natančni način, kako se prostori sprostijo, ko je proračunsko postavko pravkar lažje zagovarjati. Ekipa je skrbno vadila. Podatki so bili dovolj čisti, vprašanja smiselna, omrežje je delovalo, prodajalčev prenosnik se ni odločil, da bi postal majhen radiator, in nihče ni vprašal o tistem robnem primeru, ki so ga vljudno prestavili v poznejšo fazo. Bila je dobra predstavitev. Dobre predstavitve so uporabne. Pokažejo možnosti. Ljudem dajo skupni predmet za razpravo. Naredijo abstraktno zmožnost vidno.
Potem je prišel drugi zagon. Isti primer uporabe, a zdaj s podatki iz prejšnjega tedna, drugim operaterjem, izvornim dokumentom s čudno tabelo, posodobitvijo pravilnika, ki ni dosegla poziva, in vodjo, ki je opazoval, ker naj bi rezultat oblikoval resnično odločitev. Odgovor je bil še vedno tekoč. To ni bil problem. Problem je bil, da nihče ni mogel reči, ali je to isti odgovor iz istih razlogov ali drugačen odgovor v istem tonu. Predstavitev je dokazala, da sistem zmore nastopiti. Ni pa dokazala, da organizacija zmore ponoviti nastop.
Tu resno delo z umetno inteligenco spremeni značaj. Predstavitev sprašuje, ali zmoremo enkrat uspešno izvesti. Operacije sprašujejo, ali zmoremo znova izvesti, pojasniti, zakaj je uspelo, vedeti, kdaj ni uspelo, in ohraniti dokaze, ko nekdo vpraša šest mesecev pozneje. Ponovljivost ni nasprotje inovacije. Je tisti del inovacije, ki preživi stik s plačami, pravom, varnostjo, strankami, državljani, revizorji, utrujenim osebjem in tiho sovražnostjo resničnih podatkov.
Večina napak pri operacijah z umetno inteligenco ne pride kot kinematografski zlom. Pridejo kot majhne razlike, ki jih nihče ne more ponoviti. Rezultat iskanja se spremeni. Posodobitev poziva popravi en primer in oslabi drugega. Nadgradnja modela premakne mejo odločanja. Vir podatkov izpusti polje. Človeški poseg je zabeležen v enem sistemu, ne pa v drugem. Organizacija ima še vedno delujoč sistem v gledališkem smislu. Nima več sistema, ki bi lahko dvakrat povedal isto zgodbo.
Predstavitev skriva dolgočasno pogodbo
Predstavitveni demo si lahko privošči selektivnost. Ima zgodbo, začetek, zadovoljiv klik in običajno vzorčni nabor podatkov, ki je bil počesan kot otrok pred šolskim fotografiranjem. To ni goljufanje. To je komuniciranje. Težave se začnejo, ko organizacija zamenja komuniciranje za operativno pogodbo. Demo ne opredeljuje svežine podatkov, meja različic, nadomestnih poti, pravic človeškega pregleda, jezika sporočil o napakah, hrambe ali natančnega pogoja, pod katerim mora sistem zavrniti odgovor. Te podrobnosti pogosto ostanejo tik ob robu zaslona, neugledne, in kasneje vsem zaračunajo svoj davek.
Ponovljivost naredi pogodbo vidno. Vpraša, kateri vnos je pravi vnos, ne katera najbližja kopija. Vpraša, katera različica pravil je omejila odgovor, ne katera stran s pravilniki se je zdela domača. Vpraša, ali je vrstni red pridobivanja podatkov stabilen, ali so izenačeni rezultati obravnavani deterministično, ali so pozivi različicirani, ali je mogoče poimenovati parametre modela, ali so klici orodij zabeleženi, ali lahko operater ponovno predvaja primer in ali sprememba spremeni potek dela ali le polepša dnevnik. To niso filozofska vprašanja. To je ožičenje, na katerem sloni zanesljivo delo.
Težava je v tem, da se ponovljivost na začetku zdi počasnejša. Ekipa, ki lovi demo, lahko izbere najhitrejšo pot skozi vrt. Ekipa, ki gradi ponovljivost, mora položiti tlakovce, označiti vrata in se odločiti, kdo ima ključ od lope. Ljudem, ki vidijo le prvi teden, je to lahko videti kot birokracija. Do tretjega incidenta se začne zdeti kot odrešitev.
Sistemi z umetno inteligenco povečujejo potrebo po tej odrešitvi, ker prinašajo legitimno variabilnost. Jezikovne modele je mogoče vzorčiti. Pridobivanje lahko izpostavi podobne kandidate. Človeška presoja se lahko razlikuje. Dokumenti so lahko dvoumni. Ponovljiv sistem se ne pretvarja, da je svet v vsaki podrobnosti determinističen. Razlikuje med dovoljeno in neobvladano variabilnostjo. Pove, da se to polje lahko spreminja, ker uporabnik sprašuje v naravnem jeziku, vendar se ta nabor virov ne sme spreminjati brez zabeležene spremembe korpusa. To povzemanje se lahko razlikuje, vendar se podlaga za upravičenost ne sme. Ta rezultat se lahko po nadgradnji modela spremeni, vendar mora biti nadgradnja sledljiva.
Enak vnos ni preprosta besedna zveza
Ljudje rečejo enak vnos, kot da bi bila besedna zveza samoumevna. V resničnih sistemih le redko je. Vidno uporabniško vprašanje je le en del. Dejanski vnos lahko vključuje pridobljene dokumente, skrita navodila, sistemske pozive, sheme orodij, pravila politik, vlogo uporabnika, čas, jezikovno okolje, pravice dostopa, predpomnjene zapise, funkcijske zastavice, različico modela, indeks vdelav, nastavitve pragov in tiho predpostavko, da je osvežitev včerajšnjega podatkovnega skladišča uspela. Enak vnos lahko postane presenetljivo polna soba.
Zato se ponovljivost začne z identiteto vnosa. Sistem bi moral vedeti, kateri zapisi so bili na voljo, kateri zapisi so bili izbrani, katera različica korpusa je bila preiskana, katera predloga poziva je bila uporabljena, kateri nabor politik je veljal, kateri model je deloval, katera orodja so bila dovoljena in katera človeška vloga je sprejela rezultat. Če se sliši veliko, je to zato, ker je bila odločitvena pot že tako obsežna. Edino vprašanje je, ali organizacija to prizna.
Ta razlika je najpomembnejša, ko so izidi sporni. Če stranka vpraša, zakaj je bil zahtevek zavrnjen, bolnišnica vpraša, zakaj se je pojavila zastavica tveganja, banka vpraša, zakaj je bil primer stopnjevan, ali javna agencija vpraša, zakaj je državljan prejel določeno navodilo, organizacija ne more odgovoriti le z vidnim vprašanjem. Potrebuje operativni kontekst. Brez njega postane pregled incidentov vljudna seansa, pri kateri vsi prikličejo dnevnike, spomin in posnetke zaslona ter se pretvarjajo, da je to metoda.
Identiteta vnosa ekipe tudi ščiti pred neupravičeno krivdo. Če se rezultat spremeni, ker se je spremenil izvorni dokument, je to vsebinska težava. Če se spremeni, ker je bil indeks znova zgrajen z drugačnimi parametri, je to težava pri iskanju. Če se spremeni, ker je bil model nadgrajen, je to težava pri uvajanju. Če se spremeni, ker je operater uporabil drugačen potek dela, je to procesna težava. Vse to imenovati vedenje modela je priročno in napačno, močna kombinacija v organizacijah s polnimi koledarji.
Ponovljivost ne pomeni zamrznitve vsega
Obstaja len ugovor, da ponovljivost ubija prilagajanje. Ne ubija je. Ubija skrivnostnost. Ponovljiva operacija lahko še vedno izboljšuje modele, spreminja pozive, posodablja pravila, čisti podatke, dodaja vire, prilagaja pragove in preoblikuje poteke dela. Razlika je v tem, da spremembe postanejo poimenovani dogodki in ne vreme. Ko se rezultat premakne, lahko ekipa vpraša, katera nadzorovana sprememba ga je premaknila. Tako izboljšanje postane učenje namesto vraževerja z opombo ob izdaji.
Najboljše operativne ekipe obravnavajo spremembe kot poskuse z mejami. Ohranjajo izhodiščne primere. Izvajajo senčne evalvacije. Primerjajo stare in nove rezultate iskanja. Pred promocijo preverijo primere z velikim vplivom. Zabeležijo, kdo je spremembo odobril in zakaj. Pogoje za umik določijo pred klicem ob uvedbi, ne medtem ko podporni kanal že gori. To ni teatralna previdnost. Tako ekipe delujejo hitreje, ko prvi sistem začne biti pomemben.
Obstaja tudi moralna razsežnost, čeprav je bolje, če je izražena preprosto. Če sistem vpliva na denar, delo, oskrbo, prednost, izvrševanje ali dostop, si ljudje, ki jih prizadene, zaslužijo več kot predstavo. Zaslužijo si proces, ki se lahko pojasni. Ponovljivost ustvarja predpogoj za to pojasnilo. Izginjajočega dejanja ne morete revidirati. Lahko samo ploskate ali se pritožujete.
Dobra ponovljivost zato ločuje stabilno od prožnega. Stabilni so zapisi o tem, kaj se je zgodilo, identifikatorji različic, nabor za evalvacijo, izvor virov, lastnik pravil, pot odobritve in pogoji zavrnitve. Prožne so tehnike, ki se uporabljajo za izboljšanje znotraj teh meja. Veščina je vedeti, kaj je kaj. Mnoge organizacije to obrnejo. Zamrznejo proces, ker nihče ne zaupa sistemu, nato pa dovolijo skrite tehnične spremembe, ker jih nihče ne more videti. To je upravljanje z rolojem.
Nabor za evalvacijo je delovni spomin
Vsaka zrela operacija potrebuje majhen nabor primerov, ki jih noče pozabiti. Ne sintetičnega merila, izbranega zato, ker se v poročilu zdi impresivno, ampak živega nabora za vrednotenje, sestavljenega iz nerodnih primerov, ki so ekipo nekaj naučili. Dokument s spornimi datumi. Zahteva stranke, ki meša dve politiki. Račun, pri katerem ekstrakcija tabele skoraj deluje. Zdravniški zapis z dvoumnimi okrajšavami. Nabavni primer, pri katerem je pravna podlaga pomembnejša od očitnega odgovora. Ti primeri postanejo institucionalni spomin.
Ponovljiv sistem te primere zažene, ko se kaj spremeni. Cilj ni čaščenje starih rezultatov. Včasih je bil stari rezultat napačen. Cilj je razumeti gibanje. Ali je nova različica izboljšala primer iz pravega razloga. Ali je zlomila krhek, a pomemben način obnašanja. Ali je postala samozavestnejša, medtem ko je izgubila dokaze. Ali je izbrala drug vir. Ali je prišla do istega zaključka po šibkejši poti. Pri resnem delu je pot pomembna, ker isti odgovor iz napačnega razloga ni isti odgovor.
Tu mnogi programi, usmerjeni v predstavitve, izgubijo nadzor. Merijo zadovoljstvo uporabnikov, zakasnitve in splošno točnost, ne obdržijo pa bolečih primerov blizu. Rezultat je sistem, ki je lahko v celoti videti boljši, medtem ko postaja slabši na robovih, ki so pomembni. Povprečja so uporabna. Na robovih prispe pritožba s prilogami.
Nabor za vrednotenje mora vključevati tudi primere zavrnitve. Sistem, ki vedno odgovori, ni v pomoč. Je vsiljiv. Ponovljivost zahteva, da sistem dosledno zavrača, ko viri manjkajo, ko pooblastilo ni prisotno, ko je samozavest prešibka, ko uporabnik sprašuje zunaj svoje vloge ali ko naloga zahteva človeško odločitev. Zavrnitveno vedenje je del kakovosti. Čist ne je pogosto vrednejši od očarljivega mogoče, oblečenega v gotovost.
Tudi človeška presoja mora biti ponovljiva
Ponovljivost ni samo lastnost strojev. Človeški koraki potrebujejo ponovljivost prav tako. Če en pregledovalec obravnava rezultat modela kot osnutek, drugi kot odločitev, tretji pa kot sitnega sodelavca, bo delovni proces zašel, ne glede na to, kako stabilen je model. Organizacija mora opredeliti, kaj pomeni pregled. Ali človek preverja vire, preverja politiko, vzorči dokaze, podpisuje, ureja jezik ali prevzema odgovornost za zaključek. Vsak glagol ustvari drugačno dolžnost.
Operaterji potrebujejo vmesnike, ki podpirajo te dolžnosti. Če morajo preverjati vire, morajo biti viri vidni. Če morajo preverjati politiko, mora biti pravna podlaga blizu rezultata. Če morajo preglasiti, mora biti pot preglasitve običajna, ne skrita za gumbom, ki deluje kot priznanje izdaje. Če morajo odločitev pozneje pojasniti, mora sistem ohraniti, kaj so videli takrat. Sicer človeški nadzor postane okrasni stavek z ID-jem zaposlenega.
Usposabljanje je prav tako pomembno, a ne tisto, ki ljudi uči občudovati sistem. Uporabno usposabljanje kaže meje. Pregledovalcem da primere močnih rezultatov, šibkih rezultatov, manjkajočih dokazov, zastarelih virov, promptnega vbrizgavanja, navzkrižja politik in primerov, ko je treba model mirno ignorirati. Pove jim, katera nesoglasja so pričakovana. Pove jim, da so dobri preglasi del nadzornega sistema. Če se vsak preglas obravnava kot neuspeh sprejetja, se bodo ljudje naučili nehati opažati. Ljudje smo prilagodljivi, včasih neprijetno.
V pisanju postopka je suha tolažba. Ne zato, ker so dokumenti čarobni. Niso, kot ve vsak, ki je spoznal skupni pogon. Tolažba prihaja iz tega, da organizacijo prisili k izbiri. Ponovljiv človeški korak pravi, da mora ta vloga opraviti to preverjanje, s temi dokazi, pod tem rokom, in to se zgodi, ko preverjanje spodleti. Nenadoma ima nadzor kosti.
Naključnost potrebuje domači naslov
Nekateri sistemi umetne inteligence po zasnovi vključujejo naključnost. Vzorčenje lahko izboljša jezik. Iskanje lahko raziskuje alternative. Agenti lahko preizkušajo različne poti orodij. Povratne informacije ljudi lahko sčasoma spremenijo vedenje. Nobeno od tega ni samo po sebi slabo. Operativna napaka je, da naključnost živi povsod in nikjer. Če je variacija uporabna, povejte, kje je dovoljena. Če je tvegana, jo omejite. Če se pojavi, zabeležite dovolj, da jo razumete. Naključnost brez naslova je tisto, zaradi česar ekipe na koncu odpravljajo napake v megli.
Obstajajo praktične tehnike. Uporabite deterministične nastavitve tam, kjer je rezultat pomemben in je naloga omejena. Pripnite različice in predloge. Hranite posnetke korpusa. Beležite kandidate za pridobivanje. Ločite ustvarjalno osnutek od podpore pri odločanju. Pri generativnem besedilu, ki se lahko spreminja, ocenjujte trditve in vire namesto površinske formulacije. Pri delovnih tokovih agentov zajemite načrte orodij, rezultate orodij in poti zavrnitve. Pri posodobitvah modelov izvedite seznanjene primerjave, preden se promet premakne. Nobeno od tega ne odstrani negotovosti. Negotovosti da stol na sestanku in ji prepreči, da bi se sprehajala skozi stropne plošče.
Ponovljivost spremeni tudi jezik incidentov. Namesto da bi rekli, da je umetna inteligenca dala slab odgovor, lahko ekipa reče, da je odgovor uporabil posnetek korpusa 18, paket pravil 12, različico modela 4, predlogo poziva 31, pridobljene dokumente A, C in F, dokument B je izpustil zaradi obsega dostopa, in ga je sprejela vloga X brez stopnjevanja. Ta stavek je manj razburljiv kot sistem je ušel izpod nadzora. Je pa tudi bolj uporaben, kar je za dramatične ljudi ponavljajoče razočaranje.
Ko sistem ne more zagotoviti tega stavka, organizacija ne upravlja umetne inteligence. Organizacija jo spremlja. Opazuje, reagira, tolaži in upa, da bo naslednja izmen boljša. To je lahko sprejemljivo za prototip. Ni pa sprejemljivo za delo, na katero se ljudje zanašajo.
Napaka pri nabavi
Ponovljivost je treba tudi kupiti, ne le zgraditi. Številni nabavni procesi še vedno nagrajujejo najboljšo predstavitev. Sistem, ki deluje gladko, hitro odgovarja in vodstvu daje prijeten občutek sodobnosti, dobiva točke. Sistem, ki pojasnjuje hrambo dokazov, izvozni format, regresijsko testiranje, deterministično pridobivanje, pripenjanje različic modela, pregled na podlagi vlog in politiko vračanja, lahko zveni manj razburljivo. Tako organizacije kupujejo prihodnje sestanke.
Boljša vprašanja pri nakupu so brez ovinkov. Ali lahko predvajamo primer. Ali lahko izvozimo pot dokazov. Ali lahko pripnemo ali poimenujemo vsak model in poziv, ki vpliva na odgovor. Ali je mogoče pridobivanje ponoviti po ponovni izgradnji indeksa. Ali lahko trenutno vedenje primerjamo z izhodiščem, določenim pred sprejetjem posodobitve. Ali je mogoče človeške posege analizirati, ne da bi pri tem kaznovali koristno presojo. Ali lahko odidemo s svojimi zapisi. Ali lahko revizorju povemo, kaj se je zgodilo, ne da bi odprli servisno zahtevo in prižgali svečo.
Ta vprašanja ne zahtevajo sovražnosti do dobaviteljev. Zahtevajo odraslost. Dober dobavitelj bi moral znati povedati, kateri deli so ponovljivi, kateri so verjetnostni, kateri dokazi so na voljo, kateri niso in kaj mora kupec upravljati sam. Kupec, ki teh vprašanj ne more zastaviti, bo odgovore prej ali slej odkril v produkciji, kjer so odgovori dražji in pridejo s slušalkami na glavi.
Ista nabavna logika velja tudi znotraj podjetja. Platformne ekipe ne smejo prodajati predstavitve operacijam brez pogodbe o ponovljivosti. Podatkovne ekipe ne smejo predati virov brez sledljivosti izvora. Modelne ekipe ne smejo izdati izboljšav brez primerjav z izhodiščem. Upravljavske ekipe ne smejo odobriti načel brez preizkusa zapisov. Vsi si želijo zagona. Ponovljivost je disciplina skrbi za torek po zagonu.
Ponovljivost je prijaznost do prihodnjih ekip
Obstaja človeški razlog za skrb o ponovljivosti, ki se le redko pojavi v strateških predstavitvah. Je prijaznejša. Prijaznejša je do operaterjev, ki ne bi smeli ugibati, zakaj se je sistem spremenil. Prijaznejša je do inženirjev, ki ne bi smeli rekonstruirati incidentov iz drobtin nadzornih plošč. Prijaznejša je do vodij, ki morajo sprejemati odločitve pod drobnogledom. Prijaznejša je do strank, državljanov, pacientov in sodelavcev, ki si zaslužijo odgovore, ki niso improvizirani naknadno. Ponovljiv sistem zmanjša količino institucionalnega pretvarjanja, potrebnega za preživetje tedna.
Ponovljivost tudi olajša poštenost. Ko so dokazi na voljo, lahko ekipe povedo, da je model tu odpovedal, da so bili podatki tam zastareli, da je bila politika dvoumna, da je imel pregledovalec premalo konteksta ali da vir manjka. Brez dokazov se vsako priznanje zdi tvegano, ker nihče ne ve, kje bo pristala krivda. Zato ljudje mehčajo jezik, odlašajo z odločitvami in ustvarjajo gosto meglo, znano kot usklajevanje. Dokazi organizacij ne naredijo pogumnih, vendar znižajo ceno natančnosti.
Presenečenj bo še vedno. Ponovljivost ni urok proti resničnosti. Novi primeri bodo rušili predpostavke. Uporabniki bodo postavljali nenavadna vprašanja. Dokumenti bodo prihajali z oblikovanjem, ki je videti, kot da je bilo dogovorjeno med izpadom elektrike. Modeli bodo napredovali v eno smer in nazadovali v drugo. Bistvo ni odpraviti presenečenja. Bistvo je, da presenečenje postane poučno in ne nalezljivo.
Zato je ponovljivost pomembnejša od predstavitev. Predstavitve ustvarjajo prepričanje, da zmožnost obstaja. Ponovljivost ustvarja zmožnost, da se nanjo zanesemo. Prvo je uporabno za začetek pogovora. Drugo je nujno za opravljanje dela. Ko sistem umetne inteligence postane del institucije, vprašanje ni več, ali lahko navduši sobo. Vprašanje postane, ali lahko ustvarja, ohranja in pojasnjuje svoje delo na običajen dan, pod običajnim pritiskom, z vpletenimi običajnimi ljudmi. Na običajnih dneh resni sistemi dokažejo svojo vrednost.