Zašto je ponovljivost važnija od demonstracija
Drugi je pokret istina
Prvi je pokret dobio pljesak. Model je pronašao klauzulu, nadzorna ploča se upalila, odgovor je citirao ispravan dokument i prostorija se opustila na onaj precizan način na koji se prostorije opuštaju kad je proračunsku stavku upravo postalo lakše obraniti. Tim se bio pomno pripremio. Podaci su bili dovoljno čisti, pitanja razumna, mreža je radila, prijenosnik dobavljača nije odlučio postati mali radijator i nitko nije pitao o onom rubnom slučaju koji je uljudno odgođen za kasniju fazu. Bila je to dobra demonstracija. Dobre su demonstracije korisne. Pokazuju mogućnosti. Ljudi dobiju zajednički predmet o kojem mogu razgovarati. Čine apstraktnu sposobnost vidljivom.
Zatim je došao drugi pokret. Isti slučaj uporabe, ali sada s podacima od prošlog tjedna, drugim operaterom, izvornim dokumentom s neobičnom tablicom, ažuriranjem pravila koje nije stiglo do upita i voditeljem koji je promatrao jer bi rezultat oblikovao stvarnu odluku. Odgovor je i dalje bio tečan. To nije bio problem. Problem je bio u tome što nitko nije mogao reći je li to isti odgovor iz istih razloga ili drukčiji odgovor u istome tonu. Demonstracija je dokazala da sustav može izvesti zadatak. Nije dokazala da organizacija može ponoviti izvedbu.
Ovdje ozbiljan rad na umjetnoj inteligenciji mijenja karakter. Demonstracija pita možemo li to jednom uspješno napraviti. Operativa pita možemo li to ponovno napraviti, objasniti zašto je uspjelo, znati kada nije i sačuvati dokaze kad netko pita šest mjeseci kasnije. Ponovljivost nije suprotnost inovaciji. Ona je dio inovacije koji preživi dodir s plaćama, zakonom, sigurnošću, kupcima, građanima, revizorima, umornim osobljem i tihom neprijateljščinom stvarnih podataka.
Većina neuspjeha u operativi umjetne inteligencije ne dolazi kao kinematografski kolaps. Dolaze kao male razlike koje nitko ne može reproducirati. Rezultat pretraživanja se promijeni. Ažuriranje upita popravi jedan slučaj i oslabi drugi. Nadogradnja modela pomakne granicu odlučivanja. Izvor podataka izgubi polje. Ručna izmjena zabilježi se u jednom sustavu, ali ne i u drugom. Organizacija i dalje ima funkcionalan sustav u kazališnom smislu. Više nema sustav koji može dvaput ispričati istu priču.
Demonstracija skriva dosadni ugovor
Demo je smjela biti selektivna. Ima priču, početak, zadovoljavajući klik i obično ogledni skup podataka počešljan poput djeteta prije školskih fotografija. To nije varanje. To je komunikacija. Problemi počinju kada organizacija komunikaciju zamijeni za operativni ugovor. Demo ne definira svježinu izvora, granice verzija, rezervne putove, prava na ljudski pregled, jezik pogrešaka, zadržavanje podataka ni točan uvjet pod kojim sustav mora odbiti odgovoriti. Ti su detalji često odmah izvan ekrana, neugledni, i čekaju da svima kasnije pošalju račun.
Ponovljivost čini ugovor vidljivim. Pita koji je ulaz zapravo ulaz, a ne najbliža kopija. Pita koja je verzija pravila ograničila odgovor, a ne koja je stranica s politikom izgledala poznato. Pita je li redoslijed dohvaćanja stabilan, jesu li izjednačeni rezultati riješeni deterministički, jesu li uputi verzionirani, mogu li se parametri modela imenovati, bilježe li se pozivi alata, može li operater ponoviti slučaj te mijenja li nadjačavanje tijek rada ili samo uljepšava zapisnik. To nisu filozofska pitanja. To je ožičenje koje stoji iza pouzdanog rada.
Teži je dio to što ponovljivost na početku djeluje sporije. Tim koji juri prema demo verziji može proći najbržim putem kroz vrt. Tim koji gradi ponovljivost mora postaviti kamene ploče, označiti vrata i odlučiti tko čuva ključ od šupe. To može izgledati birokratski ljudima koji vide samo prvi tjedan. Do trećeg incidenta počinje izgledati milosrdno.
AI sustavi povećavaju potrebu za tim milosrđem jer unose legitimnu varijabilnost. Jezični modeli mogu se uzorkovati. Dohvaćanje može iznijeti bliske kandidate. Ljudska prosudba može se razlikovati. Dokumenti mogu biti dvosmisleni. Ponovljiv sustav ne pretvara se da je svijet u svakom detalju determinističan. Razlikuje dopuštenu varijancu od neupravljane varijance. Kaže da ovo polje može varirati jer korisnik pita prirodnim jezikom, ali ovaj skup izvora ne smije varirati bez zabilježene promjene korpusa. Ovaj sažetak može biti drugačije formuliran, ali osnova za podobnost ne smije se mijenjati. Ovaj rezultat može se pomaknuti nakon nadogradnje modela, ali nadogradnja mora biti sljediva.
Isti ulaz nije jednostavan izraz
Ljudi kažu isti ulaz kao da je izraz očit. U stvarnim sustavima rijetko je očit. Vidljivo korisničko pitanje samo je jedan dio. Stvarni ulaz može uključivati dohvaćene dokumente, skrivene upute, sistemske upute, sheme alata, pravila politike, korisničku ulogu, vrijeme, lokaciju, prava pristupa, predmemorirane zapise, oznake značajki, verziju modela, indeks ugradnje, postavke praga i tihu pretpostavku da je jučerašnje osvježavanje podatkovnog skladišta uspjelo. Isti ulaz može postati iznenađujuće prepuna prostorija.
Zato ponovljivost počinje identitetom ulaza. Sustav bi trebao znati koji su zapisi bili dostupni, koji su zapisi odabrani, koja je verzija korpusa pretražena, koji je predložak uputa korišten, koji je skup pravila primijenjen, koji je model radio, koji su alati bili dopušteni i koja je ljudska uloga prihvatila izlaz. Ako to zvuči kao puno, to je zato što je put odlučivanja već bio velik. Jedino je pitanje priznaje li to organizacija.
Ta razlika najviše dolazi do izražaja kada su ishodi sporni. Ako kupac pita zašto je zahtjev odbijen, bolnica pita zašto se pojavila oznaka rizika, banka pita zašto je slučaj eskaliran ili javna agencija pita zašto je građanin dobio određenu uputu, organizacija ne može odgovoriti samo vidljivim pitanjem. Treba joj operativni kontekst. Bez njega, pregled incidenta postaje pristojna seansa u kojoj svi prizivaju zapisnike, sjećanja i snimke zaslona pretvarajući se da je to metoda.
Identitet ulaza također štiti timove od neopravdane krivnje. Ako se rezultat promijenio jer se izvorni dokument promijenio, to je pitanje sadržaja. Ako se promijenio jer je indeks ponovno izgrađen s drukčijim parametrima, to je pitanje pronalaženja. Ako se promijenio jer je model nadograđen, to je pitanje implementacije. Ako se promijenio jer je operater koristio drukčiji tijek rada, to je pitanje procesa. Nazvati sve to ponašanjem modela zgodno je i pogrešno, snažna kombinacija u organizacijama s prepunim kalendarima.
Ponovljivost ne znači zamrzavanje svega
Postoji lijeni prigovor da ponovljivost ubija prilagodbu. Ne ubija je. Ubija misterij. Ponovljiva operacija i dalje može poboljšavati modele, mijenjati upite, ažurirati pravila, čistiti podatke, dodavati izvore, podešavati pragove i redizajnirati tijekove rada. Razlika je u tome što promjene postaju imenovani događaji umjesto vremenske prognoze. Kad se rezultat pomakne, tim može pitati koja je kontrolirana promjena to uzrokovala. Tako poboljšanje postaje učenje umjesto praznovjerja s bilješkom o izdanju.
Najbolji operativni timovi tretiraju promjene kao eksperimente s granicama. Zadržavaju osnovne slučajeve. Pokreću paralelne evaluacije. Uspoređuju stare i nove rezultate pronalaženja. Provjeravaju primjere s velikim utjecajem prije promocije. Bilježe tko je odobrio promjenu i zašto. Definiraju uvjete za povratak prije poziva za pokretanje, ne dok je kanal podrške već usijan. To nije teatralan oprez. Tako timovi postaju brži nakon što prvi sustav postane važan.
Postoji i moralna dimenzija, iako je bolja kad je izražena jasno. Ako sustav utječe na novac, posao, skrb, prioritet, provedbu ili pristup, ljudi na koje utječe zaslužuju više od predstave. Zaslužuju proces koji se može objasniti. Ponovljivost stvara preduvjet za to objašnjenje. Ne možete revidirati čin nestanka. Možete samo pljeskati ili se žaliti.
Dobra ponovljivost stoga odvaja stabilno od fleksibilnog. Stabilni su zapisi o tome što se dogodilo, identifikatori verzija, skup za evaluaciju, podrijetlo izvora, vlasnik pravila, put odobrenja i uvjeti odbijanja. Fleksibilne su tehnike koje se koriste za poboljšanje unutar tih granica. Umijeće je znati što je što. Mnoge organizacije to okrenu. Zamrznu proces jer nitko ne vjeruje sustavu, a zatim dopuste skrivene tehničke promjene jer ih nitko ne može vidjeti. To je upravljanje roletom na prozoru.
Skup za evaluaciju radna je memorija
Svaka zrela operacija treba mali skup slučajeva koje ne smije zaboraviti. Ne sintetički benchmark odabran zato što dobro izgleda u izvješću, nego živi evaluacijski skup sastavljen od nezgodnih slučajeva koji su tim nešto naučili. Dokument sa sukobljenim datumima. Zahtjev korisnika koji miješa dvije politike. Račun na kojem izdvajanje tablice gotovo uspije. Medicinska bilješka s dvosmislenim kraticama. Javnonabavni slučaj u kojem je pravna osnova važnija od očitog odgovora. Ti slučajevi postaju institucionalno pamćenje.
Ponovljiv sustav pokreće te slučajeve kad se nešto promijeni. Cilj nije obožavati stare rezultate. Ponekad je stari rezultat bio pogrešan. Cilj je razumjeti kretanje. Je li nova verzija poboljšala slučaj iz pravog razloga. Je li slomila krhko, ali važno ponašanje. Je li postala samouvjerenija, a izgubila dokaze. Je li odabrala drugi izvor. Je li došla do istog zaključka slabijim putem. U ozbiljnom radu put je važan jer isti odgovor iz pogrešnog razloga nije isti odgovor.
Tu mnogi programi vođeni demonstracijama gube kontrolu. Mjere zadovoljstvo korisnika, latenciju i široku točnost, ali bolne slučajeve ne drže blizu. Rezultat je sustav koji u cjelini može izgledati bolje, a na rubovima koji su važni postaje lošiji. Prosjeci su korisni. Rubovi su mjesto gdje pritužba stiže s privicima.
Evaluacijski skup trebao bi uključivati i slučajeve odbijanja. Sustav koji uvijek odgovara nije od pomoći. On je nametljiv. Ponovljivost zahtijeva da sustav dosljedno odbija kad izvori nedostaju, kad ovlasti nema, kad je pouzdanost preslaba, kad korisnik pita izvan svoje uloge ili kad zadatak zahtijeva ljudsku odluku. Ponašanje odbijanja dio je kvalitete. Čisto ne često je vrijednije od šarmantnog možda prerušenog u izvjesnost.
Ljudska prosudba također mora biti ponovljiva
Ponovljivost nije samo svojstvo strojeva. Ljudski koraci također trebaju ponovljivost. Ako jedan recenzent tretira izlaz modela kao nacrt, drugi kao odluku, a treći kao dosadnog kolegu, tijek rada će odlutati koliko god model bio stabilan. Organizacija mora definirati što recenzija znači. Provjerava li čovjek izvore, provjerava li politiku, uzorkuje li dokaze, odobrava li, uređuje li jezik ili preuzima odgovornost za zaključak. Svaki glagol stvara drugu dužnost.
Operatori trebaju sučelja koja podržavaju te dužnosti. Ako moraju provjeravati izvore, izvori moraju biti vidljivi. Ako moraju provjeravati politiku, osnova pravila mora biti blizu rezultata. Ako moraju nadglasati, put nadglasavanja mora biti normalan, a ne skriven iza gumba koji djeluje kao priznanje izdaje. Ako kasnije moraju objasniti odluku, sustav mora sačuvati ono što su vidjeli u tom trenutku. Inače ljudski nadzor postaje ukrasna fraza s pripisanim identifikatorom zaposlenika.
Obuka je također važna, ali ne ona koja ljude uči da se dive sustavu. Korisna obuka pokazuje granice. Recenzentima daje primjere snažnih rezultata, slabih rezultata, nedostajućih dokaza, zastarjelih izvora, prompt injectiona, sukoba politika i slučajeva u kojima model treba mirna srca zanemariti. Govori im koja su neslaganja očekivana. Govori im da su dobra nadglasavanja dio sustava kontrole. Ako se svako nadglasavanje tretira kao neuspjeh usvajanja, ljudi će prestati primjećivati. Ljudi su prilagodljivi, ponekad nezgodno.
U pisanju postupka ima suhe utjehe. Ne zato što su dokumenti čarobni. Nisu, kao što zna svatko tko je upoznao zajednički disk. Utjeha dolazi od toga što se organizaciju prisiljava na izbor. Ponovljiv ljudski korak kaže da ova uloga mora napraviti ovu provjeru, s ovim dokazima, u ovom roku, i evo što se događa kad provjera ne uspije. Odjednom nadzor ima kostur.
Nasumičnost treba kućnu adresu
Neki AI sustavi uključuju nasumičnost po dizajnu. Uzorkovanje može proizvesti bolji jezik. Pretraživanje može istražiti alternative. Agenti mogu isprobati različite putove kroz alate. Ljudska povratna informacija može s vremenom promijeniti ponašanje. Ništa od toga nije samo po sebi loše. Operativna je pogreška dopustiti da nasumičnost živi posvuda i nigdje. Ako je varijacija korisna, recite gdje je dopuštena. Ako je rizična, ograničite je. Ako se pojavi, zabilježite dovoljno da je razumijete. Nasumičnost bez adrese način je na koji timovi završe u otklanjanju pogrešaka stroja za maglu.
Postoje praktične tehnike. Koristite determinističke postavke tamo gdje je ishod važan, a zadatak ograničen. Učvrstite verzije i predloške. Čuvajte snimke korpusa. Bilježite kandidate za dohvat. Odvojite kreativno pisanje od podrške odlučivanju. Za generativni tekst koji može varirati, procjenjujte tvrdnje i izvore umjesto površinske formulacije. Za agentske tijekove rada, zabilježite planove alata, rezultate alata i putove odbijanja. Za ažuriranja modela, provodite uparene usporedbe prije nego što se promet prebaci. Ništa od ovoga ne uklanja nesigurnost. Ono daje nesigurnosti stolicu za stolom i sprječava je da luta kroz stropne pločice.
Ponovljivost također mijenja jezik incidenata. Umjesto da kažu da je AI dao loš odgovor, tim može reći da je odgovor koristio snimku korpusa 18, paket pravila 12, verziju modela 4, predložak upita 31, dohvaćene dokumente A, C i F, preskočio dokument B zbog opsega pristupa te da ga je prihvatila uloga X bez eskalacije. Ta rečenica je manje uzbudljiva od tvrdnje da je sustav pobjegao kontroli. Također je korisnija, što je ponavljajuće razočaranje za dramatične ljude.
Kada sustav ne može pružiti takvu rečenicu, organizacija ne upravlja AI-jem. Ona ga prati. Gleda, reagira, tješi i nada se da će sljedeća smjena biti bolja. To može biti prihvatljivo za prototip. Nije prihvatljivo za posao o kojem ljudi ovise.
Pogreška u nabavi
Ponovljivost se mora kupiti, a ne samo izgraditi. Mnogi procesi nabave još uvijek nagrađuju najbolju demonstraciju. Sustav koji izgleda uglađeno, brzo odgovara i vodstvu pruža ugodan osjećaj modernosti osvaja bodove. Sustav koji objašnjava čuvanje dokaza, format izvoza, regresijsko testiranje, determinističko dohvaćanje, učvršćivanje verzije modela, pregled na temelju uloga i politiku vraćanja može zvučati manje uzbudljivo. Tako organizacije kupuju buduće sastanke.
Bolja pitanja pri kupnji su izravna. Možemo li ponoviti slučaj. Možemo li izvesti put dokaza. Možemo li prikvačiti ili imenovati svaki model i upit koji utječe na odgovor. Može li se pretraživanje ponoviti nakon ponovne izgradnje indeksa. Možemo li usporediti trenutno ponašanje s osnovicom postavljenom prije prihvaćanja ažuriranja. Mogu li se ljudske izmjene analizirati bez kažnjavanja korisne prosudbe. Možemo li otići sa svojim zapisima. Možemo li revizoru reći što se dogodilo bez otvaranja zahtjeva podršci i paljenja svijeće.
Ta pitanja ne zahtijevaju neprijateljstvo prema dobavljačima. Zahtijevaju zrelost. Dobar dobavljač trebao bi moći reći koji su dijelovi ponovljivi, koji su vjerojatnosni, koji su dokazi dostupni, koji nisu, i što kupac mora upravljati sam. Kupac koji ne može postaviti ta pitanja na kraju će otkriti odgovore u produkciji, gdje su odgovori skuplji i stižu sa slušalicama na glavi.
Ista logika nabave vrijedi i interno. Platformski timovi ne bi trebali prodavati demonstraciju operacijama bez ugovora o ponovljivosti. Podatkovni timovi ne bi trebali predavati izvore bez podrijetla. Timovi za modele ne bi trebali objavljivati poboljšanja bez usporedbi s osnovicom. Timovi za upravljanje ne bi trebali odobravati načela bez ispitivanja zapisa. Svi žele lansiranje. Ponovljivost je disciplina brige o utorku nakon lansiranja.
Ponovljivost je ljubaznost prema budućim timovima
Postoji ljudski razlog za brigu o ponovljivosti koji se rijetko pojavljuje u strateškim prezentacijama. Ona je ljubaznija. Ljubaznija je prema operaterima koji ne bi trebali pogađati zašto se sustav promijenio. Ljubaznija je prema inženjerima koji ne bi trebali rekonstruirati incidente iz mrvica nadzorne ploče. Ljubaznija je prema menadžerima koji moraju donositi odluke pod nadzorom. Ljubaznija je prema kupcima, građanima, pacijentima i kolegama koji zaslužuju odgovore koji nisu improvizirani naknadno. Ponovljiv sustav smanjuje količinu institucionalnog pretvaranja potrebnog za preživljavanje tjedna.
Ponovljivost također čini iskrenost lakšom. Kada su dokazi dostupni, timovi mogu reći da je model ovdje zakazao, da su podaci tamo bili zastarjeli, da je politika bila dvosmislena, da je recenzent imao nedovoljan kontekst ili da je izvor nedostajao. Bez dokaza, svako priznanje djeluje rizično jer nitko ne zna gdje će krivnja pasti. Zato ljudi ublažavaju jezik, odgađaju odluke i stvaraju gustu maglu poznatu kao usklađivanje. Dokazi ne čine organizacije hrabrima, ali snižavaju cijenu preciznosti.
Iznenaditi će nas još ponešto. Ponovljivost nije čarolija protiv stvarnosti. Novi će slučajevi rušiti pretpostavke. Korisnici će postavljati neobična pitanja. Dokumenti će stizati s formatiranjem koje izgleda kao da je dogovoreno tijekom nestanka struje. Modeli će napredovati u jednom smjeru, a nazadovati u drugom. Poanta nije ukloniti iznenađenja. Poanta je učiniti iznenađenja informativnima, a ne zaraznima.
Zato je ponovljivost važnija od demonstracija. Demonstracije stvaraju uvjerenje da sposobnost postoji. Ponovljivost stvara mogućnost da se na nju oslonimo. Prvo je korisno za započinjanje razgovora. Drugo je nužno za obavljanje posla. Kad AI sustav postane dio institucije, pitanje prestaje biti može li impresionirati prostoriju. Pitanje postaje može li proizvesti, sačuvati i objasniti svoj rad običnog dana, pod običnim pritiskom, uz uključene obične ljude. Obični dani su ono na čemu ozbiljni sustavi zarađuju svoje mjesto.