Manji, stroži modeli imaju smisla
Model koji je znao previše
Prvi znak upozorenja nije bio pad sustava. Padovi su barem iskreni. Znak upozorenja bio je prekrasan odgovor na pogrešno pitanje. Tim je izgradio internog asistenta za tehničku podršku. Mogao je čitati priručnike za proizvode, povijest zahtjeva, bilješke o izdanjima i mali paket pravila koji je objašnjavao što agenti smiju obećati korisnicima. Model je bio velik, tečan i dovoljno samouvjeren da sobu za sastanke privremeno učini modernom.
Tijekom pilotne faze dobro je odgovarao na široka pitanja. Sažimao je duge zahtjeve. Prevodio je ljutitu korisničku prozu u nešto upotrebljivo. Pronalazio je skrivene veze između simptoma i prethodnih rješenja. Zatim je stiglo rutinsko pitanje o jamstvu. Točan odgovor ovisio je o tri uske činjenice: regiji proizvoda, kanalu kupnje i verziji firmvera. Model je pronašao uvjerljiv odlomak o pravilima, zanemario tihu iznimku u bilješkama o izdanjima i napisao odgovor koji je zvučao kao da je netko ispeglalo istinu dok nije izgledala ugledno. Nitko nije tražio poeziju. Trebala im je ograničena odluka.
Popravak nije bio učiniti model većim. Popravak je bio učiniti dio sustava manjim i strožim. Mali klasifikator određivao je put jamstva. Ograničeni izdvajač izvlačio je tri potrebne činjenice. Provjera pravila odbijala je slučaj ako je nedostajala bilo koja činjenica. Veliki model i dalje je pomagao pisati konačnu poruku čitljivu ljudima, ali više nije posjedovao odluku. Rezultat je bio manje glamurozan i puno bolji. To je uobičajen obrazac. Široki model impresivan je sve dok posao ne zahtijeva komponentu koja može točno reći što je vidjela, što je točno odlučila i kada točno odbija nastaviti.
Slučaj za manje, strože modele počinje tu. Ne s nostalgijom za starim softverom i ne s moralnim prigovorom na razmjere. Veliki modeli su korisni. Mogu pokriti neuredan jezik, prevesti namjeru, sažeti dokaze i dati ljudima brži put do složenog materijala. Ali veličina kupuje širinu. Ne kupuje automatski kontrolu. Ozbiljni sustavi trebaju komponente koje se mogu ograničiti, vrednovati, implementirati, nadzirati i zamijeniti bez pretvaranja svakog incidenta u filozofski seminar s zapisnicima.
Strogost je značajka, a ne raspoloženje
Strogost zvuči neprijateljski jer je ljudi brkaju s glupošću. Stroga komponenta nije ona koja razumije manje bez razloga. Ona je ona kojoj je dopušteno da namjerno radi manje stvari. Može prihvaćati samo poznatu shemu. Može izlaziti samo fiksni skup oznaka. Može čitati samo imenovani paket dokaza. Ne smije pozivati alate. Može biti prisiljena vratiti nedovoljne dokaze umjesto da improvizira. Ta ograničenja nisu kazna. Ona su ono što komponentu čini upotrebljivom u sustavu u kojem drugi dijelovi ovise o njoj.
Softversko inženjerstvo naučilo je tu lekciju davno prije nego što je umjetna inteligencija postala kategorija nabave. Tipovi su strogi. Ograničenja baze podataka su stroga. Konačni automati su strogi. Kontrola pristupa je stroga. Sustav plaćanja ne pita model da izrazi svoje osjećaje o stanju računa. Novac predstavlja točnim jedinicama, provjerava ovlasti, bilježi stanje i odbija nevažeće prijelaze. Strogost je razlog zašto se sustav može revidirati i popraviti. Možda vam se ne sviđa poruka o pogrešci, ali obično možete pronaći redak koji ju je uzrokovao. To nije mali dar.
Komponente umjetne inteligencije trebaju istu disciplinu jer se nalaze unutar tijekova rada koji imaju posljedice. Klasifikator koji bira između povrata, zamjene, eskalacije i odbijanja ne bi trebao izmisliti peto stanje koje se zove možda kasnije uz iskreno žaljenje. Ekstraktor koji čita ugovor ne bi trebao staviti nejasan datum u polje roka jer je proza zvučala kao rok. Model za pronalaženje ne bi trebao tiho prijeći granicu ovlasti jer je obližnji dokument izgledao korisno. Strogost ostatku sustava daje nešto čvrsto za što se može uhvatiti.
Korisno pitanje nije je li model inteligentan u apstraktnom smislu. Korisno pitanje je ima li model pravi ugovor za posao. Koje ulaze smije vidjeti. Koje izlaze smije proizvesti. Koja se nesigurnost mora otkriti. Koji se slučajevi moraju odbiti. Koji dokazi moraju pratiti rezultat. Koje metrike dokazuju da radi. Manji model s jasnim ugovorom često pobjeđuje veći model s herojskim upitom jer ugovor preživljava kontakt s operacijama.
Veličina kupuje širinu, a širina ima račun
Veliki modeli obučeni su da budu opći. To je njihova snaga. Mogu se kretati između domena, nositi se s neobičnim formulacijama, zaključivati iz konteksta i proizvoditi tečne odgovore čak i kad je ulaz neravan. Zato se čine čarobnima u istraživanju. Osoba može postaviti labavo pitanje i svejedno dobiti nešto koherentno. Koherentnost je korisna. Opasna je i kad tijek rada treba usku predanost.
Širina ima račun. Širok model ima više načina da bude korisno pogrešan. Može uvesti kontekst iz pogrešnog dijela razgovora. Može prekriti nedostatak dokaza. Može odgovoriti iz prethodnog znanja kad je sustav tražio dokaz utemeljen na pronalaženju. Može slijediti obrazac koji izgleda uobičajeno umjesto iznimke koja se primjenjuje. Može napraviti uvjerljiv most preko praznine koja je trebala zaustaviti proces. Izlaz može zvučati bolje upravo zato što je model dobar u jeziku. To je zgodno za demonstracije i nezgodno za odgovornost.
Manji modeli smanjuju dio tog računa sužavanjem prostora mogućeg ponašanja. Klasifikator domena s dvanaest oznaka i dalje može pogriješiti, ali njegova je pogreška čitljiva. Ograničeni ekstraktor i dalje može propustiti polje, ali se propušteno polje može prebrojati. Mali model za rangiranje i dalje može preferirati zastarjele dokaze, ali se ta preferencija može testirati na poznatom korpusu. To su inženjerske pogreške, što je izvrsna vijest. Inženjerske pogreške mogu se mjeriti, planirati i popraviti. Mistične pogreške zahtijevaju više sastanaka.
Postoji i kognitivni račun za timove. Jedan široki model čini vlasništvo nejasnim. Tko je vlasnik razmišljanja o jamstvu, formulacije usklađenosti, odabira izvora, tona, odbijanja i eskalacije ako sve to živi u jednom upitu i jednoj krajnjoj točki. Kada se nešto promijeni, koji testni skup treba pokrenuti. Kada korisnik ospori rezultat, koja je komponenta kriva. Model postaje vrlo talentirani ormar u koji je smještena svaka institucionalna odluka. Na kraju netko otvori vrata i ispadne mapa s politikama.
Manji modeli čine kvarove vidljivima
Vidljivost je važna jer je svaki proizvodni sustav na kraju sustav za otkrivanje što je pošlo po zlu. Veliki model može otkazati na načine koje je teško razdvojiti. Je li upit bio dvosmislen. Je li dohvat bio zastario. Je li model previše generalizirao. Je li uputa o politici bila prenisko u kontekstu. Je li postavka dekodiranja poticala raznolikost tamo gdje je dosljednost bila važna. Je li rezultat alata stigao prekasno. Je li zaštitna ograda prepisala odgovor. Svaka mogućnost može biti stvarna. Analiza incidenta postaje detektivska priča s proračunskom šifrom.
Manje komponente proizvode manja pitanja. Ako je izdvajač propustio kanal kupnje, pregledajte izdvajač. Ako je klasifikator odabrao povrat umjesto eskalacije, ispitajte označeni skup i prag. Ako verifikator nije uspio uhvatiti nepotkrijepljenu tvrdnju, dodajte obrazac tvrdnje i pravilo izvora u evaluaciju verifikatora. To ne čini posao trivijalnim. To čini posao lokalnim. Lokalno je dobro. Lokalno znači da se radijus eksplozije može ograničiti i da se popravak može testirati bez uznemiravanja cijele katedrale.
Strogi rezultati također stvaraju bolju telemetriju. Model koji vraća jedno od dvanaest stanja može se pratiti tijekom vremena. Model koji vraća strukturirana polja može izvijestiti o nedostacima, neslaganjima, intervalima pouzdanosti i odstupanju. Model koji odbija može vam reći zašto. Proza odgovor može sadržavati sve to, ali tada svaki nizvodni potrošač mora raščlaniti rečenicu koju je napisao stroj nagrađen za prirodno zvučanje. Tako sustav za praćenje postaje knjižni klub.
Vidljivost kvarova mijenja kulturu. Timovi prestaju raspravljati o tome je li AI dobar i počinju pitati koja je komponenta otkazala pod kojim uvjetom. To je zdravija rasprava. Može dovesti do novog podatkovnog presjeka, boljeg praga, manjeg skupa dokaza, strože sheme ili stanja ljudskog pregleda. Pretvara tjeskobu u održavanje. Održavanje je manje glamurozno od egzistencijalne rasprave, ali obično stigne prije ručka.
Sučelje je pola modela
Kad ljudi uspoređuju modele, često uspoređuju težine, parametre, mjerila i ljestvice. To je važno, ali sučelje je jednako važno u proizvodnji. Sučelje određuje kakva obećanja model može dati. Sučelje slobodnog teksta poziva na otvoreno ponašanje. Strukturirano sučelje traži kontrolirani rezultat. Dekoder ograničen gramatikom, shema alata, tipizirani izlazni objekt ili fiksni skup oznaka mogu promijeniti operativni karakter iste temeljne inteligencije.
Uzmimo model koji čita račune. Ako vrati odlomak s objašnjenjem računa, tim i dalje mora izvući dobavljača, porezni broj, zbrojeve po stavkama, valutu, rok dospijeća i pouzdanost. Ako vrati tipizirani objekt s obveznim poljima, provjera može odmah krenuti. Ako rok dospijeća nedostaje, objekt može reći da nedostaje. Ako se zbrojevi ne podudaraju, verifikator može odbiti uvoz. Model možda manje priča, ali računovodstvo mu ne plaća da bude šarmantan. Oni žele da knjiga prestane teturati.
Sučelja također oblikuju obuku. Model obučen za proizvodnju fiksnih oznaka može se vrednovati prema pogreškama u oznakama. Model obučen za izdvajanje polja može se vrednovati prema točnom podudaranju, ispravnosti raspona, nedostacima i izmišljenim vrijednostima. Model obučen za proizvodnju proze zahtijeva više prosudbe, više rubrika i više ljudskog pregleda. To može biti prikladno za neke poslove. Rasipno je za poslove gdje je željeni izlaz već strukturiran. Iznenađujuće mnogo AI posla samo je unos podataka u baršunastoj jakni.
Manji i stroži modeli stoga tjeraju timove da razmisle o obliku posla. Je li to zadatak klasifikacije, izdvajanja, rangiranja, transformacije, provjere, planiranja ili objašnjenja. Treba li uopće model ili bi pravilo, rješavač, ograničenje baze podataka ili indeks pretraživanja bili bolji. Koji dio treba razumijevanje jezika, a koji dio treba pouzdanost. Ova dekompozicija nije pedanterija. To je razlika između osmišljavanja sustava i unajmljivanja usta.
Podaci za obuku postaju manje teatralni
Opći modeli trebaju goleme, raznolike skupove za obuku jer se od njih traži da pokriju golemo, raznoliko ponašanje. Uski modeli često se mogu poboljšati manjim, bolje označenim i relevantnijim podacima. To zvuči manje spektakularno, što je još jedna prednost. Spektakl nije mjera kvalitete. Tisuću pažljivo pregledanih primjera za klasifikator zahtjeva može učiniti više za pouzdanost u proizvodnji nego veliko jezero podataka u koje je svaki dokument pozvan i nitko nije provjerio popis gostiju.
Manji zadaci čine značenje oznake jasnijim. Ako je oznaka eskaliraj, recenzenti mogu raspravljati o tome koji točno uvjeti opravdavaju eskalaciju. Ako je polje datum završetka ugovora, recenzenti mogu definirati kako postupiti s klauzulama o obnovi, izmjenama, nedostajućim potpisima i sukobljenim datumima. Ako je izlaz pristup odbijen, sigurnosni i pravni timovi mogu odrediti granicu. To stvara institucionalno znanje kao nusproizvod dizajna modela. Tim uči što proces znači. To je nezgodno samo ako organizacija radije ne bi znala.
Usko osposobljavanje također čini evaluaciju reprezentativnijom. Možete izgraditi testne skupine oko stvarnih načina na koje sustav otkazuje: nedostajuća polja, zastarjele politike, suprotstavljeni tekst, regionalne iznimke, neobično oblikovanje, niska pouzdanost i slučajevi u kojima je odbijanje ispravno. Možete mjeriti preciznost i odziv tamo gdje su važni. Možete odlučiti da je lažno odobrenje deset puta gore od lažne eskalacije. Možete prilagoditi pragove operativnim troškovima. To su konkretni izbori. Nisu glamurozni, ali imaju rijetko svojstvo da su korisni.
Još uvijek postoji mjesto za široko pretreniravanje i prijenos. Mali strogi model može sjediti na vrhu ugradnji iz većeg modela. Ograničeni jezični model može koristiti opće jezično znanje dok ispisuje fiksnu shemu. Opći model može generirati kandidate koje strogi verifikator provjerava. Argument nije čistoća. Argument je smještaj. Koristite široku sposobnost tamo gdje je širina potrebna. Koristite strogost tamo gdje sustav treba predanost.
Ekonomika je tiša i bolja
Trošak nije samo račun za zaključivanje. Trošak je latencija, memorija, energija, operativna složenost, napor evaluacije, teret pregleda, odgovor na incidente i broj inženjera potrebnih da objasne zašto se utorak ponašao drugačije od ponedjeljka. Manji modeli mogu pomoći na svim tim dimenzijama. Mogu raditi bliže podacima. Mogu stati na običan hardver. Mogu biti predmemorirani, kvantizirani, obrađivani u serijama ili ugrađeni u uslugu bez pretvaranja implementacije u ceremoniju koja uključuje tri kalendara i rezervaciju kapaciteta.
Latencija mijenja ponašanje proizvoda. Ako klasifikator vraća rezultat u milisekundama, može sjediti unutar tijeka rada bez da korisnik bulji u okretanje i preispituje svoje životne odluke. Ako ekstraktor radi lokalno, osjetljiv materijal ne mora putovati do udaljene usluge za jednostavno izvlačenje polja. Ako je verifikator jeftin, može raditi na svakom izlazu umjesto na uzorkovanim slučajevima. Ti detalji nisu sporedni. Oni odlučuju hoće li se sigurnosne kontrole i kontrole kvalitete stvarno koristiti ili im se samo diviti u arhitektonskim dijagramima.
Operativno, manji modeli lakše se zamjenjuju. Tim može osposobiti novi ekstraktor, pokrenuti ga protiv starog, usporediti neslaganja i uvesti ga u dijelovima. Može zadržati prethodnu verziju dostupnom za ponovno pokretanje. Može priložiti verziju modela i prag svakoj odluci. Ogromna namjenska krajnja točka također se može verzionirati, ali usporedba često postaje mutnija jer se mnoga ponašanja mijenjaju odjednom. Velike skupine promjena mjesto su gdje pouzdanost odlazi i postaje gradijent u PowerPointu.
Postoji i prednost u nabavi. Manje stroge komponente čine zamjenu dobavljača realnijom. Ako je ugovor poznata shema i poznata evaluacijska skupina, tim može usporediti implementacije. Ako je ugovor ogroman upit pun skrivene politike i osobnosti, prebacivanje postaje rizično. Organizacija može otkriti da njezin tijek rada ne pokreće model koliko je s njim isprepleten. Isprepletenost je romantična u romanima. U proizvodnji je to migracijski plan s oštrim zubima.
Gdje veliki modeli još pripadaju
Ništa od ovoga ne znači da velike modele treba prognati u istraživački ormar. Odlični su u mnogim stvarima. Korisni su za istraživanje, izradu nacrta, sažimanje, prevođenje, dvosmislene korisničke unose, pomoć pri kodiranju i zadatke u kojima je željeni rezultat doista otvoren. Mogu pomoći ljudima da promisle kroz nepoznato gradivo. Mogu generirati kandidatska objašnjenja. Mogu pretvoriti neuredan prirodni jezik u strukturiraniji zahtjev. Mogu biti velikodušna ulazna vrata prema strožoj pozadinskoj službi.
Pogreška je dopustiti da ulazna vrata postanu cijela zgrada. Veliki model može protumačiti namjeru, ali manji klasifikator može odabrati tijek rada. Veliki model može izraditi nacrt odgovora, ali verifikator može provjeriti tvrdnje. Veliki model može sažeti dokument, ali ekstraktor može popuniti regulirana polja. Veliki model može predložiti plan, ali pravila politike mogu odlučiti koji su koraci dopušteni. Široki model ostaje vrijedan. Samo prestaje pretvarati se da je izvor sve vlasti.
Ta je podjela također ljubaznija prema korisnicima. Ljudi ne žele pregovarati s modelom o tome postoji li stanje povrata. Žele jasne ishode, jasne dokaze i put za žalbu. Sustav sastavljen od strogih komponenti može se objasniti operativnim pojmovima: korišten je ovaj izvor, nedostajalo je ovo polje, zadovoljen je ovaj prag, ova je politika zahtijevala pregled. To objašnjenje možda je manje šarmantno od odlomka tečne empatije, ali je korisnije kada su u pitanju novac, prava, sigurnost ili povjerenje.
Budućnost vjerojatno nije jedan model koji vlada tijekom rada. To je kompozicija modela, pravila, rješavača, indeksa, verifikatora i ljudskog pregleda. Neki će dijelovi biti veliki i fleksibilni. Neki će biti maleni i tvrdoglavi. Umijeće je znati koji je koji. Dobar inženjer trebao bi biti sumnjičav prema svakoj arhitekturi u kojoj se svaki problem rješava povećanjem iste komponente. To nije dizajn. To je inflacija.
Slučaj
Slučaj za manje, strože modele nije u tome što je malo moralno superiornije. Riječ je o tome da su mnogi vrijedni zadaci manji nego što priznaje naš trenutačni vokabular modela. Klasificiraj ovaj slučaj. Izdvoji ova polja. Rangiraj te izvore. Provjeri ovu tvrdnju. Odbij bez dokaza. Proslijedi čovjeku. Sačuvaj razlog. To nisu manje vrijedni oblici inteligencije. To su oblici koji čine veće sustave pouzdanima.
Kad timovi krenu od najvećeg dostupnog modela, često odgađaju teška dizajnerska pitanja. Što je prostor stanja. Koji su izlazi dopušteni. Koji su dokazi potrebni. Što znači nesigurnost. Tko je odgovoran za pogrešku. Kako se komponenta testira. Kada mora odbiti. Kad se ta pitanja zanemare, model ih preuzima kao skrivenu politiku. Skrivena politika može funkcionirati za pilot-projekt. Loše stari u produkciji, obično otprilike u trenutku kad netko zatraži revizijski trag.
Krenuti od manjeg modela tjera na postavljanje pitanja ranije. Pita se ima li problem poznat oblik. Pita se može li strogo sučelje prenijeti rezultat. Pita se treba li modelu široka jezična sposobnost ili uska prosudba. Pita se što se mora izmjeriti prije nego se povjerenje dodijeli. Ta disciplina ne smanjuje ambiciju. Ona ambiciji daje kostur. Bez njega sustav se možda i dalje kreće, ali nitko se ne bi trebao previše približiti.
Manji, stroži modeli lakše se vlasnički drže. Jeftiniji su za pokretanje, lakši za vrednovanje, jasniji za otklanjanje pogrešaka, sigurniji za sastavljanje i iskreniji u pogledu svojih ograničenja. Oni ne zamjenjuju široke modele svugdje. Oni čine široke modele korisnima na mjestima gdje korisno znači više od tečnosti. U ozbiljnom AI inženjerstvu to je razlika koja je bitna. Najbolji sustav rijetko je onaj s najvećim modelom na svakoj točki. To je onaj u kojem svaka točka ima najmanju komponentu koja može obaviti posao, najstroži ugovor koji i dalje odgovara stvarnosti i dovoljno dokaza ostavljenih za sljedeću osobu da razumije što se dogodilo.