Zakaj manjši in strožji modeli
Model, ki je vedel preveč
Prvi opozorilni znak ni bil zrušitev sistema. Zrušitve so vsaj poštene. Opozorilni znak je bil lep odgovor na napačno vprašanje. Ekipa je zgradila notranjega pomočnika za tehnično podporo. Znal je brati priročnike za izdelke, zgodovino vstopnic, opombe ob izdajah in manjši paket pravil, ki je pojasnjeval, kaj smejo agenti obljubiti strankam. Model je bil velik, tekoč in dovolj samozavesten, da je sejno sobo začasno naredil sodobno.
Med pilotnim projektom je dobro odgovarjal na splošna vprašanja. Povzemal je dolge vstopnice. Jezne stranke je prevedel v uporabno besedilo. Odkrival je skrite povezave med simptomi in prejšnjimi popravki. Nato je prišlo rutinsko vprašanje o garanciji. Pravilen odgovor je bil odvisen od treh ozkih dejstev: regije izdelka, prodajnega kanala in različice vdelane programske opreme. Model je našel verjeten odstavek o politiki, prezrl tiho izjemo v opombah ob izdaji in napisal odgovor, ki je zvenel, kot da je nekdo zlikal resnico, dokler ni videti spoštljivo. Nihče ni prosil za poezijo. Potrebovali so omejeno odločitev.
Popravek ni bil povečati model. Popravek je bil narediti del sistema manjši in strožji. Majhen klasifikator je določil garancijsko pot. Omejen izločevalnik je izluščil tri zahtevana dejstva. Preverjanje pravil je zavrnilo primer, če je katero koli dejstvo manjkalo. Veliki model je še vedno pomagal napisati končno berljivo opombo, vendar ni več imel v lasti odločitve. Rezultat je bil manj glamurozen in veliko boljši. To je pogost vzorec. Široki model je impresiven, dokler delo ne zahteva komponente, ki lahko natančno pove, kaj je videla, kaj se je odločila in kdaj noče nadaljevati.
Argument za manjše, strožje modele se začne tam. Ne z nostalgijo po stari programski opremi in ne z moralnim ugovorom proti obsegu. Veliki modeli so uporabni. Znajo pokriti neurejen jezik, prevesti namero, povzeti dokaze in ljudem omogočiti hitrejši dostop do zapletenega gradiva. Toda velikost kupi širino. Samodejno ne kupi nadzora. Resni sistemi potrebujejo komponente, ki jih je mogoče omejiti, ovrednotiti, uvesti, spremljati in zamenjati, ne da bi vsak incident spremenili v filozofski seminar z dnevniki.
Strogost je funkcija, ne razpoloženje
Strogost zveni neprijazno, ker jo ljudje zamenjujejo z neumnostjo. Stroga komponenta ni tista, ki razume manj brez razloga. Je tista, ki ji je namenoma dovoljeno početi manj stvari. Sprejme lahko le znano shemo. Izpiše lahko le fiksen nabor oznak. Prebere lahko le imenovan sveženj dokazov. Ne more klicati orodij. Lahko je prisiljena, da vrne nezadostne dokaze, namesto da bi improvizirala. Te omejitve niso kazen. Zaradi njih je komponenta uporabna v sistemu, kjer so drugi deli odvisni od nje.
Programsko inženirstvo se je te lekcije naučilo že dolgo preden je umetna inteligenca postala nabavna kategorija. Tipi so strogi. Omejitve podatkovne baze so stroge. Končni avtomati so strogi. Nadzor dostopa je strog. Plačilni sistem ne prosi modela, naj izrazi svoja čustva o stanju na računu. Denar predstavlja z natančnimi enotami, preverja pooblastila, beleži stanje in zavrača neveljavne prehode. Prav zaradi strogosti je sistem mogoče revidirati in popraviti. Sporočilo o napaki vam morda ni všeč, a običajno lahko najdete vrstico, ki ga je povzročila. To ni majhen dar.
Komponente umetne inteligence potrebujejo enako disciplino, ker so del delovnih tokov, ki imajo posledice. Klasifikator, ki izbira med vračilom, zamenjavo, eskalacijo in zavrnitvijo, ne bi smel izumiti petega stanja, imenovanega morda pozneje s iskrenim obžalovanjem. Ekstraktor, ki bere pogodbo, ne bi smel v polje za rok vnesti nejasnega datuma samo zato, ker je besedilo zvenelo kot rok. Model za iskanje ne bi smel tiho prestopiti meje dovoljenj, ker je sosednji dokument deloval koristen. Strogost daje preostalemu sistemu nekaj trdnega, česar se lahko drži.
Uporabno vprašanje ni, ali je model na splošno inteligenten. Uporabno vprašanje je, ali ima model pravo pogodbo za to nalogo. Katere vhode sme videti. Katere izhode sme ustvariti. Katero negotovost je treba razkriti. Katere primere je treba zavrniti. Kateri dokazi morajo spremljati rezultat. Katere metrike dokazujejo, da deluje. Manjši model z jasno pogodbo pogosto premaga večji model z junaškim pozivom, ker pogodba preživi stik z delovanjem.
Velikost kupi širino, širina pa ima račun
Veliki modeli so usposobljeni za splošnost. To je njihova prednost. Lahko prehajajo med področji, obravnavajo nenavadno besedišče, sklepajo iz konteksta in ustvarjajo tekoče odzive, tudi ko so vhodi neenakomerni. Zato se v raziskovanju zdijo čarobni. Človek lahko vpraša ohlapno in še vedno dobi nekaj skladnega nazaj. Skladnost je uporabna. Nevarna pa je, ko delovni tok potrebuje ozko zavezo.
Širina ima račun. Širok model ima več načinov, kako biti koristno napačen. Lahko uvozi kontekst iz napačnega dela pogovora. Lahko zgladi manjkajoče dokaze. Lahko odgovori iz predhodnega znanja, ko je sistem želel dokaz, utemeljen na iskanju. Lahko sledi vzorcu, ki je videti pogost, namesto izjemi, ki velja. Lahko zgradi verjeten most čez vrzel, ki bi morala ustaviti postopek. Izhod lahko zveni bolje prav zato, ker je model dober v jeziku. To je priročno za predstavitve in nepriročno za odgovornost.
Manjši modeli zmanjšajo del tega računa z zožitvijo prostora možnega vedenja. Klasifikator področja z dvanajstimi oznakami lahko še vedno odpove, a njegova napaka je berljiva. Omejen ekstraktor lahko še vedno spregleda polje, a manjkajoče polje je mogoče prešteti. Majhen model za razvrščanje lahko še vedno daje prednost zastarelim dokazom, a to preferenco je mogoče preizkusiti proti znanemu korpusu. To so inženirske napake, kar je odlična novica. Inženirske napake je mogoče izmeriti, načrtovati in odpraviti. Mistične napake zahtevajo več sestankov.
Obstaja tudi kognitivni račun za ekipe. En sam širok model zamegli lastništvo. Kdo je lastnik sklepanja o garancijah, besedila o skladnosti, izbire virov, tona, zavrnitve in eskalacije, če vse to živi v enem pozivu in na enem končnem mestu. Ko se nekaj spremeni, kateri testni niz naj se zažene. Ko uporabnik izpodbija rezultat, katera komponenta je kriva. Model postane zelo nadarjena omara, v katero je shranjena vsaka institucionalna odločitev. Nekdo na koncu odpre vrata in ven pade mapa s politikami.
Manjši modeli naredijo napake vidne
Vidnost je pomembna, ker je vsak produkcijski sistem na koncu sistem za ugotavljanje, kaj je šlo narobe. Velik model lahko odpove na načine, ki jih je težko ločiti. Je bil poziv dvoumen. Je bila pridobitev zastarela. Je model preveč posplošil. Je bilo navodilo o politiki prenizko v kontekstu. Ali je nastavitev dekodiranja spodbujala raznolikost tam, kjer je bila pomembna doslednost. Je rezultat orodja prispel prepozno. Je varnostna ograja prepisala odgovor. Vsaka možnost je lahko resnična. Pregled incidenta postane detektivska zgodba s proračunsko kodo.
Manjše komponente ustvarijo manjša vprašanja. Če ekstraktor spregleda nakupni kanal, preglejte ekstraktor. Če klasifikator izbere vračilo namesto eskalacije, preverite označeni niz in prag. Če preverjevalnik ne ujame nepodprte trditve, dodajte vzorec trditve in pravilo o viru v vrednotenje preverjevalnika. To dela ne naredi trivialnega. Naredi jo lokalno. Lokalno je dobro. Lokalno pomeni, da je polmer udarca mogoče omejiti in popravek preizkusiti, ne da bi zmotili celotno katedralo.
Strogi rezultati ustvarijo tudi boljšo telemetrijo. Model, ki vrne eno od dvanajstih stanj, je mogoče spremljati skozi čas. Model, ki vrne strukturirana polja, lahko poroča o manjkajočih vrednostih, nesoglasjih, intervalih zaupanja in odstopanjih. Model, ki zavrne, vam lahko pove, zakaj. Odgovor v prozi lahko vsebuje vse to, vendar mora potem vsak odjemalec v nadaljevanju razčleniti stavek, ki ga je napisal stroj, nagrajen za to, da zveni naravno. Tako sistem za spremljanje postane bralni klub.
Vidnost napak spremeni kulturo. Ekipe prenehajo razpravljati o tem, ali je umetna inteligenca dobra, in začnejo spraševati, katera komponenta je odpovedala pod katerim pogojem. To je bolj zdrav argument. Lahko vodi do novega podatkovnega izseka, boljšega praga, manjšega nabora dokazov, strožje sheme ali stanja človeškega pregleda. Tesnobo spremeni v vzdrževanje. Vzdrževanje je manj glamurozno kot eksistencialna razprava, a običajno pride na vrsto pred kosilom.
Vmesnik je polovica modela
Ko ljudje primerjajo modele, pogosto primerjajo uteži, parametre, merila uspešnosti in lestvice. Te so pomembne, a v produkciji je vmesnik prav tako pomemben. Vmesnik določa, kakšne obljube lahko model daje. Vmesnik s prostim besedilom spodbuja odprto obnašanje. Strukturiran vmesnik zahteva nadzorovan rezultat. Dekoder z omejeno slovnico, shema orodij, tipiziran izhodni objekt ali fiksni nabor oznak lahko spremenijo operativni značaj iste osnovne inteligence.
Vzemimo model, ki bere račune. Če vrne odstavek z razlago računa, mora ekipa še vedno izluščiti dobavitelja, davčno številko, seštevke postavk, valuto, rok zapadlosti in stopnjo zaupanja. Če vrne tipiziran objekt z obveznimi polji, je mogoče validacijo izvesti takoj. Če rok zapadlosti manjka, lahko objekt to označi kot manjkajoče. Če se seštevki ne ujemajo, lahko preverjevalnik zavrne uvoz. Model je morda manj zgovoren, a računovodstvo mu ne plačuje, da bi bil karizmatičen. Želijo, da knjiga preneha nihati.
Vmesniki oblikujejo tudi usposabljanje. Model, usposobljen za ustvarjanje fiksnih oznak, je mogoče ocenjevati glede na napake pri oznakah. Model, usposobljen za izluščanje polj, je mogoče ocenjevati glede na natančno ujemanje, pravilnost razponov, manjkajoče vrednosti in izmišljene vrednosti. Model, usposobljen za ustvarjanje proze, zahteva več presoje, več rubrik in več človeškega pregleda. To je lahko primerno za nekatere naloge. Za naloge, kjer je želeni rezultat že strukturiran, pa je potratno. Presenetljivo veliko dela z umetno inteligenco je zgolj vnos podatkov v žametni jakni.
Manjši in strožji modeli zato silijo ekipe k razmisleku o obliki dela. Ali gre za nalogo klasifikacije, izluščanja, razvrščanja, preoblikovanja, preverjanja, načrtovanja ali razlage. Ali model sploh potrebujemo, ali bi bili boljši pravilo, reševalec, omejitev podatkovne baze ali iskalni indeks. Kateri del potrebuje razumevanje jezika in kateri del potrebuje gotovost. Ta razčlenitev ni pedantna. Je razlika med oblikovanjem sistema in najemom ust.
Podatki za usposabljanje postanejo manj teatralni
Splošni modeli potrebujejo ogromne in raznolike nabore za usposabljanje, ker morajo pokrivati ogromno in raznoliko obnašanje. Ozki modeli je pogosto mogoče izboljšati z manjšimi, bolje označenimi in ustreznejšimi podatki. To se sliši manj spektakularno, kar je še ena prednost. Spektakel ni merilo kakovosti. Tisoč skrbno pregledanih primerov za klasifikator zahtevkov lahko stori več za zanesljivost v produkciji kot veliko podatkovno jezero, kamor je bil povabljen vsak dokument in nihče ni preveril seznama gostov.
Manjše naloge pojasnijo pomen oznak. Če je oznaka stopnjevati, lahko pregledovalci natančno določijo, kateri pogoji upravičujejo stopnjevanje. Če je polje datum poteka pogodbe, lahko pregledovalci opredelijo, kako obravnavati klavzule o podaljšanju, dodatke, manjkajoče podpise in nasprotujoče si datume. Če je izid dovoljenje zavrnjeno, lahko varnostne in pravne ekipe določijo mejo. To ustvarja institucionalno znanje kot stranski učinek oblikovanja modela. Ekipa spozna, kaj proces pomeni. To je neprijetno le, če organizacija raje ne bi vedela.
Ozko usposabljanje tudi naredi vrednotenje bolj reprezentativno. Testne nize lahko sestavite okoli dejanskih načinov odpovedi: manjkajoča polja, zastarele politike, nasprotovalno besedilo, regionalne izjeme, nenavadno oblikovanje, nizka zanesljivost in primeri, kjer je zavrnitev pravilna. Natančnost in priklic lahko merite tam, kjer sta pomembna. Lahko se odločite, da je lažna odobritev desetkrat hujša od lažnega stopnjevanja. Pragove lahko prilagodite glede na operativne stroške. To so konkretne odločitve. Niso glamurozne, imajo pa redko lastnost, da so uporabne.
Še vedno je prostor za široko predhodno usposabljanje in prenos. Majhen strog model lahko sloni na vdelavah večjega modela. Omejen jezikovni model lahko uporablja splošno jezikovno znanje, medtem ko izpisuje fiksno shemo. Splošni model lahko ustvari kandidate, ki jih strog preverjevalnik preveri. Argument ni čistost. Argument je umestitev. Široko zmogljivost uporabite tam, kjer je širina potrebna. Strogost uporabite tam, kjer sistem potrebuje zavezanost.
Ekonomika je tišja in boljša
Strošek ni le račun za sklepanje. Strošek so zakasnitev, pomnilnik, energija, operativna zapletenost, prizadevanje za vrednotenje, breme pregleda, odzivanje na incidente in število inženirjev, potrebnih za razlago, zakaj se je torek razlikoval od ponedeljka. Manjši modeli lahko pomagajo na vseh teh področjih. Morda delujejo bližje podatkom. Morda se prilegajo običajni strojni opremi. Lahko so predpomnjeni, kvantizirani, pakirani ali vdelani v storitev, ne da bi uvajanje postalo slovesnost s tremi koledarji in rezervacijo zmogljivosti.
Zakasnitev spremeni vedenje izdelka. Če klasifikator vrne rezultat v milisekundah, lahko deluje znotraj poteka dela, ne da bi uporabnik strmel v vrtiljak in premišljeval o svojih kariernih odločitvah. Če ekstraktor deluje lokalno, občutljiv material ne potuje do oddaljene storitve za preprosto pridobivanje polja. Če je preverjevalnik poceni, lahko deluje na vsakem izhodu in ne le na vzorčnih primerih. Te podrobnosti niso nepomembne. Odločajo o tem, ali se varnostni in kakovostni nadzor dejansko uporabljata ali le občudujeta v arhitekturnih diagramih.
Operativno je manjše modele lažje zamenjati. Ekipa lahko usposobi nov ekstraktor, ga zažene proti staremu, primerja neskladja in ga uvede po delih. Prejšnjo različico lahko obdrži za ponovno predvajanje. Vsaki odločitvi lahko priloži različico modela in prag. Ogromno namensko končno točko je mogoče tudi različiti, vendar primerjava pogosto postane nejasnejša, ker se veliko vedenj spremeni hkrati. Veliki nizi sprememb so kraj, kjer zaupanje postane gradient v PowerPointu.
Obstaja tudi prednost pri nabavi. Manjši strogi sestavni deli naredijo zamenjavo dobavitelja bolj realistično. Če je pogodba znana shema in znan nabor za vrednotenje, lahko ekipa primerja izvedbe. Če je pogodba ogromen poziv, poln skrite politike in osebnosti, postane prehod tvegan. Organizacija lahko odkrije, da njen potek dela ne poganja model, temveč je z njim prepleten. Prepletenost je romantična v romanih. V produkciji je načrt selitve z zobmi.
Kje veliki modeli še vedno spadajo
Nič od tega ne pomeni, da bi velike modele morali poslati v raziskovalno omaro. Odlični so pri marsičem. Uporabni so za raziskovanje, osnutke, povzemanje, prevajanje, dvoumne vnose uporabnikov, pomoč pri kodi in naloge, pri katerih je želeni rezultat resnično odprt. Ljudem lahko pomagajo razmišljati o neznani snovi. Lahko ustvarijo predloge razlag. Lahko pretvorijo neurejeno naravno jezikovno sporočilo v bolj strukturirano zahtevo. Lahko so velikodušna vhodna vrata v strožjo pisarno.
Napaka je, če vhodna vrata postanejo celotna stavba. Veliki model lahko razlaga namero, a manjši klasifikator lahko izbere potek dela. Veliki model lahko pripravi osnutek odgovora, a preverjevalnik lahko preveri trditve. Veliki model lahko povzame dokument, a izluščevalnik lahko izpolni regulirana polja. Veliki model lahko predlaga načrt, a politična vrata lahko odločijo, kateri koraki so dovoljeni. Široki model ostaja dragocen. Le neha se pretvarjati, da je vir vse avtoritete.
Ta delitev je prijaznejša tudi do uporabnikov. Ljudje se ne želijo pogajati z modelom o tem, ali stanje vračila obstaja. Želijo jasne rezultate, jasne dokaze in pot za ugovor. Sistem, sestavljen iz strogih komponent, se lahko pojasni v operativnem smislu: ta vir je bil uporabljen, to polje je manjkalo, ta prag je bil dosežen, ta politika je zahtevala pregled. Ta razlaga je morda manj očarljiva kot odstavek tekoče empatije, a je bolj uporabna, kadar so v igri denar, pravice, varnost ali zaupanje.
Prihodnost verjetno ni en sam model, ki bi vladal poteku dela. Je sestav modelov, pravil, reševalcev, indeksov, preverjevalnikov in človeškega pregleda. Nekateri deli bodo veliki in prilagodljivi. Nekateri bodo drobni in trmasti. Umetnost je vedeti, kateri je kateri. Dober inženir mora biti sumničav do vsake arhitekture, kjer se vsak problem rešuje s povečevanjem iste komponente. To ni oblikovanje. To je napihovanje.
Primer
Zagovor manjših in strožjih modelov ni v tem, da je majhnost moralno boljša. Gre za to, da je veliko dragocenih nalog manjših, kot dopušča naš trenutni besednjak o modelih. Razvrsti ta primer. Izlušči ta polja. Razvrsti te vire. Preveri to trditev. Zavrni brez dokazov. Preusmeri k človeku. Ohrani razlog. To niso manjvredne oblike inteligence. To so oblike, zaradi katerih so večji sistemi zanesljivi.
Ko ekipe začnejo pri največjem razpoložljivem modelu, pogosto odložijo težka oblikovalska vprašanja. Kakšen je prostor stanj. Kateri izhodi so dovoljeni. Kateri dokazi so potrebni. Kaj pomeni negotovost. Kdo je odgovoren za napako. Kako se komponenta testira. Kdaj mora zavrniti. Ko so ta vprašanja prezrta, jih model podeduje kot skrito politiko. Skrita politika lahko deluje za pilotni projekt. V produkciji se postara slabo, običajno ravno takrat, ko nekdo zaprosi za revizijsko sled.
Začeti z manjšim modelom sili k prejšnjim vprašanjem. Sprašuje, ali ima problem znano obliko. Sprašuje, ali lahko strog vmesnik prenese rezultat. Sprašuje, ali model potrebuje široke jezikovne sposobnosti ali ozko presojo. Sprašuje, kaj je treba izmeriti, preden se zaupa. Ta disciplina ne zmanjšuje ambicij. Daje ambicijam ogrodje. Brez njega se sistem morda še vedno premika, a nihče ne bi smel stati preblizu.
Manjši in strožji modeli so lažji za lastništvo. Cenejši so za poganjanje, lažji za vrednotenje, jasnejši za razhroščevanje, varnejši za sestavljanje in bolj pošteni glede svojih omejitev. Povsod ne nadomeščajo širokih modelov. Široke modele naredijo uporabne tam, kjer uporabno pomeni več kot le tekoče. V resnem inženirstvu umetne inteligence je to razlika, ki šteje. Najboljši sistem je redko tisti z največjim modelom na vsaki točki. Je tisti, kjer ima vsaka točka najmanjšo komponento, ki lahko opravi delo, najstrožjo pogodbo, ki še ustreza resničnosti, in dovolj zapuščenih dokazov, da naslednji človek razume, kaj se je zgodilo.