Väiksemate ja rangemate mudelite kasuks
Mudel, mis teadis liiga palju
Esimene hoiatusmärk ei olnud kokkujooksmine. Kokkujooksmised on vähemalt ausad. Hoiatusmärk oli ilus vastus valele küsimusele. Meeskond oli ehitanud sisemise assistendi tehnilise toe jaoks. See oskas lugeda tootejuhendeid, piletite ajalugu, väljalaskemärkmeid ja väikest poliitikapaketti, mis selgitas, mida agendid tohtisid klientidele lubada. Mudel oli suur, sujuv ja piisavalt enesekindel, et muuta koosolekuruum ajutiselt kaasaegseks.
Pilootperioodil vastas see laialdasetele küsimustele hästi. See võttis kokku pikad piletid. See tõlkis vihase kliendi jutu millekski kasutatavaks. See leidis varjatud seoseid sümptomite ja varasemate paranduste vahel. Siis saabus rutiinne garantiiküsimus. Õige vastus sõltus kolmest kitsast faktist: tootepiirkond, ostukanali ja püsivara versioon. Mudel leidis usutava poliitikalõigu, eiras vaikset erandit väljalaskemärkmetes ja kirjutas vastuse, mis kõlas nagu keegi oleks tõe triikinud, kuni see nägi välja auväärne. Keegi polnud palunud luulet. Nad vajasid piiritletud otsust.
Parandus ei olnud mudeli suuremaks muutmine. Parandus oli muuta osa süsteemist väiksemaks ja rangemaks. Väike klassifikaator määras garantiitee. Piiratud ekstraktor tõmbas välja kolm nõutud fakti. Reeglikontroll keeldus juhtumist, kui mõni fakt puudus. Suur mudel aitas ikka veel kirjutada lõplikku inimesele loetavat märkust, kuid see ei omanud enam otsust. Tulemus oli vähem glamuurne ja palju parem. See on tavaline muster. Lai mudel on muljetavaldav, kuni töö nõuab komponenti, mis suudab öelda täpselt, mida ta nägi, täpselt, mida ta otsustas, ja täpselt, millal ta keeldub jätkamast.
Väiksemate ja rangemate mudelite argument algab sealt. Mitte vana tarkvara nostalgiast ega moraalsest vastuseisust mastaabile. Suured mudelid on kasulikud. Need suudavad katta segast keelt, tõlkida kavatsust, võtta kokku tõendeid ja anda inimestele kiirema tee keerulisse materjali. Kuid suurus ostab laiust. See ei osta automaatselt kontrolli. Tõsised süsteemid vajavad komponente, mida saab piiritleda, hinnata, kasutusele võtta, jälgida ja asendada, ilma et iga intsident muutuks filosoofiliseks seminariks logidega.
Rangus on omadus, mitte meeleolu
Rangus kõlab ebameeldivalt, sest inimesed ajavad selle segamini rumalusega. Range komponent ei ole selline, mis mõistab vähem ilma põhjuseta. See on selline, millel on lubatud teha vähem asju meelega. See võib aktsepteerida ainult teadaolevat skeemi. See võib väljastada ainult kindlat hulka silte. See võib lugeda ainult nimelist tõenduskomplekti. See ei tohi kutsuda ühtegi tööriista. Seda võib sundida tagastama ebapiisavaid tõendeid selle asemel, et improviseerida. Need piirangud ei ole karistus. Need on see, mis teeb komponendi kasutatavaks süsteemis, kus teised osad sellest sõltuvad.
Tarkvaratehnika õppis selle õppetunni ammu enne seda, kui tehisintellektist sai hankekategooria. Tüübid on ranged. Andmebaasipiirangud on ranged. Lõplikud olekumasinad on ranged. Juurdepääsukontroll on range. Maksesüsteem ei küsi mudelilt, et see väljendaks oma tundeid kontojääkide kohta. See esindab raha täpsete ühikutega, kontrollib volitusi, salvestab oleku ja keeldub kehtetutest üleminekutest. Rangus on see, miks süsteemi saab auditeerida ja parandada. Teile ei pruugi veateade meeldida, kuid tavaliselt leiate rea, mis selle põhjustas. See ei ole väike kingitus.
Tehisintellekti komponendid vajavad sama distsipliini, sest nad asuvad töövoogudes, millel on tagajärjed. Klassifikaator, mis valib rahatagastuse, asendamise, edastamise ja tagasilükkamise vahel, ei tohiks leiutada viiendat olekut nimega võib-olla hiljem siira kahetsusega. Ekstraktor, mis loeb lepingut, ei tohiks panna ebamäärast kuupäeva tähtaja väljale, sest proosa kõlas tähtaja moodi. Otsingumudel ei tohiks vaikselt ületada õiguste piiri, sest lähedal asuv dokument tundus abistav. Rangus annab ülejäänud süsteemile midagi kindlat, millest kinni hoida.
Kasulik küsimus ei ole see, kas mudel on abstraktselt intelligentne. Kasulik küsimus on see, kas mudelil on töö jaoks õige leping. Milliseid sisendeid see tohib näha. Milliseid väljundeid see tohib toota. Milline ebakindlus tuleb avalikustada. Millistel juhtudel tuleb keelduda. Millised tõendid peavad tulemusega kaasas käima. Millised mõõdikud tõestavad, et see töötab. Väiksem mudel selge lepinguga võidab sageli suurema mudeli kangelasliku viibaga, sest leping peab vastu operatsioonidega kokkupuutele.
Suurus ostab laiust ja laiusel on arve
Suured mudelid on treenitud olema üldised. See on nende tugevus. Nad saavad liikuda valdkondade vahel, tulla toime ebatavalise sõnastusega, järeldada konteksti ja toota sujuvaid vastuseid isegi siis, kui sisend on konarlik. Sellepärast tunduvad nad avastamisel maagilised. Inimene saab küsida lõdvalt ja saab ikkagi midagi sidusat vastu. Sidusus on kasulik. See on ka ohtlik, kui töövoog vajab kitsast pühendumust.
Laiusel on arve. Lai mudel saab olla abivalmilt valel viisil rohkem. See saab importida konteksti vestluse valest osast. See saab siluda üle puuduvate tõendite. See saab vastata varasemate teadmiste põhjal, kui süsteem soovis otsingupõhiseid tõendeid. See saab järgida mustrit, mis näeb tavaline välja, selle asemel et erandit, mis kehtib. See saab teha usutava silla üle lõhe, mis oleks pidanud protsessi peatama. Väljund võib kõlada paremini just seetõttu, et mudel on keeles hea. See on mugav demode jaoks ja ebamugav vastutuse jaoks.
Väiksemad mudelid vähendavad osa sellest arvest, kitsendades võimaliku käitumise ruumi. Valdkonnaklassifikaator kaheteistkümne sildiga võib ikka ebaõnnestuda, kuid selle ebaõnnestumine on loetav. Piiratud ekstraktor võib ikka välja vahele jätta, kuid vahele jäänud välja saab kokku lugeda. Väike järjestusmudel võib ikka eelistada aegunud tõendeid, kuid eelistust saab testida teadaoleva korpuse vastu. Need on inseneri ebaõnnestumised, mis on suurepärane uudis. Inseneri ebaõnnestumisi saab mõõta, eelarvestada ja parandada. Müstilised ebaõnnestumised nõuavad rohkem koosolekuid.
Meeskondadele on ka kognitiivne arve. Üks lai mudel muudab omandi häguseks. Kes vastutab garantiipõhjenduste, vastavussõnastuse, allikavaliku, tooni, keeldumise ja eskalatsiooni eest, kui see kõik elab ühes viibas ja ühes lõpp-punktis. Kui midagi muutub, milline testikomplekt peaks jooksma. Kui kasutaja esitab väljundi kohta vastuväite, milline komponent on süüdi. Mudelist saab väga andekas kapp, kuhu on pandud iga institutsionaalne otsus. Lõpuks keegi avab ukse ja sealt kukub välja poliitikate kaustik.
Väiksemad mudelid muudavad tõrked nähtavaks
Nähtavus on oluline, sest iga tootmissüsteem on lõpuks süsteem selle väljaselgitamiseks, mis valesti läks. Suur mudel võib ebaõnnestuda viisil, mida on raske eristada. Kas viip oli mitmetähenduslik. Kas otsing oli aegunud. Kas mudel üldistas liialt. Kas poliitikajuhis oli kontekstis liiga madalal. Kas dekodeerimisseade soodustas varieeruvust seal, kus järjepidevus oli oluline. Kas tööriista tulemus jõudis hilja. Kas turapiire kirjutas vastuse ümber. Iga võimalus võib olla tõeline. Intsidendianalüüsist saab detektiivilugu eelarvekoodiga.
Väiksemad komponendid toodavad väiksemaid küsimusi. Kui ekstraktor jättis ostukanali vahele, kontrolli ekstraktorit. Kui klassifikaator valis tagasimakse eskalatsiooni asemel, vaata märgistatud hulka ja lävendit. Kui kontrollija ei suutnud põhjendamata väidet tabada, lisa väidemuster ja allikareegel kontrollija hindamisse. See ei muuda tööd triviaalseks. See muudab töö kohalikuks. Kohalik on hea. Kohalik tähendab, et plahvatusraadiust saab piirata ja parandust saab testida ilma kogu katedraali häirimata.
Ranged väljundid loovad ka parema telemeetria. Mudelit, mis tagastab ühe kaheteistkümnest olekust, saab ajas jälgida. Mudel, mis tagastab struktureeritud välju, saab teatada puuduvatest väärtustest, lahkarvamustest, usaldusvahemikest ja triivist. Mudel, mis keeldub, saab sulle öelda, miks. Proosavastus võib seda kõike sisaldada, kuid siis peab iga allavoolu tarbija parsimima lauset, mille kirjutas masin, mida premeeriti loomuliku kõlamise eest. Nii muutub monitooringusüsteem raamatuklubiks.
Tõrgete nähtavus muudab kultuuri. Meeskonnad lõpetavad vaidlemise selle üle, kas AI on hea, ja hakkavad küsima, milline komponent millises tingimuses ebaõnnestus. See on tervislikum vaidlus. See võib viia uue andmelõikeni, parema lävendini, väiksema tõenduskomplektini, rangema skeemini või inimese ülevaate olekuni. See muudab ärevuse hoolduseks. Hooldus on vähem glamuurne kui eksistentsiaalne arutelu, kuid tavaliselt jõuab see lõunaks välja.
Liides on pool mudelist
Kui inimesed mudeleid võrdlevad, võrdlevad nad sageli kaalusid, parameetreid, tulemusi ja edetabeleid. Need on olulised, kuid tootmises loeb liides sama palju. Liides määrab, milliseid lubadusi mudel saab anda. Vaba teksti liides kutsub esile avatud lõpuga käitumist. Struktureeritud liides nõuab kontrollitud tulemust. Grammatikapiirangutega dekooder, tööriista skeem, tüpiseeritud väljundobjekt või fikseeritud siltide hulk võib muuta sama aluseks oleva intelligentsuse operatiivset iseloomu.
Mõelge mudelile, mis loeb arveid. Kui see tagastab lõigu arve selgitusega, peab meeskond ikkagi välja tõmbama tarnija, käibemaksukohustuslase numbri, ridade summad, valuuta, maksetähtaja ja usaldusväärsuse. Kui see tagastab tüpiseeritud objekti nõutud väljadega, saab valideerimist kohe käivitada. Kui maksetähtaeg puudub, saab objekt öelda puudub. Kui summad ei klapi, saab kontrollija impordi keelata. Mudel võib olla vähem jutukas, kuid raamatupidamisosakond ei maksa sellele sarmi eest. Nad tahavad, et pearaamat lakkaks kõikuma.
Liidesed kujundavad ka treenimist. Mudelit, mis on treenitud fikseeritud silte tootma, saab hinnata sildivigade suhtes. Mudelit, mis on treenitud välju eraldama, saab hinnata täpse vaste, ulatuse õigsuse, puudumise ja hallutsineeritud väärtuste alusel. Mudel, mis on treenitud proosat tootma, vajab rohkem otsustusvõimet, rohkem rubriike ja rohkem inimese ülevaadet. See võib mõne töö puhul sobiv olla. See on raiskav tööde puhul, kus soovitud väljund on juba struktureeritud. Üllatavalt suur osa AI-tööst on lihtsalt andmesisestus sametjopes.
Väiksemad ja rangemad mudelid sunnivad seega meeskondi mõtlema töö kujule. Kas see on klassifitseerimise, eraldamise, järjestamise, teisendamise, kontrollimise, planeerimise või selgitamise ülesanne. Kas see vajab üldse mudelit või oleks reegel, lahendaja, andmebaasi piirang või otsinguindeks parem. Milline osa vajab keelemõistmist ja milline osa kindlust. See jaotamine ei ole pedantne. See on vahe süsteemi kujundamise ja suu rentimise vahel.
Treenimisandmed muutuvad vähem teatraalseks
Üldised mudelid vajavad tohutuid ja mitmekesiseid treeningkomplekte, sest neilt oodatakse tohutu ja mitmekesise käitumise katmist. Kitsaid mudeleid saab sageli parandada väiksemate, paremini märgistatud ja asjakohasemate andmetega. See kõlab vähem suurejooneliselt, mis on veel üks eelis. Suurejoonelisus ei ole kvaliteedimõõdik. Tuhat hoolikalt üle vaadatud näidet nõuete klassifikaatori jaoks võib tootmise usaldusväärsusele rohkem kasu tuua kui suur andmejärv, kuhu on iga dokument kutsutud ja keegi pole külaliste nimekirja kontrollinud.
Väiksemad ülesanded muudavad märgendi tähenduse selgemaks. Kui märgend on escalate, saavad ülevaatajad täpselt arutada, millised tingimused õigustavad edastamist. Kui väli on contract end date, saavad ülevaatajad määratleda, kuidas käsitleda pikendusklausleid, muudatusi, puuduvaid allkirju ja vastuolulisi kuupäevi. Kui väljund on permission blocked, saavad turva- ja õigusmeeskonnad piiri täpsustada. See loob institutsionaalse teadmise mudeli kujundamise kõrvalmõjuna. Meeskond õpib, mida protsess tähendab. See on ebamugav ainult siis, kui organisatsioon eelistas mitte teada.
Kitsas treenimine muudab ka hindamise esinduslikumaks. Saab koostada testikomplekte tegelike rikete ümber: puuduvad väljad, aegunud poliitikad, vastuoluline sõnastus, piirkondlikud erandid, ebatavaline vormindus, madal enesekindlus ja juhtumid, kus keeldumine on õige. Saab mõõta täpsust ja katvust seal, kus need olulised on. Saab otsustada, et vale heakskiit on kümme korda hullem kui vale edastamine. Saab häälestada lävesid tegevuskulude järgi. Need on konkreetsed valikud. Need pole glamoursed, kuid neil on haruldane omadus olla kasulikud.
Lai eeltreenimine ja ülekandmine leiavad siiski oma koha. Väike range mudel võib asuda suurema mudeli manustuste peal. Piiratud keelemudel võib kasutada üldisi keeleteadmisi, väljastades samal ajal fikseeritud skeemi. Üldine mudel võib genereerida kandidaate, mida range kontrollija kontrollib. Argument pole puhtus. Argument on paigutus. Kasuta laia võimekust seal, kus laius on vajalik. Kasuta rangust seal, kus süsteem vajab pühendumust.
Majandus on vaiksem ja parem
Kulud pole ainult arve järelduste tegemise eest. Kulud on latentsus, mälu, energia, operatiivne keerukus, hindamistöö, ülevaatuskoormus, intsidentidele reageerimine ja inseneride arv, kes peavad selgitama, miks teisipäev käitus teisiti kui esmaspäev. Väiksemad mudelid võivad aidata kõigil neil mõõtmetel. Need võivad töötada andmetele lähemal. Need võivad mahtuda tavalisele riistvarale. Neid saab vahemällu salvestada, kvantiseerida, partiidena töödelda või teenusesse manustada ilma, et kasutuselevõtt muutuks tseremooniaks, mis nõuab kolme kalendrit ja võimsuse reserveerimist.
Latentsus muudab toote käitumist. Kui klassifikaator vastab millisekunditega, saab see töövoolu sisse paigutada ilma, et kasutaja jääks spinnrit vahtima ja oma karjäärivalikuid üle kaaluma. Kui ekstraktor töötab kohapeal, ei pea tundlik materjal lihtsa välja tõmbamiseks kaugteenusesse liikuma. Kui kontrollija on odav, saab seda kasutada igal väljundil, mitte ainult valimjuhtudel. Need detailid pole vähetähtsad. Need otsustavad, kas turva- ja kvaliteedikontrolli tegelikult kasutatakse või ainult imetletakse arhitektuuriskeemidel.
Operatiivselt on väiksemaid mudeleid lihtsam asendada. Meeskond saab treenida uue ekstraktori, käivitada selle vana vastu, võrrelda erimeelsusi ja juurutada osade kaupa. Eelmise versiooni saab hoida taasesitamiseks saadaval. Iga otsuse külge saab kinnitada mudeliversiooni ja läve. Ka hiiglaslikku mitmeotstarbelist lõpp-punkti saab versioonida, kuid võrdlus muutub sageli hägusemaks, sest paljud käitumised muutuvad korraga. Suured muudatuskomplektid on koht, kus enesekindlus muutub PowerPointi gradiendiks.
On ka hankeeelis. Väiksemad ranged komponendid muudavad tarnija vahetamise realistlikumaks. Kui leping on teadaolev skeem ja teadaolev hindamiskomplekt, saab meeskond rakendusi võrrelda. Kui leping on tohutu päring, mis on täis varjatud poliitikat ja isikupära, muutub vahetamine riskantseks. Organisatsioon võib avastada, et tema töövoog pole nii palju mudeli jõul töötav, kuivõrd sellega põimunud. Põimumine on romantiline romaanides. Tootmises on see rändekava hammastega.
Kuhu suured mudelid ikka kuuluvad
Miski sellest ei tähenda, et suured mudelid tuleks uurimiskappi pagendada. Nad on paljudes asjades suurepärased. Nad on kasulikud avastamiseks, mustandite koostamiseks, kokkuvõtete tegemiseks, tõlkimiseks, mitmetähendusliku kasutajasisendi töötlemiseks, koodi abistamiseks ja ülesannete jaoks, kus soovitud väljund on tõeliselt lahtise lõpuga. Nad aitavad inimestel võõrast materjali läbi mõelda. Nad suudavad genereerida kandidaatseid selgitusi. Nad suudavad muuta segase loomuliku keele struktureeritumaks päringuks. Nad võivad olla helde esiuks rangemale tagakontorile.
Viga on lasta esiuksel muutuda hooneks. Suur mudel võib tõlgendada kavatsust, kuid väiksem klassifikaator saab valida töövoo. Suur mudel võib koostada vastuse mustandi, kuid kontrollija saab väiteid üle kontrollida. Suur mudel võib teha dokumendist kokkuvõtte, kuid ekstraktor saab täita reguleeritud väljad. Suur mudel võib pakkuda välja plaani, kuid poliitikavärav saab otsustada, millised sammud on lubatud. Lai mudel jääb väärtuslikuks. Ta lihtsalt lõpetab teesklemise, et ta on kogu autoriteedi allikas.
See jaotus on ka kasutajate suhtes lahkem. Inimesed ei taha pidada mudeliga läbirääkimisi selle üle, kas tagasimakse olek on olemas. Nad tahavad selgeid tulemusi, selgeid tõendeid ja võimalust vaidlustamiseks. Süsteem, mis on kokku pandud rangetest komponentidest, suudab ennast selgitada operatiivsetes terminites: seda allikat kasutati, see väli puudus, see lävi oli täidetud, see poliitika nõudis läbivaatamist. See selgitus võib olla vähem võluv kui sujuva empaatiaga lõik, kuid see on kasulikum, kui mängus on raha, õigused, ohutus või usaldus.
Tulevik ei ole ilmselt üks mudel, mis töövoogu valitseb. See on mudelite, reeglite, lahendajate, indeksite, kontrollijate ja inimese läbivaatuse kooslus. Mõned osad on suured ja paindlikud. Mõned on pisikesed ja järeleandmatud. Kunst seisneb selles, et teada, kumb on kumb. Hea insener peaks suhtuma kahtlustavalt igasse arhitektuuri, kus iga probleem lahendatakse sama komponendi suuremaks muutmisega. See ei ole disain. See on inflatsioon.
Juhtum
Väiksemate ja rangemate mudelite kasuks räägib see, et väiksus ei ole moraalselt parem. Asi on selles, et paljud väärtuslikud ülesanded on väiksemad, kui meie praegune mudelite sõnavara tunnistab. Klassifitseeri see juhtum. Ekstrakti need väljad. Järjesta need allikad. Kontrolli seda väidet. Keeldu ilma tõenditeta. Suuna inimesele. Säilita põhjus. Need ei ole madalamad intelligentsuse vormid. Need on vormid, mis muudavad suuremad süsteemid usaldusväärseks.
Kui meeskonnad alustavad kõige suuremast saadaolevast mudelist, lükkavad nad sageli edasi keerulised disainiküsimused. Mis on olekuruum. Millised väljundid on lubatud. Millist tõendusmaterjali nõutakse. Mida tähendab määramatus. Kes vastutab vea eest. Kuidas komponenti testitakse. Millal peab see keelduma. Kui neid küsimusi eiratakse, pärib mudel need endale varjatud poliitikana. Varjatud poliitika võib pilootprojektis toimida. Tootmises vananeb see halvasti, tavaliselt just siis, kui keegi küsib auditi jälje järele.
Väiksemast alustamine sunnib küsimusi varem esitama. See küsib, kas probleemil on teadaolev kuju. See küsib, kas range liides suudab tulemuse edasi kanda. See küsib, kas mudel vajab laia keeleoskust või kitsast otsustusvõimet. See küsib, mida tuleb mõõta enne usalduse andmist. See distsipliin ei vähenda ambitsioone. See annab ambitsioonidele luustiku. Ilma selleta võib süsteem liikuda, kuid keegi ei peaks liiga lähedale seisma.
Väiksemad ja rangemad mudelid on kergemini hallatavad. Neid on odavam käitada, lihtsam hinnata, selgem debugida, ohutum komponeerida ja ausam nende piirangute suhtes. Need ei asenda laiu mudeleid kõikjal. Need muudavad laiad mudelid kasulikuks kohtades, kus kasulik tähendab enamat kui sujuv kõne. Tõsises AI-tehnikas on just see erinevus, mis loeb. Parim süsteem on harva see, kus igas punktis on kõige suurem mudel. See on see, kus igas punktis on väikseim komponent, mis töö ära teeb, kõige rangem leping, mis reaalsusega sobib, ja piisavalt tõendusmaterjali, et järgmine inimene mõistaks, mis juhtus.