Mazāku un stingrāku modeļu arguments
Modelis, kurš zināja pārāk daudz
Pirmais brīdinājuma signāls nebija avārija. Avārijas vismaz ir godīgas. Brīdinājuma signāls bija skaista atbilde uz nepareizu jautājumu. Komanda bija izveidojusi iekšēju asistentu tehniskajam atbalstam. Tas varēja lasīt produkta rokasgrāmatas, biļešu vēsturi, laidiena piezīmes un nelielu politikas kopumu, kas paskaidroja, ko aģenti drīkst solīt klientiem. Modelis bija liels, raits un pietiekami pārliecināts, lai sapulču telpa uz brīdi justos moderna.
Izmēģinājuma laikā tas labi atbildēja uz plašiem jautājumiem. Tas apkopoja garas biļetes. Tas pārvērta dusmīgu klientu valodu kaut ko lietojamā. Tas atrada slēptas saistības starp simptomiem un iepriekšējiem labojumiem. Tad pienāca ikdienišķs garantijas jautājums. Pareizā atbilde bija atkarīga no trim šauriem faktiem: produkta reģiona, pirkuma kanāla un programmaparatūras versijas. Modelis atrada ticamu politikas rindkopu, ignorēja klusu izņēmumu laidiena piezīmēs un uzrakstīja atbildi, kas izklausījās tā, it kā kāds būtu izgludinājis patiesību, līdz tā izskatījās cienījama. Neviens nebija lūdzis dzeju. Viņiem vajadzēja ierobežotu lēmumu.
Labojums nebija padarīt modeli lielāku. Labojums bija padarīt daļu sistēmas mazāku un stingrāku. Niecīgs klasifikators noteica garantijas ceļu. Ierobežots ekstraktors izvilka trīs nepieciešamos faktus. Noteikumu pārbaude atteica gadījumu, ja trūka kāda fakta. Lielais modelis joprojām palīdzēja uzrakstīt galīgo cilvēkam lasāmo piezīmi, bet tas vairs nepiederēja lēmums. Rezultāts bija mazāk krāšņs un daudz labāks. Tas ir izplatīts modelis. Plašais modelis ir iespaidīgs, līdz darbs prasa komponentu, kas var precīzi pateikt, ko tas redzēja, ko tieši tas nolēma un kad tieši tas atsakās turpināt.
Arguments par mazākiem, stingrākiem modeļiem sākas tur. Ne ar nostalģiju pēc vecas programmatūras, ne ar morālu iebildumu pret mērogu. Lieli modeļi ir noderīgi. Tie var aptvert nekārtīgu valodu, tulkot nodomu, apkopot pierādījumus un dot cilvēkiem ātrāku ceļu sarežģītā materiālā. Bet izmērs pērk plašumu. Tas automātiski nepērk kontroli. Nopietnām sistēmām ir vajadzīgi komponenti, kurus var ierobežot, novērtēt, izvietot, uzraudzīt un aizstāt, nepārvēršot katru incidentu par filozofisku semināru ar žurnāliem.
Stingrība ir funkcija, nevis noskaņojums
Stingrība izklausās nedraudzīga, jo cilvēki to jauc ar stulbumu. Stingrs komponents nav tāds, kas saprot mazāk bez iemesla. Tas ir tāds, kam apzināti atļauts darīt mazāk. Tas var pieņemt tikai zināmu shēmu. Tas var izvadīt tikai fiksētu etiķešu kopu. Tas var lasīt tikai nosauktu pierādījumu kopu. Tas nedrīkst izsaukt rīkus. Tam var likt atgriezt nepietiekamus pierādījumus, nevis improvizēt. Šie ierobežojumi nav sods. Tie ir tas, kas padara komponentu lietojamu sistēmā, kur citas daļas no tā ir atkarīgas.
Programmatūras inženierija šo mācību apguva ilgi pirms mākslīgais intelekts kļuva par iepirkumu kategoriju. Tipi ir stingri. Datu bāzes ierobežojumi ir stingri. Galīgie stāvokļu automāti ir stingri. Piekļuves kontrole ir stingra. Maksājumu sistēma nelūdz modelim izteikt jūtas par konta atlikumiem. Tā attēlo naudu ar precīzām vienībām, pārbauda pilnvaras, reģistrē stāvokli un noraida nederīgas pārejas. Stingrība ir iemesls, kāpēc sistēmu var auditēt un labot. Jums var nepatikt kļūdas ziņojums, bet parasti varat atrast rindu, kas to izraisīja. Tā nav maza dāvana.
Mākslīgā intelekta komponentiem ir vajadzīga tā pati disciplīna, jo tie atrodas darbplūsmās, kurām ir sekas. Klasifikators, kas izvēlas starp naudas atmaksu, nomaiņu, eskalāciju un noraidījumu, nedrīkst izgudrot piekto stāvokli, ko sauktu par varbūt vēlāk ar patiesu nožēlu. Ekstraktors, kas lasa līgumu, nedrīkst ievietot neskaidru datumu termiņa laukā tikai tāpēc, ka teksts izklausījās pēc termiņa. Atgūšanas modelis nedrīkst klusi šķērsot atļauju robežu tikai tāpēc, ka blakus esošais dokuments izskatījās noderīgs. Stingrība pārējai sistēmai dod kaut ko stabilu, pie kā turēties.
Noderīgais jautājums nav tas, vai modelis ir inteliģents abstraktā nozīmē. Noderīgais jautājums ir tas, vai modelim ir pareizais līgums darbam. Kādus ievades datus tas drīkst redzēt. Kādus izvades datus tas drīkst radīt. Kāda nenoteiktība ir jāatklāj. Kuri gadījumi ir jānoraida. Kādiem pierādījumiem jāceļo līdzi rezultātam. Kādi rādītāji pierāda, ka tas darbojas. Mazāks modelis ar skaidru līgumu bieži pārspēj lielāku modeli ar varonīgu uzvedni, jo līgums izdzīvo saskarē ar operācijām.
Izmērs pērk plašumu, un plašumam ir rēķins
Lieli modeļi ir apmācīti būt vispārīgi. Tas ir viņu spēks. Tie var pārvietoties starp jomām, apstrādāt neparastu formulējumu, secināt kontekstu un radīt raitas atbildes pat tad, ja ievade ir nelīdzena. Tāpēc tie šķiet maģiski izpētē. Cilvēks var jautāt brīvi un joprojām saņemt kaut ko sakarīgu. Sakarība ir noderīga. Tā ir arī bīstama, ja darbplūsmai nepieciešama šaura apņemšanās.
Plašumam ir rēķins. Plašam modelim ir vairāk veidu, kā būt noderīgi nepareizam. Tas var importēt kontekstu no nepareizas sarunas daļas. Tas var izlīdzināt trūkstošos pierādījumus. Tas var atbildēt no iepriekšējām zināšanām, kad sistēma vēlējās pierādījumus, kas balstīti atgūšanā. Tas var ievērot modeli, kas izskatās izplatīts, nevis izņēmumu, kas attiecas. Tas var izveidot ticamu tiltu pāri plaisai, kurai vajadzēja apturēt procesu. Izvade var izklausīties labāk tieši tāpēc, ka modelis ir labs valodā. Tas ir ērti demonstrācijām un neērti atbildībai.
Mazāki modeļi samazina daļu no šī rēķina, sašaurinot iespējamās uzvedības telpu. Domēna klasifikators ar divpadsmit etiķetēm joprojām var neizdoties, bet tā kļūme ir salasāma. Ierobežots ekstraktors joprojām var palaist garām lauku, bet trūkstošo lauku var saskaitīt. Mazs ranžēšanas modelis joprojām var dot priekšroku novecojušiem pierādījumiem, bet priekšroku var pārbaudīt pret zināmu korpusu. Tās ir inženiertehniskas kļūmes, kas ir lieliskas ziņas. Inženiertehniskas kļūmes var izmērīt, budžetēt un labot. Mistiskas kļūmes prasa vairāk sapulču.
Komandām ir arī izziņas izmaksas. Viens plašs modelis padara atbildību neskaidru. Kurš ir atbildīgs par garantijas pamatojumu, atbilstības formulējumu, avotu izvēli, toni, atteikumu un eskalāciju, ja tas viss atrodas vienā uzvednē un vienā galapunktā. Kad kaut kas mainās, kurai testu kopai būtu jāpalaiž. Kad lietotājs apstrīd rezultātu, kura sastāvdaļa ir vainīga. Modelis kļūst par ļoti talantīgu skapi, kurā ievietots katrs institucionālais lēmums. Galu galā kāds atver durvis, un no tām izkrīt politikas mape.
Mazāki modeļi padara kļūmes redzamas
Redzamība ir svarīga, jo katra ražošanas sistēma galu galā ir sistēma, lai noskaidrotu, kas nogāja greizi. Liels modelis var kļūdīties veidos, kurus ir grūti nošķirt. Vai uzvedne bija neskaidra. Vai izguve bija novecojusi. Vai modelis pārāk vispārināja. Vai politikas instrukcija bija pārāk zemu kontekstā. Vai dekodēšanas iestatījums veicināja dažādību tur, kur svarīga bija konsekvence. Vai rīka rezultāts ieradās novēloti. Vai drošības barjera pārrakstīja atbildi. Katra iespēja var būt patiesa. Incidenta izskatīšana kļūst par detektīvstāstu ar budžeta kodu.
Mazākas sastāvdaļas rada mazākus jautājumus. Ja ekstraktors palaida garām pirkšanas kanālu, pārbaudiet ekstraktoru. Ja klasifikators izvēlējās atmaksu, nevis eskalāciju, izpētiet iezīmēto kopu un slieksni. Ja verificētājs nespēja notvert nepamatotu apgalvojumu, pievienojiet apgalvojuma modeli un avota noteikumu verificētāja novērtējumam. Tas nepadara darbu triviālu. Tas padara darbu lokālu. Lokāls ir labi. Lokāls nozīmē, ka trieciena rādiusu var ierobežot un labojumu var pārbaudīt, netraucējot visu katedrāli.
Stingri rezultāti rada arī labāku telemetriju. Modeli, kas atgriež vienu no divpadsmit stāvokļiem, var izsekot laika gaitā. Modelis, kas atgriež strukturētus laukus, var ziņot par trūkumiem, domstarpībām, ticamības intervāliem un novirzēm. Modelis, kas atsakās, var pateikt, kāpēc. Prozas atbilde var saturēt visu šo, bet tad katram lejupstraumes patērētājam ir jāparsē teikums, ko uzrakstījusi mašīna, kura tika apbalvota par dabiska skanējumu. Tā uzraudzības sistēma kļūst par grāmatu klubu.
Kļūmju redzamība maina kultūru. Komandas pārstāj strīdēties par to, vai AI ir labs, un sāk jautāt, kura sastāvdaļa neizdevās kādā apstāklī. Tas ir veselīgāks strīds. Tas var novest pie jaunas datu šķēles, labāka sliekšņa, mazākas pierādījumu kopas, stingrākas shēmas vai cilvēka pārskatīšanas stāvokļa. Tas pārvērš trauksmi par uzturēšanu. Uzturēšana ir mazāk krāšņa nekā eksistenciālas debates, bet tā parasti tiek pabeigta pirms pusdienām.
Saskarne ir puse no modeļa
Kad cilvēki salīdzina modeļus, viņi bieži salīdzina svarus, parametrus, etalonus un līderu sarakstus. Tie ir svarīgi, bet saskarne ražošanā ir tikpat svarīga. Saskarne nosaka, kādus solījumus modelis var dot. Brīvā teksta saskarne pieļauj atvērtu uzvedību. Strukturēta saskarne prasa kontrolētu rezultātu. Gramatikas ierobežots dekoders, rīka shēma, tipizēts izvades objekts vai fiksēta etiķešu kopa var mainīt tās pašas pamatā esošās inteliģences darbības raksturu.
Aplūkosim modeli, kas lasa rēķinus. Ja tas atgriež rindkopu, kas izskaidro rēķinu, komandai joprojām ir jāizvelk piegādātājs, nodokļu numurs, rindu kopsummas, valūta, apmaksas termiņš un ticamība. Ja tas atgriež tipizētu objektu ar obligātajiem laukiem, validācija var darboties uzreiz. Ja apmaksas termiņš trūkst, objekts var norādīt, ka tas trūkst. Ja kopsummas nesakrīt, verificētājs var atteikt importu. Modelis var būt mazāk runīgs, bet grāmatvedības komanda nemaksā tam, lai tas būtu harizmātisks. Viņi vēlas, lai virsgrāmata pārstāj svārstīties.
Saskarnes veido arī apmācību. Modeli, kas apmācīts radīt fiksētas etiķetes, var novērtēt pret etiķešu kļūdām. Modeli, kas apmācīts izvilkt laukus, var novērtēt pēc precīzas atbilstības, fragmenta pareizības, trūkumiem un izdomātām vērtībām. Modelim, kas apmācīts radīt prozu, ir nepieciešams vairāk sprieduma, vairāk rubriku un vairāk cilvēku pārskata. Tas var būt piemēroti dažiem darbiem. Tas ir izšķērdīgi darbiem, kur vēlamais rezultāts jau ir strukturēts. Pārsteidzoši daudz mākslīgā intelekta darba ir tikai datu ievade samta jakā.
Tāpēc mazāki, stingrāki modeļi liek komandām domāt par darba formu. Vai tas ir klasifikācija, izvilkšana, ranžēšana, pārveidošana, verifikācija, plānošana vai skaidrošanas uzdevums. Vai tam vispār ir nepieciešams modelis, vai arī noteikums, risinātājs, datubāzes ierobežojums vai meklēšanas indekss būtu labāks. Kura daļa prasa valodas izpratni un kura daļa prasa noteiktību. Šī sadalīšana nav pedantiska. Tā ir atšķirība starp sistēmas projektēšanu un mutes īrēšanu.
Apmācības dati kļūst mazāk teatrāli
Vispārējiem modeļiem ir nepieciešamas milzīgas, daudzveidīgas apmācības kopas, jo tiem tiek lūgts aptvert milzīgu, daudzveidīgu uzvedību. Šauri modeļus bieži var uzlabot ar mazākiem, labāk marķētiem, atbilstošākiem datiem. Tas izklausās mazāk iespaidīgi, kas ir vēl viena priekšrocība. Iespaidīgums nav kvalitātes rādītājs. Tūkstotis rūpīgi pārskatītu piemēru prasījumu klasifikatoram var dot vairāk ražošanas uzticamībai nekā grandiozs datu ezers, kurā katrs dokuments ir uzaicināts un neviens nav pārbaudījis viesu sarakstu.
Mazāki uzdevumi padara etiķetes nozīmi skaidrāku. Ja etiķete ir eskalēt, recenzenti var apspriest, kuri nosacījumi tieši attaisno eskalāciju. Ja lauks ir līguma beigu datums, recenzenti var definēt, kā rīkoties ar pagarinājuma klauzulām, grozījumiem, trūkstošiem parakstiem un pretrunīgiem datumiem. Ja izvade ir atļauja liegta, drošības un juridiskās komandas var noteikt robežu. Tas rada institucionālās zināšanas kā modeļa izstrādes blakusefektu. Komanda uzzina, ko process nozīmē. Tas ir neērti tikai tad, ja organizācija labprātāk to nebūtu zinājusi.
Šaura apmācība arī padara novērtēšanu reprezentatīvāku. Varat veidot testu kopas ap reāliem atteices veidiem: trūkstoši lauki, novecojušas politikas, nelabvēlīgs formulējums, reģionāli izņēmumi, neparasts formatējums, zema pārliecība un gadījumi, kad atteikums ir pareizs. Varat mērīt precizitāti un atsaukšanu tur, kur tas ir svarīgi. Varat izlemt, ka kļūdaina apstiprināšana ir desmit reizes sliktāka par kļūdainu eskalāciju. Varat pielāgot sliekšņus atbilstoši darbības izmaksām. Tie ir konkrēti lēmumi. Tie nav glamūrīgi, bet tiem piemīt reta īpašība būt noderīgiem.
Joprojām ir vieta plašai pirmapmācībai un pārnesei. Mazs stingrs modelis var darboties virs lielāka modeļa iegultnēm. Ierobežots valodas modelis var izmantot vispārīgas lingvistiskās zināšanas, vienlaikus izvadot fiksētu shēmu. Vispārējs modelis var ģenerēt kandidātus, kurus stingrs verificētājs pārbauda. Arguments nav tīrība. Arguments ir izvietojums. Izmantojiet plašas iespējas tur, kur nepieciešams plašums. Izmantojiet stingrību tur, kur sistēmai nepieciešama apņemšanās.
Ekonomika ir klusāka un labāka
Izmaksas nav tikai rēķins par secinājumu veikšanu. Izmaksas ir latentums, atmiņa, enerģija, darbības sarežģītība, novērtēšanas darbs, pārskatīšanas slogs, incidentu reaģēšana un inženieru skaits, kas nepieciešams, lai izskaidrotu, kāpēc otrdiena uzvedās citādi nekā pirmdiena. Mazāki modeļi var palīdzēt visās šajās dimensijās. Tie var darboties tuvāk datiem. Tie var ietilpt parastā aparatūrā. Tos var kešot, kvantizēt, apstrādāt partijās vai iegult pakalpojumā, nepārvēršot izvietošanu par ceremoniju, kurā iesaistīti trīs kalendāri un kapacitātes rezervācija.
Latentums maina produkta uzvedību. Ja klasifikators atgriež rezultātu milisekundēs, tas var atrasties darbplūsmā, neliekot lietotājam skatīties uz griezēju un pārdomāt savas karjeras izvēles. Ja ekstraktors darbojas lokāli, sensitīvs materiāls nav jānosūta uz attālu pakalpojumu vienkāršai lauka iegūšanai. Ja verificētājs ir lēts, to var palaist uz katru izvadi, nevis tikai uz izlases gadījumiem. Šīs detaļas nav mazsvarīgas. Tās nosaka, vai drošības un kvalitātes kontroles patiešām tiek izmantotas vai tikai apbrīnotas arhitektūras diagrammās.
Operacionāli mazākus modeļus ir vieglāk aizstāt. Komanda var apmācīt jaunu ekstraktoru, palaist to pret veco, salīdzināt domstarpības un ieviest pa daļām. Tā var saglabāt iepriekšējo versiju atkārtotai atskaņošanai. Tā var piesaistīt modeļa versiju un slieksni katram lēmumam. Milzīgu vispārējas nozīmes galapunktu arī var versēt, bet salīdzinājums bieži kļūst miglaināks, jo vienlaikus mainās daudzas uzvedības. Lielas izmaiņu kopas ir vieta, kur pārliecība kļūst par PowerPoint gradientu.
Ir arī iepirkuma priekšrocība. Mazāki stingri komponenti padara piegādātāju nomaiņu reālistiskāku. Ja līgums ir zināma shēma un zināma novērtēšanas kopa, komanda var salīdzināt implementācijas. Ja līgums ir milzīgs uzvednes pilns ar slēptu politiku un personību, pāreja kļūst riskanta. Organizācija var atklāt, ka tās darbplūsmu nevis darbina modelis, bet gan tā ir ar to savijušās. Savijums ir romantisks romānos. Ražošanā tas ir migrācijas plāns ar zobiem.
Kur lielie modeļi joprojām pieder
Neviens no šī nenozīmē, ka lielie modeļi būtu jānoliek plauktā pētniecībai. Tie ir lieliski daudzās lietās. Tie noder izpētei, melnrakstu veidošanai, kopsavilkumiem, tulkošanai, neskaidras lietotāja ievades apstrādei, koda palīdzībai un uzdevumiem, kur vēlamais rezultāts patiešām ir atvērts. Tie var palīdzēt cilvēkiem izprast nepazīstamu materiālu. Tie var ģenerēt iespējamos skaidrojumus. Tie var pārveidot nekārtīgu, brīvu valodu strukturētākā pieprasījumā. Tie var būt dāsnas priekštelpas durvis uz stingrāku aizmugures biroju.
Kļūda ir ļaut priekštelpas durvīm kļūt par visu ēku. Liels modelis var interpretēt nolūku, bet mazāks klasifikators var izvēlēties darba plūsmu. Liels modelis var uzrakstīt atbildes melnrakstu, bet verificētājs var pārbaudīt apgalvojumus. Liels modelis var apkopot dokumentu, bet ekstraktors var aizpildīt regulētos laukus. Liels modelis var ierosināt plānu, bet politikas vārti var izlemt, kuras darbības ir atļautas. Plašais modelis joprojām ir vērtīgs. Tas tikai pārstāj izlikties, ka ir visas autoritātes avots.
Šis dalījums ir arī laipnāks pret lietotājiem. Cilvēki nevēlas kaulēties ar modeli par to, vai pastāv atmaksas statuss. Viņi vēlas skaidrus rezultātus, skaidrus pierādījumus un iespēju tos apstrīdēt. Sistēma, kas veidota no stingriem komponentiem, var izskaidrot sevi operacionālos terminos: šis avots tika izmantots, šis lauks trūka, šis slieksnis tika sasniegts, šī politika prasīja pārskatīšanu. Šāds skaidrojums var būt mazāk burvīgs nekā raitas empātijas rindkopa, bet tas ir noderīgāks, ja runa ir par naudu, tiesībām, drošību vai uzticību.
Nākotne, visticamāk, nav viens modelis, kas valda pār darba plūsmu. Tā ir modeļu, noteikumu, risinātāju, indeksu, verificētāju un cilvēku pārskatīšanas kompozīcija. Dažas daļas būs lielas un elastīgas. Dažas būs niecīgas un spītīgas. Māksla ir zināt, kura ir kura. Labam inženierim vajadzētu būt aizdomīgam pret jebkuru arhitektūru, kurā katra problēma tiek atrisināta, padarot vienu un to pašu komponentu lielāku. Tā nav dizains. Tā ir inflācija.
Gadījums
Arguments par mazākiem, stingrākiem modeļiem nav tas, ka mazais ir morāli pārāks. Tas ir tas, ka daudzi vērtīgi uzdevumi ir mazāki, nekā pieļauj mūsu pašreizējā modeļu vārdnīca. Klasificē šo gadījumu. Izvelc šos laukus. Sarindo šos avotus. Pārbaudi šo apgalvojumu. Atteicies bez pierādījumiem. Novirzi cilvēkam. Saglabā iemeslu. Šīs nav zemākas inteliģences formas. Tās ir formas, kas padara lielākas sistēmas uzticamas.
Kad komandas sāk ar lielāko pieejamo modeli, tās bieži atliek sarežģītos dizaina jautājumus. Kāds ir stāvokļu telpas apjoms. Kuras izvades ir likumīgas. Kādi pierādījumi ir nepieciešami. Ko nozīmē nenoteiktība. Kam pieder kļūda. Kā komponents tiek testēts. Kad tam jāatsaka. Kad šie jautājumi tiek ignorēti, modelis tos pārmanto kā slēptu politiku. Slēptā politika var darboties pilotprojektā. Tā noveco slikti ražošanā, parasti ap brīdi, kad kāds pieprasa revīzijas izsekojamību.
Sākot ar mazāku modeli, šie jautājumi tiek uzdoti agrāk. Tas liek jautāt, vai problēmai ir zināma forma. Tas liek jautāt, vai stingrs interfeiss var nest rezultātu. Tas liek jautāt, vai modelim nepieciešamas plašas valodas prasmes vai šaura spriestspēja. Tas liek jautāt, kas jāmēra, pirms tiek piešķirta uzticība. Šī disciplīna nemazina ambīcijas. Tā ambīcijām dod skeletu. Bez tā sistēma var kustēties, bet neviens nedrīkst stāvēt pārāk tuvu.
Mazākus, stingrākus modeļus ir vieglāk pārvaldīt. Tie ir lētāki darbināt, vieglāk novērtējami, skaidrāk atkļūdojami, drošāk savienojami un godīgāki attiecībā uz saviem ierobežojumiem. Tie neaizstāj plašus modeļus visur. Tie padara plašus modeļus noderīgus vietās, kur noderīgs nozīmē vairāk nekā raiti runājošs. Nopietnā mākslīgā intelekta inženierijā tā ir atšķirība, kam ir nozīme. Labākā sistēma reti ir tā, kurā katrā punktā ir lielākais modelis. Tā ir tā, kurā katrā punktā ir mazākais komponents, kas spēj paveikt darbu, stingrākais līgums, kas joprojām atbilst realitātei, un pietiekami daudz atstātu pierādījumu, lai nākamais cilvēks saprastu, kas noticis.