Mažesnių, griežtesnių modelių atvejis
Modelis, kuris žinojo per daug
Pirmasis įspėjamasis ženklas nebuvo gedimas. Bent jau gedimai yra sąžiningi. Įspėjamasis ženklas buvo gražus atsakymas į netinkamą klausimą. Komanda buvo sukūrusi vidinį asistentą techninei pagalbai. Jis galėjo skaityti produktų vadovus, bilietų istoriją, leidimų pastabas ir nedidelį politikos rinkinį, kuriame buvo paaiškinta, ką agentai gali žadėti klientams. Modelis buvo didelis, sklandus ir pakankamai užtikrintas, kad posėdžių kambarys laikinai atrodytų modernus.
Pilotinio etapo metu jis gerai atsakė į plačius klausimus. Jis apibendrino ilgus bilietus. Jis pavertė piktų klientų tekstą kažkuo naudingu. Jis atrado paslėptus ryšius tarp simptomų ir ankstesnių pataisymų. Tada atėjo įprastas garantijos klausimas. Teisingas atsakymas priklausė nuo trijų siaurų faktų: produkto regiono, pirkimo kanalo ir programinės įrangos versijos. Modelis rado įtikinamą politikos pastraipą, ignoravo tylią išimtį leidimų pastabose ir parašė atsakymą, kuris skambėjo taip, tarsi kažkas būtų išlyginęs tiesą, kol ji atrodė garbinga. Niekas neprašė poezijos. Jiems reikėjo apibrėžto sprendimo.
Pataisymas nebuvo modelio padidinimas. Pataisymas buvo dalies sistemos sumažinimas ir sugriežtinimas. Mažas klasifikatorius nustatė garantijos kelią. Apribotas išgavėjas ištraukė tris reikiamus faktus. Taisyklės patikra atsisakė nagrinėti atvejį, jei trūko bent vieno fakto. Didysis modelis vis tiek padėjo parašyti galutinį žmogui suprantamą pranešimą, bet jis nebekontroliavo sprendimo. Rezultatas buvo mažiau įspūdingas ir daug geresnis. Tai įprastas modelis. Platus modelis yra įspūdingas, kol darbui nereikia komponento, kuris gali tiksliai pasakyti, ką matė, ką nusprendė ir kada atsisako tęsti.
Atvejis mažesniems ir griežtesniems modeliams prasideda čia. Ne iš nostalgijos senajai programinei įrangai ir ne dėl moralinio prieštaravimo mastui. Dideli modeliai yra naudingi. Jie gali apdoroti netvarkingą kalbą, išversti intenciją, apibendrinti įrodymus ir suteikti žmonėms greitesnį kelią į sudėtingą medžiagą. Tačiau dydis perka aprėptį. Jis automatiškai neperka kontrolės. Rimtoms sistemoms reikia komponentų, kuriuos galima apriboti, įvertinti, diegti, stebėti ir pakeisti nepaverčiant kiekvieno incidento filosofiniu seminaru su žurnalais.
Griežtumas yra savybė, o ne nuotaika
Griežtumas skamba nedraugiškai, nes žmonės jį painioja su kvailumu. Griežtas komponentas nėra toks, kuris be reikalo mažiau supranta. Tai toks, kuriam sąmoningai leidžiama daryti mažiau dalykų. Jis gali priimti tik žinomą schemą. Jis gali pateikti tik fiksuotą etikečių rinkinį. Jis gali skaityti tik įvardytą įrodymų rinkinį. Jis gali nekviesti jokių įrankių. Jam gali būti privaloma grąžinti nepakankamus įrodymus, o ne improvizuoti. Šie apribojimai nėra bausmė. Jie yra tai, dėl ko komponentas tampa naudojamas sistemoje, kurioje kitos dalys nuo jo priklauso.
Programinės įrangos inžinerija šią pamoką išmoko gerokai anksčiau, nei dirbtinis intelektas tapo pirkimų kategorija. Tipai yra griežti. Duomenų bazės apribojimai yra griežti. Baigtinių būsenų mašinos yra griežtos. Prieigos kontrolė yra griežta. Mokėjimo sistema neprašo modelio reikšti jausmų apie sąskaitos likutį. Ji pinigus vaizduoja tiksliais vienetais, tikrina įgaliojimus, fiksuoja būseną ir atsisako neleistinų perėjimų. Būtent dėl griežtumo sistemą galima audituoti ir taisyti. Jums gali nepatikti klaidos pranešimas, bet paprastai galite rasti eilutę, kuri jį sukėlė. Tai nėra menka dovana.
Dirbtinio intelekto komponentams reikia tos pačios disciplinos, nes jie veikia darbo srautų, turinčių pasekmių, viduje. Klasifikatorius, kuris renkasi tarp grąžinimo, pakeitimo, eskalavimo ir atmetimo, neturėtų išgalvoti penktos būsenos, pavadintos galbūt vėliau su nuoširdžiu apgailestavimu. Ištraukiklis, skaitantis sutartį, neturėtų įdėti neaiškios datos į terminų lauką vien todėl, kad tekstas atrodė kaip terminas. Paieškos modelis neturėtų tyliai peržengti leidimų ribos vien todėl, kad gretimas dokumentas atrodė naudingas. Griežtumas suteikia likusiai sistemai ką nors tvirto, už ko galima laikytis.
Naudingas klausimas yra ne tai, ar modelis yra protingas abstrakčiai. Naudingas klausimas yra tai, ar modelis turi tinkamą sutartį darbui. Kokius įvesties duomenis jam leista matyti. Kokius išvesties duomenis jam leista pateikti. Koks neapibrėžtumas turi būti atskleistas. Kokiais atvejais turi būti atsisakyta. Kokie įrodymai turi keliauti kartu su rezultatu. Kokie metrikos rodikliai įrodo, kad jis veikia. Mažesnis modelis su aiškia sutartimi dažnai pranoksta didesnį modelį su herojišku raginimu, nes sutartis išlieka gyvybinga susidūrus su operacine praktika.
Dydis perka aprėptį, o aprėptis turi sąskaitą
Dideli modeliai yra mokomi būti universalūs. Tai jų stiprybė. Jie gali pereiti tarp sričių, susidoroti su neįprasta formuluote, numanyti kontekstą ir pateikti sklandžius atsakymus net tada, kai įvestis yra nelygi. Todėl tyrinėjant jie atrodo stebuklingi. Žmogus gali klausti laisvai ir vis tiek gauti ką nors nuoseklaus. Nuoseklumas yra naudingas. Jis taip pat pavojingas, kai darbo srautui reikia siauro įsipareigojimo.
Aprėptis turi sąskaitą. Platus modelis turi daugiau būdų būti naudingai klaidingam. Jis gali importuoti kontekstą iš netinkamos pokalbio dalies. Jis gali užglaistyti trūkstamus įrodymus. Jis gali atsakyti remdamasis ankstesnėmis žiniomis, kai sistema norėjo įrodymų, pagrįstų paieška. Jis gali paklusti modeliui, kuris atrodo įprastas, o ne išimčiai, kuri galioja. Jis gali sukurti tikėtiną tiltą per spragą, kuri turėjo sustabdyti procesą. Išvestis gali skambėti geriau būtent todėl, kad modelis gerai moka kalbą. Tai patogu demonstracijoms ir nepatogu atskaitomybei.
Mažesni modeliai sumažina dalį šios sąskaitos susiaurindami galimo elgesio erdvę. Domeno klasifikatorius su dvylika etikečių vis tiek gali suklysti, bet jo klaida yra įskaitoma. Apribotas ištraukiklis vis tiek gali praleisti lauką, bet praleistą lauką galima suskaičiuoti. Mažas reitingavimo modelis vis tiek gali teikti pirmenybę pasenusiems įrodymams, bet pirmenybę galima patikrinti pagal žinomą tekstyną. Tai inžinerinės klaidos, o tai puiki žinia. Inžinerines klaidas galima išmatuoti, įvertinti ir ištaisyti. Mistinės klaidos reikalauja daugiau susirinkimų.
Komandoms tenka ir pažinimo sąnaudos. Vienas platus modelis sulieja atsakomybę. Kas atsako už garantijos pagrindimą, atitikties formuluotes, šaltinių parinkimą, toną, atsisakymą ir eskalavimą, jei visa tai telpa viename raginime ir viename galiniame taške. Kai kas nors pasikeičia, kuri testų rinkinys turėtų būti paleistas. Kai vartotojas užginčija rezultatą, kuris komponentas kaltas. Modelis tampa labai talentinga spinta, į kurią sudėtas kiekvienas institucinis sprendimas. Galiausiai kažkas atidaro duris ir iškrinta politikos aplankas.
Mažesni modeliai išryškina nesėkmes
Matomumas svarbus, nes kiekviena gamybinė sistema ilgainiui tampa sistema, skirta išsiaiškinti, kas nutiko ne taip. Didelis modelis gali sugesti taip, kad sunku atskirti priežastis. Ar raginimas buvo dviprasmiškas. Ar paieškos duomenys buvo pasenę. Ar modelis per daug apibendrino. Ar politikos nurodymas buvo per žemai kontekste. Ar dekodavimo nustatymas skatino įvairovę ten, kur svarbu buvo nuoseklumas. Ar įrankio rezultatas atkeliavo pavėluotai. Ar apsauginis barjeras perrašė atsakymą. Kiekviena galimybė gali būti reali. Incidento peržiūra tampa detektyvine istorija su biudžeto kodu.
Mažesni komponentai kelia mažesnius klausimus. Jei išgavėjas praleido pirkimo kanalą, tikrinkite išgavėją. Jei klasifikatorius pasirinko grąžinimą, o ne eskalavimą, nagrinėkite pažymėtą rinkinį ir slenkstį. Jei tikrintuvas nepastebėjo nepagrįsto teiginio, pridėkite teiginio šabloną ir šaltinio taisyklę prie tikrintuvo vertinimo. Tai nepadaro darbo nereikšmingo. Tai padaro darbą lokalų. Lokalu yra gerai. Lokalu reiškia, kad pažeidimo spindulį galima apriboti, o pataisą išbandyti netrikdant visos katedros.
Griežti rezultatai taip pat sukuria geresnę telemetriją. Modelį, kuris grąžina vieną iš dvylikos būsenų, galima stebėti laikui bėgant. Modelis, grąžinantis struktūruotus laukus, gali pranešti apie trūkumus, nesutarimus, pasikliovimo intervalus ir nuokrypį. Modelis, kuris atsisako, gali pasakyti kodėl. Prozinis atsakymas gali apimti visa tai, bet tada kiekvienam vartotojui toliau grandinėje reikia analizuoti sakinį, kurį parašė mašina, apdovanota už natūralų skambesį. Taip stebėsenos sistema tampa knygų klubu.
Nesėkmių matomumas keičia kultūrą. Komandos nustoja ginčytis, ar AI yra geras, ir pradeda klausti, kuris komponentas sugedo kokiomis sąlygomis. Tai sveikesnis ginčas. Jis gali atvesti prie naujo duomenų pjūvio, geresnio slenksčio, mažesnio įrodymų rinkinio, griežtesnės schemos ar žmogiškos peržiūros būsenos. Jis paverčia nerimą priežiūra. Priežiūra ne tokia įspūdinga nei egzistencinės diskusijos, bet paprastai pristatoma dar iki pietų.
Sąsaja yra pusė modelio
When people compare models, they often compare weights, parameters, benchmarks, and leaderboards. Those matter, but the interface matters just as much in production. The interface decides what kind of promises the model can make. A free text interface invites open-ended behaviour. A structured interface asks for a controlled result. A grammar-constrained decoder, a tool schema, a typed output object, or a fixed label set can change the operational character of the same underlying intelligence.
Consider a model that reads invoices. If it returns a paragraph explaining the invoice, the team still needs to extract supplier, tax number, line totals, currency, due date, and confidence. If it returns a typed object with required fields, validation can run immediately. If the due date is missing, the object can say missing. If totals do not add up, a verifier can refuse the import. The model may be less chatty, but the accounts team is not paying it to be charismatic. They want the ledger to stop wobbling.
Interfaces also shape training. A model trained to produce fixed labels can be evaluated against label errors. A model trained to extract fields can be evaluated for exact match, span correctness, missingness, and hallucinated values. A model trained to produce prose needs more judgement, more rubrics, and more human review. That may be appropriate for some jobs. It is wasteful for jobs where the desired output is already structured. A surprising amount of AI work is just data entry wearing a velvet jacket.
Smaller, stricter models therefore push teams to think about the shape of work. Is this a classification, extraction, ranking, transformation, verification, planning, or explanation task. Does it need a model at all, or would a rule, solver, database constraint, or search index be better. Which part needs language understanding and which part needs certainty. This decomposition is not pedantic. It is the difference between designing a system and renting a mouth.
Training data becomes less theatrical
General models need enormous, varied training sets because they are asked to cover enormous, varied behaviour. Narrow models can often be improved with smaller, better labelled, more relevant data. That sounds less spectacular, which is another advantage. Spectacle is not a quality metric. A thousand carefully reviewed examples for a claims classifier may do more for production reliability than a grand data lake where every document has been invited and nobody checked the guest list.
Mažesnės užduotys padeda aiškiau suprasti etikečių reikšmę. Jei etiketė yra „escalate“, vertintojai gali tiksliai aptarti, kokios sąlygos pateisina eskalavimą. Jei laukas yra „contract end date“, vertintojai gali apibrėžti, kaip tvarkyti pratęsimo sąlygas, pakeitimus, trūkstamus parašus ir prieštaringas datas. Jei rezultatas yra „permission blocked“, saugumo ir teisės komandos gali nustatyti ribas. Taip modelio kūrimo šalutinis poveikis tampa institucinėmis žiniomis. Komanda sužino, ką procesas reiškia. Tai nepatogu tik tada, jei organizacija mieliau norėtų to nežinoti.
Siauras mokymas taip pat daro vertinimą reprezentatyvesnį. Galima kurti testų rinkinius pagal realius gedimų atvejus: trūkstamus laukus, pasenusias politikas, priešišką formuluotę, regionines išimtis, neįprastą formatavimą, mažą pasitikėjimą ir atvejus, kai atsisakymas yra teisingas. Galima matuoti tikslumą ir atkūrimą ten, kur tai svarbu. Galima nuspręsti, kad klaidingas patvirtinimas yra dešimt kartų blogesnis nei klaidingas eskalavimas. Galima derinti slenksčius pagal veiklos sąnaudas. Tai konkretūs sprendimai. Jie nėra įspūdingi, bet turi retą savybę būti naudingi.
Vis dar yra vietos plačiam išankstiniam mokymui ir perkėlimui. Mažas griežtas modelis gali veikti ant didesnio modelio išvestų įterpimų. Ribotas kalbos modelis gali naudoti bendrąsias kalbos žinias, išvesdamas fiksuotą schemą. Bendrasis modelis gali generuoti kandidatus, kuriuos tikrina griežtas vertintojas. Argumentas nėra grynumas. Argumentas yra išdėstymas. Naudokite plačias galimybes ten, kur reikia platumo. Naudokite griežtumą ten, kur sistemai reikia įsipareigojimo.
Ekonomika tylesnė ir geresnė
Sąnaudos yra ne tik sąskaita už išvadų skaičiavimą. Sąnaudos yra delsos laikas, atmintis, energija, veiklos sudėtingumas, vertinimo pastangos, peržiūros našta, incidentų valdymas ir inžinierių, reikalingų paaiškinti, kodėl antradienis elgėsi kitaip nei pirmadienis, skaičius. Mažesni modeliai gali padėti visais šiais aspektais. Jie gali veikti arčiau duomenų. Jie gali tilpti į įprastą aparatinę įrangą. Jie gali būti talpykloje, kvantizuoti, apdoroti partijomis arba įterpti į paslaugą, nepaverčiant diegimo ceremonija su trimis kalendoriais ir pajėgumo rezervacija.
Delsos laikas keičia produkto elgseną. Jei klasifikatorius atsako per milisekundes, jis gali veikti darbo eigos viduje, neversdamas vartotojo spoksoti į besisukantį indikatorių ir permąstyti savo karjeros pasirinkimų. Jei išgavėjas veikia vietoje, neskelbtina medžiaga neturi keliauti į nuotolinę paslaugą dėl paprasto lauko ištraukimo. Jei vertintojas pigus, jis gali veikti su kiekvienu rezultatu, o ne su atrinktais atvejais. Šios detalės nėra menkos. Jos lemia, ar saugos ir kokybės kontrolės iš tikrųjų naudojamos, ar tik žavimasi jomis architektūros diagramose.
Veiklos požiūriu mažesnius modelius lengviau pakeisti. Komanda gali išmokyti naują išgavėją, paleisti jį kartu su senuoju, palyginti nesutapimus ir diegti dalimis. Ji gali išlaikyti ankstesnę versiją pakartotiniam paleidimui. Ji gali prie kiekvieno sprendimo pridėti modelio versiją ir slenkstį. Milžiniškas universalus galutinis taškas taip pat gali būti versijuojamas, bet palyginimas dažnai tampa miglotesnis, nes vienu metu pasikeičia daug elgsenų. Dideli pakeitimų rinkiniai yra vieta, kur pasitikėjimas virsta PowerPoint gradientu.
Taip pat yra pirkimo pranašumas. Mažesni griežti komponentai daro tiekėjų pakeitimą realistiškesnį. Jei sutartis yra žinoma schema ir žinomas vertinimo rinkinys, komanda gali palyginti įgyvendinimus. Jei sutartis yra didžiulis raginimas, pilnas paslėptos politikos ir asmenybės, perėjimas tampa rizikingas. Organizacija gali atrasti, kad jos darbo eiga nėra varoma modelio, o veikiau su juo susipynusi. Susipynimas yra romantiškas romanuose. Gamyboje tai migracijos planas su dantimis.
Kur dideli modeliai vis dar tinka
Nė vienas iš šių dalykų nereiškia, kad didelius modelius reikėtų ištremti į tyrimų spintą. Jie puikiai tinka daugeliui dalykų. Jie naudingi tyrinėjant, rengiant juodraščius, apibendrinant, verčiant, apdorojant neaiškią vartotojo įvestį, padedant rašyti kodą ir atliekant užduotis, kuriose norimas rezultatas iš tiesų yra atviras. Jie gali padėti žmonėms suprasti nepažįstamą medžiagą. Jie gali generuoti galimus paaiškinimus. Jie gali paversti netvarkingą natūralią kalbą labiau struktūruota užklausa. Jie gali būti svetingos priekinės durys į griežtesnį galinį biurą.
Klaida yra leisti priekinėms durims tapti visu pastatu. Didelis modelis gali interpretuoti ketinimą, bet mažesnis klasifikatorius gali pasirinkti darbo eigą. Didelis modelis gali parengti atsakymo juodraštį, bet vertintojas gali patikrinti teiginius. Didelis modelis gali apibendrinti dokumentą, bet išgavėjas gali užpildyti reglamentuojamus laukus. Didelis modelis gali pasiūlyti planą, bet politikos vartai gali nuspręsti, kurie žingsniai leidžiami. Platusis modelis išlieka vertingas. Jis tiesiog nustoja apsimetinėti, kad yra visos valdžios šaltinis.
Toks padalijimas taip pat yra malonesnis vartotojams. Žmonės nenori derėtis su modeliu, ar egzistuoja pinigų grąžinimo būsena. Jie nori aiškių rezultatų, aiškių įrodymų ir galimybės apskųsti. Sistema, sudaryta iš griežtų komponentų, gali paaiškinti save veiklos terminais: šis šaltinis buvo naudotas, šio lauko trūko, ši riba buvo pasiekta, ši politika reikalavo peržiūros. Toks paaiškinimas gali būti mažiau žavus nei pastraipa sklandžios empatijos, bet jis naudingesnis, kai kalbama apie pinigus, teises, saugumą ar pasitikėjimą.
Ateitis tikriausiai nėra vienas modelis, valdantis darbo eigą. Tai modelių, taisyklių, sprendiklių, indeksų, vertintojų ir žmogiškos peržiūros derinys. Kai kurios dalys bus didelės ir lanksčios. Kai kurios bus mažytės ir atkaklios. Menas yra žinoti, kuri yra kuri. Geras inžinierius turėtų įtariai žiūrėti į bet kokią architektūrą, kurioje kiekviena problema sprendžiama didinant tą patį komponentą. Tai ne dizainas. Tai infliacija.
Atvejis
Atvejis už mažesnius, griežtesnius modelius nėra tas, kad mažumas yra morališkai pranašesnis. Esmė ta, kad daugelis vertingų užduočių yra mažesnės, nei pripažįsta dabartinis mūsų modelių žodynas. Klasifikuokite šį atvejį. Ištraukite šiuos laukus. Reitinguokite šiuos šaltinius. Patikrinkite šį teiginį. Atsisakykite be įrodymų. Nukreipkite žmogui. Išsaugokite priežastį. Tai nėra menkesnės intelekto formos. Tai formos, kurios daro didesnes sistemas patikimas.
Kai komandos pradeda nuo didžiausio turimo modelio, jos dažnai atideda sunkius dizaino klausimus. Kokia yra būsenų erdvė. Kurie rezultatai yra teisėti. Kokių įrodymų reikalaujama. Ką reiškia neapibrėžtumas. Kam priklauso klaida. Kaip komponentas testuojamas. Kada jis privalo atsisakyti. Kai į šiuos klausimus nekreipiama dėmesio, modelis juos perima kaip paslėptą politiką. Paslėpta politika gali tikti pilotiniam projektui. Gamyboje ji greitai pasensta, paprastai tą akimirką, kai kas nors paprašo audito tako.
Pradėjus nuo mažesnio modelio, klausimai iškyla anksčiau. Tai klausia, ar problema turi žinomą formą. Tai klausia, ar griežta sąsaja gali perteikti rezultatą. Tai klausia, ar modeliui reikia plačių kalbos gebėjimų, ar siauro sprendimo. Tai klausia, ką reikia išmatuoti prieš suteikiant pasitikėjimą. Ši disciplina nesumažina ambicijų. Ji suteikia ambicijoms skeletą. Be jo sistema vis tiek gali judėti, bet niekas neturėtų stovėti per arti.
Mažesnius, griežtesnius modelius lengviau valdyti. Juos pigiau paleisti, lengviau įvertinti, aiškiau derinti, saugiau komponuoti, ir jie sąžiningiau kalba apie savo ribas. Jie niekur nepakeičia plačių modelių. Jie padaro plačius modelius naudingus ten, kur naudinga reiškia daugiau nei sklandu. Rimtoje dirbtinio intelekto inžinerijoje būtent tas skirtumas ir yra svarbus. Geriausia sistema retai būna ta, kurioje kiekviename taške yra didžiausias modelis. Tai ta, kurioje kiekviename taške yra mažiausias komponentas, galintis atlikti darbą, griežčiausia sutartis, kuri vis dar atitinka realybę, ir pakankamai įrodymų, kad kitas žmogus suprastų, kas įvyko.