Případ pro menší, přísnější modely
Model, který věděl příliš mnoho
Prvním varovným signálem nebyl pád systému. Pády jsou přinejmenším upřímné. Varovným signálem byla krásná odpověď na špatnou otázku. Tým vytvořil interního asistenta pro technickou podporu. Uměl číst příručky k produktům, historii tiketů, poznámky k vydáním a malý balíček pravidel, který vysvětloval, co smějí agenti zákazníkům slibovat. Model byl velký, plynulý a natolik sebejistý, že dokázal zasedací místnost dočasně proměnit v moderní prostředí.
Během pilotního provozu dobře odpovídal na obecné otázky. Shrnoval dlouhé tikety. Převáděl rozzlobenou zákaznickou prózu do použitelné podoby. Nacházel skryté souvislosti mezi příznaky a dřívějšími opravami. Pak dorazila běžná otázka ohledně záruky. Správná odpověď závisela na třech úzkých faktech: oblasti produktu, prodejním kanálu a verzi firmwaru. Model našel věrohodný odstavec o pravidlech, ignoroval tichou výjimku v poznámkách k vydání a napsal odpověď, která zněla, jako by někdo pravdu vyžehlil, dokud nevypadala úctyhodně. Nikdo nežádal poezii. Potřebovali ohraničené rozhodnutí.
Oprava nespočívala ve zvětšení modelu. Oprava spočívala v tom, že se část systému zmenšila a zpřísnila. Drobný klasifikátor určoval záruční postup. Omezený extraktor vytáhl tři požadovaná fakta. Kontrola pravidel případ odmítla, pokud některé faktum chybělo. Velký model stále pomáhal psát výslednou srozumitelnou poznámku, ale už nenesl odpovědnost za rozhodnutí. Výsledek byl méně efektní a mnohem lepší. Toto je běžný vzorec. Široký model je působivý, dokud práce nevyžaduje součást, která umí přesně říct, co viděla, co přesně rozhodla a kdy přesně odmítá pokračovat.
Argument pro menší a přísnější modely začíná právě zde. Ne nostalgií po starém softwaru a ne morální námitkou proti škálování. Velké modely jsou užitečné. Dokážou zvládnout neuspořádaný jazyk, přeložit záměr, shrnout důkazy a dát lidem rychlejší cestu ke složitému materiálu. Ale velikost kupuje šíři záběru. Automaticky nekupuje kontrolu. Seriózní systémy potřebují součásti, které lze ohraničit, vyhodnotit, nasadit, monitorovat a vyměnit, aniž by se každý incident proměnil ve filozofický seminář s logy.
Přísnost je funkce, ne nálada
Striktnost zní nepřátelsky, protože si ji lidé pletou s hloupostí. Striktní komponenta není ta, která zbytečně rozumí méně. Je to ta, která smí záměrně dělat méně věcí. Může přijímat pouze známé schéma. Může vydávat pouze pevně danou sadu štítků. Může číst pouze pojmenovaný balíček důkazů. Nesmí volat žádné nástroje. Může být donucena vrátit nedostatečné důkazy místo improvizace. Tyto limity nejsou trest. Díky nim je komponenta použitelná v systému, kde na ní závisí jiné části.
Softwarové inženýrství se tuto lekci naučilo dávno předtím, než se AI stala nákupní kategorií. Typy jsou striktní. Databázová omezení jsou striktní. Konečné stavové automaty jsou striktní. Řízení přístupu je striktní. Platební systém nežádá model, aby vyjádřil své pocity ohledně zůstatků na účtu. Reprezentuje peníze přesnými jednotkami, kontroluje oprávnění, zaznamenává stav a odmítá neplatné přechody. Právě díky striktnosti lze systém auditovat a opravovat. Chybová hláška se vám nemusí líbit, ale obvykle najdete řádek, který ji způsobil. To není malý dar.
Komponenty AI potřebují stejnou disciplínu, protože jsou součástí pracovních postupů, které mají důsledky. Klasifikátor, který volí mezi vrácením peněz, výměnou, eskalací a zamítnutím, by neměl vymýšlet pátý stav nazvaný třeba později s upřímnou lítostí. Extraktor, který čte smlouvu, by neměl umístit vágní datum do pole pro termín jen proto, že próza zněla jako termín. Vyhledávací model by neměl tiše překročit hranici oprávnění jen proto, že blízký dokument vypadal užitečně. Striktnost dává zbytku systému něco pevného, čeho se může držet.
Užitečná otázka není, zda je model inteligentní v abstraktním smyslu. Užitečná otázka je, zda má model správnou smlouvu pro danou práci. Jaké vstupy smí vidět. Jaké výstupy smí produkovat. Která nejistota musí být odhalena. Které případy musí být odmítnuty. Které důkazy musí cestovat s výsledkem. Které metriky dokazují, že funguje. Menší model s jasnou smlouvou často porazí větší model s hrdinským promptem, protože smlouva přežije kontakt s provozem.
Velikost kupuje šíři a šíře má účet
Velké modely jsou trénované k tomu, aby byly obecné. To je jejich síla. Dokážou přecházet mezi doménami, zvládat neobvyklá formulace, odvozovat kontext a produkovat plynulé odpovědi, i když je vstup hrbolatý. Proto v průzkumu působí magicky. Člověk se může zeptat volně a přesto dostane něco soudržného. Soudržnost je užitečná. Je také nebezpečná, když pracovní postup vyžaduje úzký závazek.
Šíře má účet. Široký model má více způsobů, jak být užitečně špatný. Může importovat kontext ze špatné části konverzace. Může zahladit chybějící důkazy. Může odpovědět z předchozích znalostí, když systém chtěl důkaz založený na vyhledávání. Může se řídit vzorem, který vypadá běžně, místo výjimky, která platí. Může vytvořit věrohodný most přes mezeru, která měla proces zastavit. Výstup může znít lépe právě proto, že je model dobrý v jazyce. To je výhodné pro demonstrace a nepohodlné pro odpovědnost.
Menší modely snižují část toho účtu tím, že zužují prostor možného chování. Doménový klasifikátor s dvanácti štítky může stále selhat, ale jeho selhání je čitelné. Omezený extraktor může stále minout pole, ale chybějící pole lze spočítat. Malý řadicí model může stále preferovat zastaralé důkazy, ale tuto preferenci lze otestovat proti známému korpusu. To jsou inženýrské chyby, což je vynikající zpráva. Inženýrské chyby lze měřit, rozpočtovat a opravovat. Mystické chyby vyžadují více schůzek.
Existuje také kognitivní účet za týmy. Jediný široký model činí vlastnictví nejasným. Kdo vlastní zdůvodnění záruky, formulaci souladu s předpisy, výběr zdrojů, tón, odmítnutí a eskalaci, pokud to vše žije v jednom promptu a jednom endpointu. Když se něco změní, která testovací sada by měla běžet. Když uživatel zpochybní výstup, která součást je vinna. Model se stává velmi talentovanou skříní, do které bylo uloženo každé institucionální rozhodnutí. Nakonec někdo otevře dveře a vypadne z nich pořadač s politikami.
Menší modely zviditelňují selhání
Viditelnost je důležitá, protože každý produkční systém je nakonec systémem pro zjišťování, co se pokazilo. Velký model může selhat způsoby, které je obtížné oddělit. Byl prompt nejednoznačný. Bylo vyhledávání zastaralé. Přezobecnil model. Byla instrukce o politice příliš nízko v kontextu. Podporovalo nastavení dekódování rozmanitost tam, kde záleželo na konzistenci. Přišel výsledek nástroje pozdě. Přepsala guardrail odpověď. Každá možnost může být skutečná. Přezkum incidentu se stává detektivkou s rozpočtovým kódem.
Menší součásti vytvářejí menší otázky. Pokud extraktor nezachytil kanál nákupu, prozkoumejte extraktor. Pokud klasifikátor zvolil refundaci místo eskalace, prozkoumejte označenou sadu a práh. Pokud validátor nezachytil nepodložené tvrzení, přidejte vzor tvrzení a pravidlo zdroje do hodnocení validátoru. To nedělá práci triviální. Dělá to práci lokální. Lokální je dobré. Lokální znamená, že poloměr výbuchu lze omezit a opravu lze testovat bez narušení celé katedrály.
Přísné výstupy také vytvářejí lepší telemetrii. Model, který vrací jeden z dvanácti stavů, lze sledovat v čase. Model, který vrací strukturovaná pole, může hlásit chybějící hodnoty, neshody, intervaly spolehlivosti a drift. Model, který odmítá, vám může říct proč. Odpověď v próze může obsahovat vše toto, ale pak každý downstream spotřebitel musí parsovat větu napsanou strojem, který byl odměňován za to, že zněl přirozeně. Tak se z monitorovacího systému stane knižní klub.
Viditelnost selhání mění kulturu. Týmy přestanou argumentovat o tom, zda je AI dobrá, a začnou se ptát, která součást selhala za jaké podmínky. To je zdravější argument. Může vést k novému datovému výřezu, lepšímu prahu, menší sadě důkazů, přísnějšímu schématu nebo stavu lidského přezkumu. Mění úzkost v údržbu. Údržba je méně okouzlující než existenciální debata, ale obvykle se nasadí před obědem.
Rozhraní je polovina modelu
Když lidé porovnávají modely, často srovnávají váhy, parametry, benchmarky a žebříčky. Ty věci mají význam, ale v produkci hraje stejně důležitou roli rozhraní. Rozhraní rozhoduje o tom, jaké sliby může model dávat. Rozhraní s volným textem vybízí k otevřenému chování. Strukturované rozhraní žádá o řízený výsledek. Dekodér omezený gramatikou, schéma nástrojů, typovaný výstupní objekt nebo pevná sada štítků může změnit provozní charakter téže základní inteligence.
Představte si model, který čte faktury. Pokud vrátí odstavec vysvětlující fakturu, tým stále musí extrahovat dodavatele, daňové číslo, řádkové součty, měnu, datum splatnosti a spolehlivost. Pokud vrátí typovaný objekt s povinnými poli, validace může proběhnout okamžitě. Pokud datum splatnosti chybí, objekt může říct, že chybí. Pokud součty nesedí, ověřovač může import odmítnout. Model může být méně ukecaný, ale účetní tým mu neplatí za charisma. Chtějí, aby se účetní kniha přestala kývat.
Rozhraní také formují trénování. Model trénovaný na pevné štítky lze vyhodnocovat podle chyb ve štítcích. Model trénovaný na extrakci polí lze vyhodnocovat podle přesné shody, správnosti rozpětí, chybějících hodnot a vymyšlených hodnot. Model trénovaný na tvorbu prózy potřebuje více úsudku, více rubrik a více lidské kontroly. To může být pro některé úlohy vhodné. Pro úlohy, kde je požadovaný výstup už strukturovaný, je to plýtvání. Překvapivé množství práce s umělou inteligencí je jen zadávání dat v sametovém saku.
Menší a přísnější modely proto nutí týmy přemýšlet o tvaru práce. Je to klasifikace, extrakce, řazení, transformace, ověřování, plánování nebo vysvětlování. Je vůbec potřeba model, nebo by bylo lepší pravidlo, řešič, databázové omezení nebo vyhledávací index. Která část potřebuje porozumění jazyku a která potřebuje jistotu. Toto rozčlenění není pedantství. Je to rozdíl mezi navrhováním systému a pronajímáním úst.
Trénovací data jsou méně divadelní
Obecné modely potřebují obrovské a rozmanité trénovací sady, protože se od nich očekává, že pokryjí obrovské a rozmanité chování. Úzce zaměřené modely lze často zlepšit menšími, lépe označenými a relevantnějšími daty. To zní méně efektně, což je další výhoda. Efektnost není ukazatel kvality. Tisíc pečlivě zkontrolovaných příkladů pro klasifikátor pojistných událostí může pro spolehlivost produkce udělat víc než velkolepé datové jezero, do kterého byl pozván každý dokument a nikdo nekontroloval seznam hostů.
Menší úkoly činí význam popisků jasnějším. Pokud je popisek eskalovat, mohou recenzenti přesně probrat, které podmínky eskalaci opravňují. Pokud je pole datum konce smlouvy, mohou recenzenti definovat, jak nakládat s klauzulemi o obnovení, dodatky, chybějícími podpisy a konfliktními daty. Pokud je výstup odmítnutí oprávnění, mohou týmy bezpečnosti a právní oddělení upřesnit hranici. To vytváří institucionální znalosti jako vedlejší efekt návrhu modelu. Tým se dozví, co daný proces znamená. To je nepříjemné pouze tehdy, pokud organizace raději nevěděla.
Úzké školení také činí hodnocení reprezentativnějším. Můžete sestavit testovací sady kolem skutečných způsobů selhání: chybějící pole, zastaralé zásady, nepřátelská formulace, regionální výjimky, neobvyklé formátování, nízká spolehlivost a případy, kdy je odmítnutí správné. Můžete měřit přesnost a úplnost tam, kde na nich záleží. Můžete rozhodnout, že falešné schválení je desetkrát horší než falešná eskalace. Můžete ladit prahy podle provozních nákladů. To jsou konkrétní volby. Nejsou okouzlující, ale mají vzácnou vlastnost, že jsou užitečné.
Stále existuje místo pro široké předtrénování a přenos. Malý přísný model může sedět na vrcholu embeddinků z většího modelu. Omezený jazykový model může využívat obecné jazykové znalosti a přitom vydávat pevné schéma. Obecný model může generovat kandidáty, které přísný ověřovatel kontroluje. Argument není o čistotě. Argument je o umístění. Používejte širokou schopnost tam, kde je šíře potřebná. Používejte přísnost tam, kde systém potřebuje závazek.
Ekonomika je tišší a lepší
Náklady nejsou pouze faktura za inferenci. Náklady jsou latence, paměť, energie, provozní složitost, úsilí při hodnocení, zátěž při revizi, reakce na incidenty a počet inženýrů potřebných k vysvětlení, proč se úterý chovalo jinak než pondělí. Menší modely mohou pomoci ve všech těchto dimenzích. Mohou běžet blíže k datům. Mohou se vejít na běžný hardware. Mohou být ukládány do mezipaměti, kvantizovány, dávkovány nebo začleněny do služby, aniž by se nasazení změnilo v ceremonii zahrnující tři kalendáře a rezervaci kapacity.
Latence mění chování produktu. Pokud klasifikátor vrátí výsledek za milisekundy, může být součástí pracovního postupu, aniž by uživatel zíral na spinner a přehodnocoval svou kariérní volbu. Pokud extraktor běží lokálně, citlivý materiál nemusí cestovat do vzdálené služby kvůli prostému vytažení pole. Pokud je ověřovatel levný, může běžet na každém výstupu, nikoli pouze na vzorcích. Tyto detaily nejsou nepodstatné. Rozhodují o tom, zda jsou bezpečnostní a kvalitativní kontroly skutečně používány, nebo pouze obdivovány v architektonických diagramech.
Provozně jsou menší modely snáze nahraditelné. Tým může natrénovat nový extraktor, spustit jej proti starému, porovnat neshody a zavést jej po částech. Může ponechat předchozí verzi k dispozici pro přehrání. Může ke každému rozhodnutí připojit verzi modelu a práh. Obří univerzální koncový bod lze také verzovat, ale srovnání se často stává nejasnějším, protože se mění mnoho chování najednou. Velké soubory změn jsou místem, kde se sebevědomí mění v gradient v PowerPointu.
Existuje také výhoda při nákupu. Menší přísné komponenty činí náhradu dodavatele realističtější. Pokud je smlouva známé schéma a známá hodnotící sada, může tým porovnat implementace. Pokud je smlouva obrovský prompt plný skrytých zásad a osobnosti, stává se přechod riskantním. Organizace může zjistit, že její pracovní postup není poháněn modelem, ale je s ním propleten. Propletení je romantické v románech. V produkci je to migrační plán se zuby.
Kam velké modely stále patří
Nic z toho neznamená, že by velké modely měly být odsunuty do výzkumného šuplíku. V mnoha věcech jsou vynikající. Hodí se pro průzkum, návrhy, sumarizaci, překlad, nejednoznačný vstup od uživatele, asistenci při psaní kódu a úkoly, kde je žádaný výstup skutečně otevřený. Mohou lidem pomoci promyslet neznámý materiál. Mohou generovat kandidátní vysvětlení. Mohou převést neuspořádaný přirozený jazyk do strukturovanějšího požadavku. Mohou být velkorysými vstupními dveřmi do přísnějšího zadního úřadu.
Chybou je nechat vstupní dveře, aby se staly celou budovou. Velký model může interpretovat záměr, ale menší klasifikátor může zvolit pracovní postup. Velký model může navrhnout odpověď, ale verifikátor může ověřit tvrzení. Velký model může sumarizovat dokument, ale extraktor může vyplnit regulovaná pole. Velký model může navrhnout plán, ale pravidla politiky mohou rozhodnout, které kroky jsou povolené. Široký model zůstává cenný. Jen přestane předstírat, že je zdrojem veškeré autority.
Toto rozdělení je také ohleduplnější k uživatelům. Lidé nechtějí s modelem vyjednávat o tom, zda stav vrácení peněz existuje. Chtějí jasné výsledky, jasné důkazy a cestu k odvolání. Systém složený z přísných komponent se umí vysvětlit v provozních pojmech: tento zdroj byl použit, toto pole chybělo, tento práh byl splněn, tato politika vyžadovala přezkum. Takové vysvětlení může být méně okouzlující než odstavec plynulé empatie, ale je užitečnější, když jde o peníze, práva, bezpečnost nebo důvěru.
Budoucnost pravděpodobně nepřinese jeden model, který by vládl celému pracovnímu postupu. Je to kompozice modelů, pravidel, řešičů, indexů, verifikátorů a lidského přezkumu. Některé části budou velké a flexibilní. Některé budou drobné a neústupné. Umění spočívá v tom vědět, které jsou které. Dobrý inženýr by měl být podezřívavý k jakékoli architektuře, kde se každý problém řeší zvětšením téže komponenty. To není návrh. To je inflace.
The case
The case for smaller, stricter models is not that small is morally superior. It is that many valuable tasks are smaller than our current model vocabulary admits. Classify this case. Extract these fields. Rank these sources. Verify this claim. Refuse without evidence. Route to a human. Preserve a reason. These are not lesser forms of intelligence. They are the forms that make larger systems dependable.
Když týmy začínají od největšího dostupného modelu, často odkládají těžké otázky návrhu. Jaký je stavový prostor. Které výstupy jsou přípustné. Jaké důkazy jsou vyžadovány. Co znamená nejistota. Kdo nese odpovědnost za chybu. Jak je komponenta testována. Kdy musí odmítnout. Když jsou tyto otázky ignorovány, model je zdědí jako skrytou politiku. Skrytá politika může fungovat pro pilotní projekt. Ve výrobě stárne špatně, obvykle v okamžiku, kdy někdo požádá o auditní stopu.
Začít menším modelem nutí tyto otázky položit dříve. Ptá se, zda má problém známý tvar. Ptá se, zda může přísné rozhraní nést výsledek. Ptá se, zda model potřebuje širokou jazykovou schopnost, nebo úzký úsudek. Ptá se, co musí být změřeno, než je udělena důvěra. Tato disciplína nesnižuje ambice. Dává ambicím kostru. Bez ní se systém může stále pohybovat, ale nikdo by neměl stát příliš blízko.
Menší a přísnější modely se snáze vlastní. Jsou levnější na provoz, snáze se vyhodnocují, přehledněji se ladí, bezpečněji se skládají a jsou upřímnější ohledně svých limitů. Nenahrazují široké modely všude. Díky nim jsou široké modely užitečné v místech, kde užitečný znamená víc než plynulý. Ve vážném AI inženýrství je to rozdíl, na kterém záleží. Nejlepší systém není zřídka ten s největším modelem na každém místě. Je to ten, kde má každé místo nejmenší komponentu, která práci zvládne, nejpřísnější smlouvu, která stále odpovídá realitě, a dostatek zanechaných důkazů, aby další člověk pochopil, co se stalo.