A kisebb, szigorúbb modellek mellett
A modell, amely túl sokat tudott
Az első figyelmeztető jel nem egy összeomlás volt. Az összeomlások legalább őszinték. A figyelmeztető jel egy gyönyörű válasz volt a rossz kérdésre. Egy csapat belső asszisztenst épített a technikai támogatás számára. Képes volt olvasni a termékkézikönyveket, a jegyelőzményeket, a kiadási megjegyzéseket és egy kis szabályzatcsomagot, amely elmagyarázta, mit ígérhetnek az ügynökök az ügyfeleknek. A modell nagy volt, folyékonyan fogalmazott, és elég magabiztos volt ahhoz, hogy a tárgyaló ideiglenesen modernnek tűnjön.
A próbaüzem során jól válaszolt a tág kérdésekre. Összefoglalta a hosszú jegyeket. A dühös ügyfél-szövegeket használhatóvá alakította. Megtalálta a rejtett összefüggéseket a tünetek és a korábbi javítások között. Aztán egy rutin garanciális kérdés érkezett. A helyes válasz három szűk ténytől függött: a termék régiójától, a vásárlási csatornától és a firmware verziójától. A modell talált egy hihető szabályzatbekezdést, figyelmen kívül hagyott egy csendes kivételt a kiadási megjegyzésekben, és olyan választ írt, mintha valaki kivasalta volna az igazságot, amíg az tiszteletreméltónak nem tűnt. Senki sem kért költészetet. Egy behatárolt döntésre volt szükségük.
A javítás nem az volt, hogy nagyobbá tegyék a modellt. A javítás az volt, hogy a rendszer egy részét kisebbé és szigorúbbá tegyék. Egy apró osztályozó határozta meg a garancia útját. Egy korlátozott kinyerő kihúzta a három szükséges tényt. Egy szabályellenőrzés elutasította az esetet, ha bármelyik tény hiányzott. A nagy modell továbbra is segített a végső, ember által olvasható megjegyzés megírásában, de már nem ő birtokolta a döntést. Az eredmény kevésbé volt látványos, és sokkal jobb. Ez egy gyakori minta. A széles modell lenyűgöző, amíg a munka nem igényel egy olyan összetevőt, amely pontosan meg tudja mondani, mit látott, pontosan mit döntött, és pontosan mikor utasítja el a folytatást.
A kisebb, szigorúbb modellek melletti érv itt kezdődik. Nem a régi szoftverek iránti nosztalgiával, és nem a méret elleni erkölcsi kifogással. A nagy modellek hasznosak. Le tudják fedni a kusza nyelvet, le tudják fordítani a szándékot, össze tudják foglalni a bizonyítékokat, és gyorsabb utat adnak az embereknek az összetett anyagokhoz. De a méret szélességet vásárol. Nem vásárol automatikusan ellenőrzést. A komoly rendszereknek olyan összetevőkre van szükségük, amelyek behatárolhatók, értékelhetők, telepíthetők, felügyelhetők és lecserélhetők anélkül, hogy minden incidens filozófiai szemináriummá válna naplókkal.
A szigorúság funkció, nem hangulat
A szigorúság barátságtalannak hangzik, mert az emberek összekeverik a butasággal. A szigorú komponens nem olyan, amelyik ok nélkül kevesebbet ért meg. Hanem olyan, amelyiknek szándékosan kevesebb dolog van megengedve. Csak egy ismert sémát fogadhat el. Csak egy rögzített címkekészletet adhat ki. Csak egy megnevezett bizonyítékcsomagot olvashat be. Nem hívhat eszközöket. Arra kényszeríthető, hogy elégtelen bizonyítékot adjon vissza ahelyett, hogy rögtönözne. Ezek a korlátok nem büntetés. Ezek teszik használhatóvá a komponenst egy olyan rendszerben, ahol más részek függenek tőle.
A szoftverfejlesztés ezt a leckét jóval azelőtt megtanulta, hogy az AI beszerzési kategóriává vált volna. A típusok szigorúak. Az adatbázis-megszorítások szigorúak. A véges állapotú gépek szigorúak. A hozzáférés-vezérlés szigorú. Egy fizetési rendszer nem kéri meg a modellt, hogy fejezze ki az érzéseit a számlaegyenlegekkel kapcsolatban. A pénzt pontos egységekkel ábrázolja, ellenőrzi a jogosultságot, rögzíti az állapotot, és elutasítja az érvénytelen átmeneteket. A szigorúság az, amiért a rendszer auditálható és javítható. Lehet, hogy nem tetszik a hibaüzenet, de általában meg lehet találni a sort, amelyik okozta. Ez nem kis ajándék.
Az AI-komponenseknek ugyanerre a fegyelemre van szükségük, mert olyan munkafolyamatokban ülnek, amelyeknek következményei vannak. Egy osztályozó, amely a visszatérítés, a csere, az eszkaláció és az elutasítás között választ, nem találhat ki egy ötödik állapotot, mondjuk azt, hogy talán később, őszinte sajnálattal. Egy kinyerő, amely egy szerződést olvas, nem tehet homályos dátumot egy határidő mezőbe csak azért, mert a szöveg határidőszerűen hangzott. Egy keresőmodell nem léphet át csendben egy engedélyezési határt csak azért, mert a közeli dokumentum hasznosnak tűnt. A szigorúság ad valami szilárdat a rendszer többi részének, amibe kapaszkodhat.
A hasznos kérdés nem az, hogy egy modell elvontan véve intelligens-e. A hasznos kérdés az, hogy a modellnek megfelelő szerződése van-e a feladathoz. Milyen bemeneteket láthat. Milyen kimeneteket hozhat létre. Melyik bizonytalanságot kell felfedni. Mely eseteket kell elutasítani. Milyen bizonyítéknak kell utaznia az eredménnyel. Mely mérőszámok bizonyítják, hogy működik. Egy kisebb modell világos szerződéssel gyakran legyőz egy nagyobb modellt hősies prompttal, mert a szerződés túléli az üzemeltetéssel való érintkezést.
A méret szélességet vásárol, és a szélességnek ára van
A nagy modelleket arra tanítják, hogy általánosak legyenek. Ez az erejük. Képesek tartományok között mozogni, szokatlan megfogalmazást kezelni, kontextusból következtetni, és folyékony válaszokat adni akkor is, ha a bemenet egyenetlen. Ezért érződnek varázslatosnak a felfedezés során. Az ember lazán kérdezhet, és mégis valami összefüggőt kap vissza. Az összefüggőség hasznos. Ugyanakkor veszélyes is, ha a munkafolyamatnak szűk elkötelezettségre van szüksége.
A szélességnek ára van. Egy széles modellnek több módja van arra, hogy hasznosan tévedjen. Kontextust importálhat a beszélgetés rossz részéből. Átsimíthatja a hiányzó bizonyítékot. Válaszolhat korábbi ismeretekből, amikor a rendszer keresésre alapozott bizonyítékot akart. Követhet egy mintát, amely gyakorinak tűnik, ahelyett, hogy az alkalmazandó kivételt követné. Hihető hidat építhet egy olyan rés fölött, amelynek meg kellett volna állítania a folyamatot. A kimenet pontosan azért hangozhat jobban, mert a modell jó a nyelvben. Ez kényelmes a demókhoz, és kényelmetlen az elszámoltathatósághoz.
A kisebb modellek a lehetséges viselkedés terének szűkítésével csökkentik ennek az árnak egy részét. Egy tizenkét címkés tartományosztályozó még mindig hibázhat, de a hibája olvasható. Egy korlátozott kinyerő még mindig kihagyhat egy mezőt, de a hiányzó mező megszámolható. Egy kis rangsoroló modell még mindig előnyben részesíthet elavult bizonyítékot, de a preferencia tesztelhető egy ismert korpuszon. Ezek mérnöki hibák, ami kiváló hír. A mérnöki hibák mérhetők, tervezhetők és javíthatók. A misztikus hibákhoz több megbeszélésre van szükség.
Van a csapatoknak is egy kognitív számlája. Egyetlen széles modell homályossá teszi a felelősséget. Ki a felelős a garanciális indoklásért, a megfelelőségi szövegezésért, a forrásválasztásért, a hangnemért, az elutasításért és az eszkalációért, ha mindez egyetlen promptban és egyetlen végpontban él. Amikor valami változik, melyik tesztkészletet kell futtatni. Amikor egy felhasználó megkérdőjelezi a kimenetet, melyik komponens a hibás. A modell egy rendkívül tehetséges szekrény lesz, amelybe minden intézményi döntést behelyeztek. Végül valaki kinyitja az ajtót, és egy szabályzatgyűjtemény esik ki belőle.
A kisebb modellek láthatóvá teszik a hibákat
A láthatóság azért számít, mert minden éles rendszer végső soron egy rendszer arra, hogy kiderítsük, mi ment rosszul. Egy nagy modell olyan módokon hibázhat, amelyeket nehéz szétválasztani. Kétértelmű volt a prompt. Elavult volt a lekérdezés. Túláltalánosított a modell. Túl alacsonyan volt a szabályzatutasítás a kontextusban. A dekódolási beállítás olyan változatosságot ösztönzött, ahol a konzisztencia számított. Késve érkezett egy eszközeredmény. Egy védőkorlát átírta a választ. Mindegyik lehetőség valós lehet. Az incidensfelülvizsgálat detektívtörténetté válik költségvetési kóddal.
A kisebb komponensek kisebb kérdéseket vetnek fel. Ha a kinyerő kihagyta a vásárlási csatornát, vizsgáld meg a kinyerőt. Ha az osztályozó a visszatérítés helyett az eszkalációt választotta, nézd meg a címkézett halmazt és a küszöbértéket. Ha az ellenőrző nem vett észre egy nem alátámasztott állítást, add hozzá az állítást és a forrásszabályt az ellenőrző értékeléséhez. Ez nem teszi triviálissá a munkát. Lokálissá teszi a munkát. A lokális jó. A lokális azt jelenti, hogy a robbanási sugár visszatartható, és a javítás tesztelhető anélkül, hogy az egész katedrálist megzavarnánk.
A szigorú kimenetek jobb telemetriát is eredményeznek. Egy modell, amely tizenkét állapot egyikét adja vissza, nyomon követhető az idő múlásával. Egy modell, amely strukturált mezőket ad vissza, jelenthet hiányosságot, nézeteltérést, konfidenciasávokat és eltérést. Egy modell, amely elutasít, meg tudja mondani, miért. Egy prózai válasz mindezt tartalmazhatja, de akkor minden downstream fogyasztónak elemeznie kell egy mondatot, amelyet egy olyan gép írt, amelyet arra jutalmaztak, hogy természetesen hangozzon. Így válik a megfigyelőrendszer könyvklubbá.
A hibák láthatósága megváltoztatja a kultúrát. A csapatok abbahagyják a vitát arról, hogy jó-e az AI, és elkezdik kérdezni, hogy melyik komponens hibázott, milyen feltétel mellett. Ez egészségesebb vita. Új adatmetszethez, jobb küszöbértékhez, kisebb bizonyítékhalmazhoz, szigorúbb sémához vagy emberi felülvizsgálati állapothoz vezethet. A szorongást karbantartássá alakítja. A karbantartás kevésbé csillogó, mint az egzisztenciális vita, de általában ebéd előtt elkészül.
A felület a modell fele
Amikor az emberek modelleket hasonlítanak össze, gyakran a súlyokat, paramétereket, benchmarkokat és ranglistákat nézik. Ezek számítanak, de a felület ugyanannyira számít éles környezetben. A felület határozza meg, hogy a modell milyen ígéreteket tehet. A szabad szöveges felület nyitott végű viselkedésre invitál. A strukturált felület ellenőrzött eredményt kér. Egy nyelvtani korlátokkal dolgozó dekódoló, egy eszköz séma, egy típusos kimeneti objektum vagy egy rögzített címkekészlet megváltoztathatja ugyanannak a mögöttes intelligenciának az operatív jellegét.
Vegyünk egy modellt, amely számlákat olvas. Ha egy bekezdést ad vissza, amely elmagyarázza a számlát, a csapatnak még mindig ki kell nyernie a szállítót, az adószámot, a tételösszegeket, a pénznemet, az esedékességet és a megbízhatóságot. Ha egy típusos objektumot ad vissza kötelező mezőkkel, az ellenőrzés azonnal lefuthat. Ha hiányzik az esedékesség, az objektum azt mondhatja, hogy hiányzik. Ha az összegek nem adódnak össze, egy ellenőrző megtagadhatja az importálást. A modell kevésbé beszédes lehet, de a könyvelő csapat nem azért fizet neki, hogy karizmatikus legyen. Azt akarják, hogy a főkönyv ne billegjen.
A felületek a képzést is alakítják. Egy modell, amelyet rögzített címkék előállítására képeztek, kiértékelhető a címkehibák alapján. Egy modell, amelyet mezők kinyerésére képeztek, kiértékelhető pontos egyezés, span-helyesség, hiányosság és hallucinált értékek alapján. Egy modell, amelyet próza előállítására képeztek, több ítélőképességet, több rubrikát és több emberi felülvizsgálatot igényel. Ez egyes feladatoknál megfelelő lehet. Pazarló azoknál a feladatoknál, ahol a kívánt kimenet már eleve strukturált. Meglepően sok MI-munka nem más, mint adatbevitel bársonykabátban.
A kisebb, szigorúbb modellek ezért arra késztetik a csapatokat, hogy átgondolják a munka alakját. Ez osztályozás, kinyerés, rangsorolás, átalakítás, ellenőrzés, tervezés vagy magyarázat feladata. Kell-e egyáltalán modell, vagy egy szabály, megoldó, adatbázis-megkötés vagy keresési index jobb lenne. Melyik rész igényel nyelvi megértést, és melyik rész igényel bizonyosságot. Ez a szétbontás nem kötekedés. Ez a különbség a rendszer tervezése és egy száj bérlése között.
A képzési adatok kevésbé lesznek teátrálisak
Az általános modelleknek hatalmas, változatos képzési halmazokra van szükségük, mert hatalmas, változatos viselkedést kell lefedniük. A szűk modellek gyakran javíthatók kisebb, jobban felcímkézett, relevánsabb adatokkal. Ez kevésbé látványosan hangzik, ami szintén előny. A látványosság nem minőségi mutató. Ezer gondosan átnézett példa egy kárigény-osztályozóhoz többet tehet az éles környezeti megbízhatóságért, mint egy grandiózus adattó, ahová minden dokumentumot meghívtak, de senki nem ellenőrizte a vendéglistát.
A kisebb feladatok világosabbá teszik a címkék jelentését. Ha a címke az escalate, a felülvizsgálók pontosan meg tudják vitatni, hogy mely feltételek indokolják az eszkalációt. Ha a mező a contract end date, a felülvizsgálók meg tudják határozni, hogyan kezeljék a megújítási záradékokat, a módosításokat, a hiányzó aláírásokat és az egymásnak ellentmondó dátumokat. Ha a kimenet a permission blocked, a biztonsági és jogi csapatok meg tudják határozni a határt. Ez a modelltervezés mellékhatásaként intézményi tudást hoz létre. A csapat megtanulja, mit jelent a folyamat. Ez csak akkor kényelmetlen, ha a szervezet inkább nem akarta volna tudni.
A szűk képzés azt is lehetővé teszi, hogy az értékelés reprezentatívabb legyen. Tesztkészleteket lehet építeni a valós meghibásodási módok köré: hiányzó mezők, elavult szabályzatok, ellenséges megfogalmazás, regionális kivételek, szokatlan formázás, alacsony megbízhatóság, valamint azok az esetek, amikor a visszautasítás a helyes. Mérni lehet a precizitást és a visszahívást ott, ahol számít. El lehet dönteni, hogy egy hamis jóváhagyás tízszer rosszabb, mint egy hamis eszkaláció. A küszöbértékeket a működési költségekhez lehet igazítani. Ezek konkrét döntések. Nem látványosak, de megvan az a ritka tulajdonságuk, hogy hasznosak.
A széles körű előképzésnek és az átviteli tanulásnak továbbra is van helye. Egy kicsi, szigorú modell egy nagyobb modell beágyazásain is működhet. Egy korlátozott nyelvi modell használhat általános nyelvi tudást, miközben rögzített sémát ad ki. Egy általános modell jelölteket generálhat, amelyeket egy szigorú ellenőrző vizsgál. Az érv nem a tisztaságról szól. Az érv a elhelyezésről szól. Használjunk széles körű képességet ott, ahol szélességre van szükség. Használjunk szigorúságot ott, ahol a rendszernek elkötelezettségre van szüksége.
A gazdaságosság csendesebb és jobb
A költség nem csak az inferencia számlája. A költség a késleltetés, a memória, az energia, a működési összetettség, az értékelési erőfeszítés, a felülvizsgálati teher, az incidenskezelés, valamint azoknak a mérnököknek a száma, akiknek el kell magyarázniuk, miért viselkedett a kedd másképp, mint a hétfő. A kisebb modellek mindezeken a dimenziókon segíthetnek. Közelebb futhatnak az adatokhoz. Elférhetnek hétköznapi hardveren. Gyorsítótárba helyezhetők, kvantálhatók, kötegelhetők vagy beágyazhatók egy szolgáltatásba anélkül, hogy a telepítés három naptárat és kapacitásfoglalást igénylő ceremóniává válna.
A késleltetés megváltoztatja a termék viselkedését. Ha egy osztályozó ezredmásodpercek alatt válaszol, beépülhet egy munkafolyamatba anélkül, hogy a felhasználónak egy töltőjelre kellene bámulnia, és el kellene gondolkodnia a karrierjén. Ha egy kinyerő helyben fut, az érzékeny anyagnak nem kell távoli szolgáltatáshoz utaznia egy egyszerű mezőkinyerésért. Ha egy ellenőrző olcsó, minden kimeneten futtatható, nem csak mintavételezett eseteken. Ezek a részletek nem jelentéktelenek. Eldöntik, hogy a biztonsági és minőségi ellenőrzéseket valóban használják-e, vagy csak az architektúra-diagramokon csodálják őket.
Működési szempontból a kisebb modelleket könnyebb lecserélni. Egy csapat betaníthat egy új kinyerőt, lefuttathatja a régi ellen, összehasonlíthatja az eltéréseket, és szeletenként vezetheti be. A korábbi verziót elérhetővé teheti visszajátszáshoz. Minden döntéshez hozzárendelheti a modellverziót és a küszöbértéket. Egy óriási, általános célú végpont is verziózható, de az összehasonlítás gyakran homályosabbá válik, mert egyszerre sok viselkedés változik meg. A nagy változtatáscsomagok azok, ahol a magabiztosság PowerPoint-átmenetté válik.
Van egy beszerzési előny is. A kisebb, szigorú összetevők reálisabbá teszik a szállítóváltást. Ha a szerződés egy ismert séma és egy ismert értékelési csomag, a csapat összehasonlíthatja a megvalósításokat. Ha a szerződés egy óriási prompt, tele rejtett szabályzattal és személyiséggel, a váltás kockázatossá válik. A szervezet felfedezheti, hogy a munkafolyamatát nem annyira egy modell hajtja, mint inkább összefonódott eggyel. Az összefonódás romantikus a regényekben. Élesben ez egy migrációs terv fogakkal.
Hol van még helyük a nagy modelleknek
Mindez nem jelenti azt, hogy a nagy modelleket a kutatólaboratórium polcára kellene száműzni. Sok mindenben kiválóak. Hasznosak a felfedezésben, a vázlatkészítésben, az összefoglalásban, a fordításban, a kétértelmű felhasználói bemenetek kezelésében, a kódolási segítségnyújtásban, és azokban a feladatokban, ahol a kívánt kimenet valóban nyitott végű. Segíthetnek az embereknek ismeretlen anyagok feldolgozásában. Képesek lehetséges magyarázatokat generálni. A rendetlen természetes nyelvet strukturáltabb kéréssé tudják alakítani. Lehetnek a nagyvonalú bejárati ajtó egy szigorúbb hátsó irodához.
A hiba az, ha a bejárati ajtóból maga az épület lesz. Egy nagy modell értelmezheti a szándékot, de egy kisebb osztályozó választhatja ki a munkafolyamatot. Egy nagy modell megfogalmazhat egy választ, de egy ellenőrző tudja igazolni az állításokat. Egy nagy modell összefoglalhat egy dokumentumot, de egy kinyerő modul tudja feltölteni a szabályozott mezőket. Egy nagy modell javasolhat egy tervet, de egy szabályzatkapu döntheti el, mely lépések megengedettek. A széles körű modell értékes marad. Csak nem tetteti többé, hogy minden tekintély forrása.
Ez a felosztás a felhasználókhoz is kedvesebb. Az emberek nem akarnak egy modellel alkudozni arról, hogy létezik-e egy visszatérítési állapot. Egyértelmű eredményeket, egyértelmű bizonyítékokat és a fellebbezés lehetőségét akarják. A szigorú komponensekből összeállított rendszer operatív kifejezésekkel tudja megmagyarázni önmagát: ezt a forrást használtuk, ez a mező hiányzott, ez a küszöbérték teljesült, ez a szabályzat felülvizsgálatot igényelt. Ez a magyarázat talán kevésbé bájos, mint egy gördülékeny empátiát sugárzó bekezdés, de hasznosabb, ha pénzről, jogokról, biztonságról vagy bizalomról van szó.
A jövő valószínűleg nem egyetlen modell, amely uralja a munkafolyamatot. Hanem modellek, szabályok, megoldók, indexek, ellenőrzők és emberi felülvizsgálat összetétele. Egyes részek nagyok és rugalmasak lesznek. Egyesek aprók és makacsok. A művészet abban rejlik, hogy tudjuk, melyik melyik. Egy jó mérnöknek gyanakvással kellene tekintenie minden olyan architektúrára, ahol minden problémát ugyanazon komponens nagyobbra tételével oldanak meg. Ez nem tervezés. Ez infláció.
Az eset
A kisebb, szigorúbb modellek melletti érv nem az, hogy a kicsi erkölcsileg felsőbbrendű. Hanem az, hogy sok értékes feladat kisebb, mint amit a jelenlegi modellnyelvünk elismer. Osztályozd ezt az esetet. Töltsd ki ezeket a mezőket. Rangsorold ezeket a forrásokat. Ellenőrizd ezt az állítást. Utasítsd el bizonyíték nélkül. Irányítsd emberhez. Őrizd meg az indokot. Ezek nem az intelligencia alacsonyabb rendű formái. Hanem azok a formák, amelyek megbízhatóvá teszik a nagyobb rendszereket.
Amikor a csapatok a lehető legnagyobb modellből indulnak ki, gyakran elodázzák a nehéz tervezési kérdéseket. Mi az állapottér. Mely kimenetek megengedettek. Milyen bizonyíték szükséges. Mit jelent a bizonytalanság. Ki felel a hibáért. Hogyan tesztelik a komponenst. Mikor kell megtagadnia a választ. Ha ezeket a kérdéseket figyelmen kívül hagyják, a modell rejtett szabályzatként örökli azokat. A rejtett szabályzat működhet egy kísérleti projektben. A éles környezetben rosszul öregszik, általában akkor, amikor valaki auditnaplót kér.
A kisebb modellel való kezdés korábban kényszeríti ki a kérdéseket. Rákérdez, hogy a problémának van-e ismert alakja. Rákérdez, hogy egy szigorú interfész képes-e hordozni az eredményt. Rákérdez, hogy a modellnek széles nyelvi képességre vagy szűk ítélőképességre van-e szüksége. Rákérdez, hogy mit kell mérni, mielőtt bizalmat kap. Ez a fegyelem nem csökkenti az ambíciót. Csontvázat ad az ambíciónak. Enélkül a rendszer még mozoghat, de senki ne álljon túl közel hozzá.
A kisebb, szigorúbb modelleket könnyebb kézben tartani. Olcsóbbak üzemeltetni, könnyebb értékelni, világosabb hibakeresni, biztonságosabb összeállítani, és őszintébbek a korlátaikról. Nem váltják fel a széles modelleket mindenhol. Ott teszik hasznossá a széles modelleket, ahol a hasznos többet jelent a folyékonyságnál. A komoly AI-mérnöki munkában ez a különbség számít. A legjobb rendszer ritkán az, amelyik minden ponton a legnagyobb modellt használja. Az a legjobb, ahol minden ponton a legkisebb, a feladatra alkalmas komponens van, a legszigorúbb szerződés, amely még illeszkedik a valósághoz, és elég bizonyíték marad hátra ahhoz, hogy a következő ember megértse, mi történt.