Igav infrastruktuur võidab tõsises tehisintellektis
Demo, mis nägi välja nagu tulevik kuni lõunani
Kõige veenvam AI-demo, mida ma kunagi näinud olen, ebaõnnestus järjekorra tõttu. Mitte mudel, mitte prompt, mitte vektorotsing, mitte elegantne väike agendigraaf, mis pani kõik ruumis viibijad ettepoole nõjatuma. Järjekord. Hommikul võttis süsteem vastu tugimeile, leidis asjakohased dokumendid, koostas vastuseid, märkis ebakindluse ja suunas keerulised juhtumid inimesele. See tundus rahulik ja peaaegu ebaõiglaselt nutikas. Lõunaks kahekordistus importimistöö, allavoolu meilisüsteem aeglustus, uuesti proovimised kuhjusid üksteise otsa ja järjekord hakkas käituma nagu viisakas ummik, mille küljes on arved.
Kella kolmeks oli mudel endiselt võimekas. See oligi solvav osa. Intelligentsus polnud kadunud. Torustik oli. Sõnumeid töödeldi vales järjekorras. Mõned tööd proovisid uuesti aegunud kontekstiga. Mõned duplikaatvastused ootasid kinnitust. Juhtpaneel näitas rohelist, sest juhtpaneel mõõtis mudeli lõpp-punkti, mitte tööd. Juhtum polnud kinematograafiline. Keegi ei löönud serverit. Süsteem lihtsalt paljastas, et nutikas osa oli asetatud põrandale, mis oli tehtud papist ja optimismist.
Sellepärast võidab igav infrastruktuur tõsises AI-s. Tõsine AI ei ole versioon, mis avaldab ruumile muljet viisteist minutit. See on versioon, mis peab vastu halvale sisendile, viibinud sõltuvustele, osalistele riketele, aegunud mandaatidele, ülekoormatud indeksitele, inimese ülevaatejärjekordadele, kulupiikidele, skeemimuudatustele, piirkondlikule latentsusele, audititaotlustele ja esmaspäeva hommikule. Mudel loeb. Muidugi loeb. Kuid mudel on üks komponent süsteemis, mis peab liigutama tööd läbi aja ilma valetamata selle kohta, mis juhtus.
Tööstus armastab arutleda intelligentsuse üle nii, nagu oleks mudel toode ja kõik muu selle ümber tellingud. Tootmises on tellingud sageli toode. Identiteet otsustab, kes tohib küsida. Andmelepingud otsustavad, mida süsteem tohib teada. Otsing otsustab, milline tõendusmaterjal mudelini jõuab. Järjekorrad otsustavad, kas töö saabub taastatavas järjekorras. Logid otsustavad, kas viga on uuritav. Hindamine otsustab, kas paranemine on tõeline. Tagasipööramine otsustab, kas halb väljalase muutub juhtumiks või joonealuseks märkuseks. Ükski neist ei näe käivitusvideotes muljetavaldav välja. See räägib nende kasuks.
Igav ei tähenda lihtsat
Igav infrastruktuuri aetakse sageli segamini lihtsa infrastruktuuriga. See ei ole sama asi. See on infrastruktuur, mille üllatused on eemaldatud läbi disaini, kordamise ja tõendusmaterjali. Hea järjekord on igav, sest sellel on selge järjestus, uuesti proovimise poliitika, dubleerimise välistamine, nähtavuse ajalõpp, surnud kirjade käsitlemine ja tagasurve. Hea skeem on igav, sest see on versioonitud, testitud, dokumenteeritud ja keeldutakse seda kasutamast, kui see on vale. Hea logi on igav, sest see ütleb, mis juhtus, viisil, mida saab siduda teiste tõenditega. Igav ei tähenda mõtlemise puudumist. See on mõtlemine, mis on juba oma üüri ära maksnud.
AI-süsteemid vajavad seda rohkem kui tavaline tarkvara, sest need toovad ebakindluse keskmesse. Traditsioonilist teenust saab sageli kirjeldada deterministlike üleminekutega. AI-komponent võib tagastada tõenäosusliku vastuse, järjestatud valikute hulga, genereeritud teksti, eraldatud välja, tööriistakutse või keeldumise. See väljund peab seejärel sisenema töövoogu, mis eeldab olekuid, õigusi, tähtaegu, teenustasemeid ja vastutust. Kui mudeli ümber olev infrastruktuur on ebamäärane, lekib mudeli ebakindlus operatsioonidesse. Siis nimetatakse seda AI-riskiks, kuigi suur osa sellest on tegelikult torustik, millel on usaldusväärsuse probleemid.
Igav infrastruktuur annab tõenäosuslikele komponentidele turvalise kuju. See jäädvustab päringud, sisendid, hangitud tõendid, mudeliversioonid, poliitikad, tööriistakutsed, väljundid, inimese otsused ja allavoolu mõjud. See piirab volitusi identiteedi ja ulatuste kaudu. See käsitleb ebaõnnestumist olekuna, mitte üllatusena. See eraldab mustandi tegevusest. See nõuab tõendusmaterjali enne, kui automatiseerimine puudutab olulist töövoogu. See säilitab piisavalt konteksti ülevaatamiseks. Mudel võib endiselt olla loov, ebakindel ja aeg-ajalt eksida. Süsteem selle ümber ei pea iga kord improviseerima.
See ei ole innovatsioonivastasus. See on see, mis laseb innovatsioonil ellu jääda. Kiireimad meeskonnad, keda ma tean, ei ole need, kellel on kõige vähem protsesse. Need on need, kelle protsessid elavad kasulikes rööbastes: kohalikud testikomplektid, korratavad juurutused, selge tagasipööramine, teadaolevad andmelepingud, lihtne jälgitavus ja ülevaatusrajad, mis ei nõua komiteed õige tabeli leidmiseks. Nad liiguvad kiiresti, sest tavapärasele riskile on antud koht, kuhu minna. Ülejäänud meist nimetavad seda igavaks ainult sellepärast, et usaldusväärsed asjad ei esine tähelepanu nimel.
Mudel ei ole operatsioonisüsteem
Levinud fantaasia on, et võimekas mudel suudab asendada enda ümber oleva infrastruktuuri. Andke sellele piisavalt konteksti ja see suunab, valideerib, otsustab, jälgib, selgitab, parandab ja võib-olla uuendab ka runbooki teed tehes. Fantaasia on mõistetav, sest mudelid on paindlikud. Paindlikkus on võluv. See on aga ka halb asendus selgetele süsteemipiiridele. Mudel võib aidata marsruuti valida. See ei tohiks olla ainus koht, kus marsruut eksisteerib.
Kui meeskonnad lasevad mudelil infrastruktuuri kohustused enda peale võtta, loovad nad peidetud poliitika. Päring ütleb, milliseid allikaid eelistatakse. Päring ütleb, millal keelduda. Päring ütleb, millist tööriista kasutada. Päring ütleb, kuidas puuduvate väljadega toime tulla. Päring ütleb, mis loetakse riskiks. Osa sellest võib uurimistöö jaoks sobida. Tootmises muutub peidetud poliitika raskesti testitavaks, versioonitavaks, auditeeritavaks ja vaidlustatavaks. Pikk päring võib muutuda põhiseaduseks, mis on kirjutatud salvrätikule ja salvestatud keskkonnamuutujasse. See on elav lähenemine valitsemisele, kuid mitte küps.
Päris tehisintellekt eraldab arutluse volitusest. Mudel võib teha ettepaneku. Töövoog otsustab, kas ettepanekul on piisavalt tõendusmaterjali, kas kasutajal on luba, kas toiming on pööratav, kas inimene peab heaks kiitma ja kas kulu mahub eelarvesse. Mudel võib teha juhtumi kokkuvõtte. Juhtumisüsteem otsustab, kas kokkuvõttest saab kanne. Mudel võib kutsuda tööriista. Tööriistalüüs otsustab, kas kõne on lubatud. See eraldatus ei ole bürokraatia. See on see, kuidas süsteem jääb kontrollitavaks, kui intelligentsus on vale, puudulik või veenev.
Mida võimekam on mudel, seda olulisemad on piirid. Nõrk mudel ebaõnnestub valjult ja sageli. Tugev mudel võib ebaõnnestuda vaikselt, usutavalt ja suures mahus. Ta võib kirjutada enesekindla selgituse vale allika kohta. Ta võib kutsuda tööriista suurepärase grammatikaga. Ta võib siluda puuduvat tõendusmaterjali nii, et see rahustab operaatorit. Seetõttu peab taristu olema kangekaelsem kui mudel. See peab nõudma tõendeid, kontrollima õigusi, rakendama piiranguid ja pidama arvestust isegi siis, kui vastus kõlab kaunilt mõistlikult.
Andmelepingud võidavad heade kavatsuste üle
Paljud AI-intsidendid algavad pisikesest lahknevusest. Väli, mis oli varem valikuline, muutub kohustuslikuks. Ajatempel vahetab ajavööndit. Dokumendiparsija hakkab jaotise silte erinevalt väljastama. Olekukood saab uue väärtuse. Keele silt puudub. Kliendi identifikaator saabub ühes voos räsituna ja teises tavalises vormingus. Mudel saab midagi piisavalt usutavat, et seda töödelda, ja piisavalt valet, et tulemust rikkuda. Head kavatsused seda ei taba. Andmelepingud tabavad.
Andmeleping ei ole suurejooneline filosoofiline objekt. See sätestab, milline on andmete kuju, millised väljad on kohustuslikud, mida väärtused tähendavad, kuidas versioonid muutuvad, millised kvaliteediläved kehtivad, kes voogu omab ja mis juhtub, kui lepingut rikutakse. AI-süsteemides peaksid lepingud kirjeldama ka värskust, päritolu, õigusi, sildi tähendust, tükeldamispoliitikat, manustamismudelit, otsinguulatust ja redigeerimisreegleid. Leping on koht, kus andmed lakkavad olemast meeleolud ja muutuvad kokkuleppeks.
Lepingud on olulised, sest mudelid on sallivad. Nad saavad segasest sisust aru. See sallivus on kasulik serval ja ohtlik piiril. Kui inimene saadab ebatavalise küsimuse, aitab sallivus. Kui allikavoog vaikselt tähendust muudab, peidab sallivus rikke. Süsteem peaks olema range integratsioonipiiridel ja paindlik arutluskiht. Selle mustri ümberpööramine annab teile rabedad kasutajad ja lõdvad torustikud, mis on tõhus viis vabanduste kogumiseks.
Sama kehtib ka väljundi kohta. Loodud vastusest üksi ei piisa. Allavoolu süsteemid vajavad struktureeritud olekut: vastu võetud, keeldutud, vajab ülevaatamist, tõendid puuduvad, poliitika blokeeris, tööriist ebaõnnestus, kulu ületatud. Nad vajavad põhjuskoode, usaldusmäärasid, allikaviiteid, mudeliversioone ja jälgimistunnuseid. Kui AI-komponent väljastab ainult proosat, muutub iga allavoolu tarbija kirjanduskriitikuks. See on ebaõiglane tarkvara suhtes ja tavaliselt ka kirjanduse suhtes.
Logid ei ole kõrvalsaadus
Tõsises AI-s ei ole logid heitgaas. Need on toote närvisüsteemi osa. Kasulik logi ühendab kasutaja kavatsuse, õigused, viipamalli, otsitud tõendid, mudeliversiooni, parameetrid, tööriistakutsete, latentsuse, kulu, väljundi, inimese ülekirjutuse ja allavoolu toimingu. See ei pea laialdaselt paljastama saladusi ega isikuandmeid. Kuid see peab säilitama piisavalt, et vastata täiskasvanulikele küsimustele: miks see juhtus, kes lubas, mida see nägi, mis muutus ja kuidas takistada selle kordumist.
Ilma logideta muutub iga AI-intsident seansiks. Inimesed kogunevad ekraanipildi ümber. Keegi mäletab, et viip muutus eelmisel nädalal. Keegi teine ütleb, et indeks värskendati. Kolmas arvab, et kasutajal võis olla teine roll. Mudeleitootja olekulehte konsulteeritakse rituaalse tõsidusega. Lõpuks kirjutab meeskond usutava loo. Usutavad lood on romaanides kasulikud. Operatsioonides on need maks puuduvate tõendite eest.
Logimine tuleb kavandada privaatsuse ja turvalisusega, mitte lisada eristamatu salvestusena. Tundlikud viibad võivad vajada redigeerimist või räsistamist. Juurdepääs jälgedele peaks olema piiratud. Säilitamine peaks vastama riskile. Mõned andmed ei tohiks kunagi logidesse sattuda. Kuid keelduda logimisest, sest logimine on riskantne, on nagu keelduda piduritest, sest kiirus on ohtlik. Õige vastus on kontrollitud logimine, mitte operatiivne pimedus.
Head logid muudavad ka täiustamise ausaks. Kui uus viip vähendab vigu käsitsi valitud näidete hulgas, kuid suurendab inimese ülekirjutusi tootmises, peaks süsteem seda näitama. Kui otsingu muudatus vähendab latentsust, kuid suurendab aegunud tsitaate, peaks süsteem seda näitama. Kui mudeliuuendus vähendab kulusid, kuid suurendab keeldumisi teatud keeles, peaks süsteem seda näitama. Tõsine AI vajab vähem võiduklaide ja rohkem ühendatud jälgi.
Hindamine on infrastruktuur
Hindamist koheldakse liiga sageli kui uurimistegevust, mis toimub enne kasutuselevõttu. Tõsises AI-s on see infrastruktuur. See töötab pidevalt, kinnitub väljalasetega, valib tootmisest valimeid, võrdleb mudeliversioone, testib otsingut, mõõdab inimese ülekirjutusi ja jälgib regressiooni rühmades, keeltes, valdkondades ja töövoogudes. Hindamine on süsteemi mälu sellest, mida hea tähendab. Ilma selleta muutub täiustamine maitse küsimuseks ja maitse kipub nõustuma demot esitleva inimesega.
Hindamiskomplekt ei tohiks olla staatiline trofee. See peaks hõlmama tavalisi juhtumeid, keerulisi juhtumeid, hiljutisi tõrkeid, vastandlikke päringuid, poliitika piire, väheste ressurssidega keeli, äärejuhtumeid, aegunud kirjeid, mitmetähenduslikke küsimusi ja näiteid, kus õige vastus on keeldumine. See peaks teadma, milline mõõdik on millise töövoo jaoks oluline. Kokkuvõtte tegija, klassifitseerija, koodiassistent, triaažisüsteem ja otsinguagent ei ebaõnnestu samal viisil. Nende kohtlemine ühe võrdlusalusena annab numbri, kuid mitte eriti palju tarkust.
Hindamine vajab ka andmehaldust. Kust näited pärinevad. Kas need on selleks kasutuseks lubatud. Kas need sisaldavad tundlikku teavet. Kas need on endiselt esinduslikud. Kes need märgistas. Kuidas lahkarvamustega toime tuldud. Mis on pärast eelmist kuud muutunud. Testikomplekt võib muutuda aegunuks või kallutatuks nagu iga teine andmestik. Kui hindamiskorpust koheldakse pühana, muutub see lõpuks vanade eelduste pühakojaks. Pühakojad tabavad tootmise triivi harva.
Kõige tähtsam on, et hindamine peaks olema seotud väljalaske kontrolliga. Mudel, päring, otsinguindeks, parser, tööriistalüüs või poliitikamuudatus ei tohiks tootmisse jõuda ainult sellepärast, et see tundub parem. See peaks läbima asjakohased testid, märkima teadaolevad kompromissid ja jätma maha kirje. Mõned muudatused on väärt kasutuselevõttu vaatamata tagasilangustele, sest kulud, latentsus, ohutus või katvus paranevad. See on okei. Tõsine inseneritöö ei ole kompromisside puudumine. See on nende juhusliku avastamise vältimine.
Kulude kontroll on usaldusväärsus
AI kuludest räägib finantsosakond sageli alles siis, kui arhitektuur on juba emotsionaalselt omaks võetud. See on hilja. Kulu on käitusaegne omadus. See mõjutab usaldusväärsust, sest kallid süsteemid käituvad surve all kummaliselt. Meeskonnad lülitavad raha säästmiseks logimise välja. Nad alandavad konteksti kvaliteeti. Nad jätavad hindamised vahele. Nad väldivad uuesti proovimist. Nad koondavad tööd liiga agressiivselt. Nad lasevad ootel töödel kasvada. Nad peidavad kasutust. Kulu lakkab siis olemast arve ja muutub disainipiiranguks, mis teeskleb üllatust.
Tõsine AI-infrastruktuur muudab kulud nähtavaks samal tasemel kui latentsus ja vead. Igal päringul peaks olema eelarve. Kallid tööriistaväljakutsed peaksid olema piiratud. Otsing peaks vältima poole raamatukogu toomist, et vastata küsimusele ühe lõigu kohta. Pikk kontekst peaks olema põhjendatud. Pakett-töödel peaksid olema kvoodid ja tühistamine. Agentidel peaksid olema sammupiirangud. Hindamine peaks mõõtma kulusid vastuvõetava tulemuse kohta, mitte ainult kulusid märgi kohta. Oluline ühik on kasulik töö, mitte arvutuslik konfeti.
Kulukontrollid kaitsevad ka ohutust. Kontrollimatu agendi tsükkel ei ole ainult kallis. See võib korrata toiminguid, saata duplikaatsõnumeid, lukustada kirjeid või koormata kolmanda osapoole süsteemi. Otsinguprotsess, mis indekseerib kõike, võib paljastada andmeid väljaspool selle eesmärki. Kokkuvõttetöö, mis käib üle kõigi dokumentide, võib luua tuletatud kirjeid uute säilituskohustustega. Eelarvepiirid sunnivad disaini selgusele. Nad küsivad, miks süsteem midagi teeb ja millal see peaks lõpetama. Masinad vajavad seda abi. Nad ei ole kuulsad vabatahtliku mõõdukuse poolest.
Pole mingit häbi optimeerida tavalise riistvara, väiksemate mudelite, vahemälu, pakkimise, eelarvutuse ja kohaliku järelduse kasutamiseks, kus see on asjakohane. Tõsist AI-d ei mõõdeta selle järgi, kui suurejooneliselt riistvara kõlab. Seda mõõdetakse selle järgi, kas süsteem suudab pakkuda nõutud kvaliteeti kulupiirides, mis lasevad sellel töös püsida. Suurepärane mudel, mida on liiga kallis jälgida, hinnata ja taastada, ei ole tootmissüsteem. See on granditaotlus API-ga.
Inimülevaatus ei ole halva infrastruktuuri plaaster
Inimlik järelevalve on paljudes tehisintellektisüsteemides vajalik, eriti seal, kus otsused mõjutavad õigusi, raha, tervist, ohutust või usaldust. Kuid järelevalvet kasutatakse sageli prügikastina kõige jaoks, millega infrastruktuur hakkama ei saanud: puuduvad tõendid, ebamäärane poliitika, nõrk enesekindlus, katkine marsruutimine, dubleerivad tööd, halvad sildid ja ebaselge vastutus. Siis ütlevad juhid, et protsessis on inimene, justkui oleks inimene maagiline lahusti. Inimene on tavaliselt keegi, kellel on järjekord, tähtaeg ja tool, mille ergonoomiline väärtus on vaieldav.
Ka järelevalve vajab infrastruktuuri. Järelevaatajad vajavad tõendeid, mida mudel nägi, tõendeid, mida ta ei näinud, rakendatud poliitikat, mudeliversiooni, enesekindluse ja põhjuse koode, lähtedokumente, võimalust struktureeritud välju parandada ning viisi, kuidas parandused tagasi suunata hindamis- ja treeningandmetesse. Nad vajavad töökoormuse piiranguid. Nad vajavad eskaleerimist. Nad vajavad auditijälgi. Nad vajavad kaitset automatiseerimise kallutatuse eest, kus sujuv vastus muutub vaikselt tõukeks.
Hea järelevalvesüsteem eristab ka ebakindlust riskist. Mõned juhtumid on ebakindlad, kuid väikese mõjuga ja neile saab vastata reservatsioonidega. Mõned on kindlad, kuid suure mõjuga ja nõuavad siiski kinnitust. Mõned on madala enesekindlusega, sest andmed puuduvad. Mõned on poliitikaga blokeeritud sõltumata enesekindlusest. Kui infrastruktuur kukutab selle kõik kokku fraasiks „küsi inimeselt", muutub järelevaataja süsteemi jäätmesorteerimisjaamaks. Inimesed suudavad seda mõnda aega teha. Siis muutub kvaliteet personaliplaaniks viisaka nimega.
Mõte ei ole inimesi eemaldada. Mõte on anda neile tööd, mis väärib otsustusvõimet. Las infrastruktuur tegeleb järjestamise, tõendite pakendamise, poliitikakontrolli, dubleerimise eemaldamise, tähtaegade jälgimise, tagasiside kogumise ja taasesitusega. Las inimesed tegelevad vaidlustatud tähenduse, erandite, kaastunde, läbirääkimiste ja vastutusega. See jaotus on inimese suhtes lugupidavam ja süsteemi jaoks ohutum. See vähendab ka iidset äritava lahendada arhitektuuriprobleeme töötajate arvuga.
Usalduse vaikne arhitektuur
Usaldust tehisintellekti vastu esitatakse sageli suhtlusprobleemina. Selgita süsteemi paremini. Lisa teade. Avalda põhimõtted. Muuda liides soojemaks. Need asjad võivad aidata, kuid kasutajad õpivad usaldust käitumise kaudu. Kas süsteem mäletab oma piire. Kas see keeldub, kui tõendid puuduvad. Kas see näitab allikaid. Kas see taastub graatsiliselt. Kas see peatab dubleeriva töö. Kas see laseb inimestel vaidlustada. Kas see paraneb pärast vigu. Need on infrastruktuuri käitumised enne, kui need on brändi käitumised.
The quiet architecture of trust is made from stable identifiers, clear permissions, explicit states, durable logs, tested restore, representative evaluation, understandable review, and honest refusal. The user may never see most of it. They will feel it when the system does not lose their case, when an appeal has evidence, when a correction sticks, when a bad release is rolled back, or when the answer says it cannot know instead of fabricating a small opera.
This is why serious AI teams should spend more time praising the unglamorous pieces. The person who made idempotency work saved the product from duplicate actions. The engineer who insisted on trace IDs saved the incident review. The data steward who blocked an unversioned feed saved the model from a quiet lie. The operations lead who rehearsed rollback saved the weekend. None of them will appear in the keynote. Production owes them anyway.
Boring infrastructure is not a lack of ambition. It is ambition that expects to be used by real people in real organisations under real constraints. The model can remain the most intellectually interesting component. It should not be the only serious one. Intelligence that cannot be queued, bounded, observed, evaluated, explained, and recovered is not ready for serious work. It is ready for a demo, which is a different and much shorter season.
The lesson
Boring infrastructure wins in serious AI because serious AI is mostly about keeping promises after the novelty has left the room. The promise is not that every answer will be perfect. The promise is that the system will know its inputs, respect its limits, preserve evidence, route uncertainty, recover from failure, control cost, and improve from experience. That promise is delivered by queues, schemas, logs, contracts, identities, evaluations, runbooks, and rollback plans.
The clever model is important. It is also needy. It needs clean boundaries, fresh evidence, scoped tools, patient evaluation, controlled cost, and humans who receive meaningful work rather than leftovers. Give it those things and it can become useful. Deny it those things and the organisation will eventually discover that intelligence without infrastructure is just a faster way to create work for operations.
The demo that failed at lunch did not fail because the future was impossible. It failed because the future had been balanced on a queue nobody had treated as part of the future. That is the quiet lesson. In serious AI, the boring pieces are not supporting actors. They are the stage.