Riešitelia sú tichý stroj za užitočnou AI
Odpoveď, ktorá potrebovala cestovný poriadok
Prvá pôsobivá vec bola odpoveď. Zákazník sa pýtal, či môže zásielka doraziť predpoludním, ak má jeden sklad málo personálu, dve vozidlá sú už nasadené a dodávateľ poslal oneskorenú aktualizáciu so sebavedomím niekoho, kto nebude šoférovať dodávku. Asistent vytvoril úhľadný odsek: áno, je to možné, s upravenou trasou, zmeneným poradím nakládky a poznámkou, že jeden sľúbený časový úsek by sa mal posunúť o dvadsať minút.
Odsek vyzeral ako moment AI. Nebol. Užitočná práca sa odohrala v pozadí, kde sa problém plánovania zmenil na premenné, obmedzenia, penalizácie a vyhľadávanie. Vodiči mali limity pracovného času. Tovar mal teplotné limity. Vozidlá mali kapacitné limity. Zákazníci mali časové okná. Sklady mali obmedzenia na doky. Systém mohol napísať vetu až potom, čo niečo prísnejšie našlo uskutočniteľný tvar. Bez tohto mechanizmu by bol asistent sebavedomým úradníkom, ktorý drží kalendár hore nohami.
Toto je časť AI, ktorá vo verejnej diskusii zostáva zvláštne tichá. Hovoríme o modeloch, pretože modely sú viditeľné. Píšu, klasifikujú, zoraďujú, sumarizujú, kreslia, detegujú a odporúčajú. Mnohé užitočné systémy AI sa však stanú užitočnými až vtedy, keď je nablízku solver. Solver vezme chaotické želanie a pýta sa, čo môže byť v skutočnosti pravdivé súčasne. Prehľadáva možnosti, odmieta nemožné kombinácie, optimalizuje kompromisy a niekedy dokáže, že za daných podmienok žiadna odpoveď neexistuje.
Táto posledná veta je dôležitá. Schopnosť povedať, že žiadne uskutočniteľné riešenie neexistuje, nie je chyba. Často je to rozdiel medzi pomocou a nezmyslom. Systém, ktorý dokáže produkovať iba vierohodnú odpoveď, sa nakoniec stane drahým divadlom. Systém, ktorý dokáže riešiť, zlyhať, vysvetliť svoje zlyhanie a ukázať, ktoré obmedzenie zablokovalo výsledok, je bližšie k inžinierstvu. Menej efektný, ale s väčšou šancou prežiť štvrtok.
Jazyk nie je to isté ako uskutočniteľnosť
Jazykové modely sú veľmi dobré vo vytváraní objektu v tvare odpovede. To nie je urážka. Je to obrovská schopnosť. Dokážu pochopiť požiadavku, nájsť relevantný kontext, vygenerovať návrh, prispôsobiť tón, prekladať terminológiu a pomáhať ľuďom pohybovať sa informáciami rýchlejšie. Plynulosť však nerobí odpoveď uskutočniteľnou. Môže opísať rozvrh, ktorý porušuje pracovné právo. Môže navrhnúť plán liečby, ktorý je v rozpore s kontraindikáciou. Môže zhrnúť zmluvu a vynechať klauzulu, ktorá blokuje konanie. Veta môže byť vybrúsená, zatiaľ čo svet odmieta spolupracovať.
Riešitelia sa starajú o spoluprácu so svetom. Pracujú s explicitnou štruktúrou: booleovskými premennými, lineárnymi obmedzeniami, hranami grafov, časovými oknami, limitmi zdrojov, typovými pravidlami, príslušnosťou k množine, pravdepodobnostnými ohraničeniami alebo logickými formulami. Forma sa mení, ale zvyk je rovnaký. Uveď podmienky. Prehľadaj priestor. Odmietni to, čo porušuje podmienky. Vylepši to, čo zostane. Vráť výsledok s dostatkom dôkazov, aby mu iná časť systému mohla dôverovať na správny účel.
Preto klasická AI nikdy naozaj neodišla. Stala sa infraštruktúrou. Vyhľadávanie, plánovanie, splniteľnosť, programovanie s obmedzeniami, dokazovanie teorém, celočíselné programovanie, dynamické programovanie, grafové algoritmy, verifikácia a teória riadenia nezmizli, keď sa neurónové siete stali ohromujúcimi. Naďalej robili prácu, ktorá potrebuje explicitnú štruktúru. Moderné AI inžinierstvo nie je súboj medzi plynulými modelmi a prísnymi riešiteľmi. Je to otázka, ako ich prinútiť spolupracovať bez toho, aby sme od jedného či druhého žiadali, aby napodobňoval toho druhého.
Model dokáže preložiť ľudskú požiadavku do štruktúrovaného problému. Riešiteľ dokáže rozhodnúť, či má štruktúra platné riešenie. Model dokáže vysvetliť výsledok v ľudskom jazyku. Verifikátor dokáže skontrolovať dôkaz. Monitorovací systém dokáže sledovať, či predpoklady stále platia. Užitočný systém je kombinácia, nie najhlasnejší komponent v demo verzii.
Obmedzenia sú miestom, kde sa zámer stáva čestným
Každá vážna úloha obsahuje obmedzenia, aj keď ich nikto nezapísal. Lekársky pracovný postup má bezpečnostné obmedzenia, obmedzenia rozsahu, obmedzenia súhlasu, obmedzenia ochrany súkromia a obmedzenia personálne. Logistický pracovný postup má obmedzenia kapacity, času, miesta, paliva, údržby a zmluvné obmedzenia. Pracovný postup verejného rozhodovania má obmedzenia zákona, dôkazov, odvolania, spravodlivosti a dokumentácie. Finančný pracovný postup má obmedzenia rizika, likvidity, súladu a časovania. Ľudia mnohé z nich zvládajú zo zvyku. Softvér ich potrebuje mať dostatočne explicitné, aby mohol fungovať.
Samotný akt zapisovania obmedzení je nepríjemný, pretože odhaľuje, čo organizácia skutočne myslí. Chceme najrýchlejšiu trasu, alebo najrýchlejšiu trasu, ktorá rešpektuje časy odpočinku. Chceme najlacnejší plán, alebo najlacnejší plán, ktorý zachováva záložný variant. Chceme najvyššiu konverziu, alebo najvyššiu konverziu bez zavádzania ľudí. Chceme, aby model odpovedal, alebo chceme, aby odmietol, keď je záznam neúplný. Obmedzenie je malý morálny pohovor prezlečený za inžinierstvo.
Dobré obmedzenia nerobia systémy rigidnými v zlom zmysle. Robia flexibilitu bezpečnou. Keď riešiteľ pozná pevné hranice, môže v nich agresívne prehľadávať. Dokáže nájsť kombinácie, ktoré by človek prehliadol. Dokáže sa prispôsobiť narušeniam. Dokáže vymeniť náklady za čas alebo kvalitu za energiu, pričom zachováva nezanedbateľné položky. Bez obmedzení sa flexibilita stáva improvizáciou s dashboardom.
Je v tom remeslo. Niektoré obmedzenia sú tvrdé a nikdy by sa nemali porušiť. Niektoré sú mäkké a stávajú sa sankciami. Niektoré sú neisté a potrebujú rezervy. Niektoré sú právne. Niektoré sú fyzické. Niektoré sú etické. Niektoré sú len preferencie oblečené do vážneho kabáta. Ak inžiniersky tím tieto veci pomieša, riešiteľ môže optimalizovať nesprávnu vec s pôsobivou disciplínou. Počítače nie sú tvrdohlavé, pretože sú zlomyseľné. Sú tvrdohlavé, pretože sme sa pýtali zle.
Ciele nie sú hodnoty
Cieľová funkcia je časť, ktorá hovorí, čo znamená lepšie medzi prípustnými odpoveďami. Minimalizuj čas cestovania. Maximalizuj pokrytie. Zníž energiu. Vyváž zaťaženie. Zlepši recall. Zníž náklady. Udržuj fronty vyrovnané. To sú užitočné ciele. Samy osebe nie sú hodnotami. Hodnoty sídlia vo výbere obmedzení, sankcií, prahov, revíznych postupov a v rozhodnutí o tom, kedy by sa optimalizácia nemala spustiť vôbec.
Jednou z najstarších chýb v prevádzke umelej inteligencie je dať riešiteľovi úzky cieľ a potom sa čudovať, keď za týmto cieľom ide až do steny. Ak nemocnica optimalizuje využitie termínov bez dostatočných obmedzení týkajúcich sa cestovania pacientov, klinickej naliehavosti a zotavenia personálu, môže vytvoriť krásny rozvrh, ktorý všetkým uškodí. Ak pracovný postup zákazníckej podpory optimalizuje mieru vybavenia požiadaviek, môže sa naučiť rýchlo uzatvárať nesprávne veci. Ak model na odhaľovanie podvodov optimalizuje iba presnosť, môže ignorovať prípady, kde je škoda rozložená nerovnomerne. Riešiteľ robí svoju prácu. Otázka nebola dostatočne úprimná.
Užitočná umelá inteligencia preto považuje ciele za súčasť riadenia. Kto si vybral cieľ. Ktoré alternatívy sa zvažovali. Ktoré skupiny sú ovplyvnené. Ktoré obmedzenia sú pevné. Ktoré kompromisy sú viditeľné. Ktoré výstupy si vyžadujú ľudský úsudok. Ktoré metriky by odhalili škodu. Znie to manažérsky, ale je to aj technické. Ciele sú po nasadení kód. Zaslúžia si viac než jednu motivačnú vetu.
Riešitelia pomáhajú práve preto, že dokážu odhaliť kompromisy. Dokážu ukázať, že žiadny rozvrh neexistuje bez nadčasov, že náklady klesnú len vtedy, ak záložné riešenie zmizne, že vyšší cieľ citlivosti zvyšuje záťaž pri kontrole, alebo že politika vytvára nemožné kombinácie. Plynulý model môže toto nepohodlie zahladiť. Dobrý riešiteľ robí nepohodlie čitateľným.
Niekedy je najlepšou odpoveďou žiadna odpoveď
Užitočné systémy potrebujú dôstojný spôsob zlyhania. Trasu nemožno dokončiť. Dôkazy sú nedostatočné. Pravidlá politiky si odporujú. Požadovaný rozvrh porušuje kapacitu. Optimalizácia by prekročila hranicu rizika. Obmedzenia nie sú splniteľné. Toto nie sú trápne výstupy. Sú to cenné informácie, ak systém dokáže povedať, čo odpovedi bránilo a čo by sa muselo zmeniť.
Rozhranie založené iba na jazyku má pokušenie pokračovať v rozprávaní. Môže ponúkať alternatívy, zjemňovať neistotu alebo vytvárať najlepšiu možnú odpoveď, ktorá vyzerá nápomocne. Niekedy je to v poriadku. Niekedy je to nebezpečné. Riešiteľ môže ukotviť konverzáciu oddelením splniteľného, nesplniteľného, neznámeho a toho, čo je mimo rozsahu. Môže rozhraniu povedať, aby prestalo zdobiť neodpoveď. Toto je slušné správanie voči realite.
Z technického hľadiska na rozlíšení záleží, pretože každý stav si vyžaduje iný pracovný postup. „Uskutočniteľné“ môže pokračovať. „Neuskutočniteľné“ môže spustiť rokovanie alebo eskaláciu. „Neznáme“ môže spustiť ďalšie údaje, dlhšie vyhľadávanie alebo ľudské posúdenie. „Mimo rozsahu“ môže spustiť odmietnutie. Ak sa všetko zmení na odsek, prevádzka stratí stavy, ktoré potrebuje na konanie. Rozhranie sa vyhladí, ale organizácia oslepne.
Schopnosť vysvetliť zlyhanie je obzvlášť užitočná. Ktoré obmedzenie zablokovalo plán. Ktoré chýbajúce pole znemožnilo vyhodnotenie. Ktoré pravidlo je v konflikte s ktorým iným pravidlom. Ktorý zdroj by bolo potrebné zvýšiť. Ktorý predpoklad sa zmenil. Toto vysvetlenie je menej poetické ako vygenerované odôvodnenie, ale oveľa použiteľnejšie. Hovorí ľuďom, čo sa dá zmeniť a čo by sa nemalo meniť len preto, že stretnutie chce súhlas.
Dôkazy menia riešič na prevádzkový komponent
Výsledok riešiča je hodnotnejší, keď nesie dôkazy. V niektorých oblastiach sú tieto dôkazy certifikátom dôkazu. V iných ide o optimalizačnú stopu, súbor záväzných obmedzení, správu o uskutočniteľnosti, analýzu citlivosti alebo záznam o opakovateľnom spustení. Spoločnou vlastnosťou je, že výsledok možno neskôr overiť bez toho, aby každý musel dôverovať tomu istému stroju v rovnakej nálade.
Tu sa riešiče stretávajú so správou. Rozhodovací systém by nemal len povedať, že plán je optimálny alebo uskutočniteľný. Mal by zachovať vstupy, verzie, obmedzenia, cieľ, konfiguráciu riešiča, kritériá zastavenia, vybraný výsledok, prípadne zamietnuté alternatívy a ľudskú činnosť, ktorá nasledovala. Ak sa zákazník, pacient, regulátor, operátor alebo budúci inžinier opýta prečo, organizácia by nemala musieť rekonštruovať rozhodnutie z troch dashboardov a pamäte jedného kolegu.
Dôkazy tiež pomáhajú pri ladení. Ak je plán zlý, bol zlý cieľ, neúplné obmedzenia, zastarané údaje, zle nakonfigurovaný riešič, chybný preklad modelu alebo nemožná ľudská požiadavka. Bez záznamov sa každé zlyhanie stane folklórom. So záznamami môže tím opraviť správnu vrstvu. To je menej vzrušujúce ako obviňovanie AI všeobecne, ale má lepšiu mieru opráv.
Riešič by sa preto mal považovať za prvotriedny prevádzkový komponent. Potrebuje pozorovateľnosť, testy, verzovanie, výkonnostné rozpočty, správanie pri zlyhaní a cesty na preskúmanie. Potrebuje validáciu vstupov. Potrebuje časové limity. Potrebuje spôsob, ako čestne vrátiť čiastočné výsledky. Potrebuje monitorovanie prípadov, keď sa produkčné problémy odchýlia od benchmarkovej sady. Riešič skrytý za veselým rozhraním je stále infraštruktúra. Infraštruktúra si užíva, že je ignorovaná, kým nemá dostatočný vplyv.
Modely a riešiče potrebujú inú pokoru
Model by mal byť pokorný voči pravde. Môže byť nesprávny, neúplný, príliš sebavedomý, nedostatočne špecifikovaný alebo mimo svojho tréningového rozdelenia. Riešič by mal byť pokorný voči formulácii. Môže dokonale vyriešiť stanovený problém, zatiaľ čo stanovený problém je slabým opisom toho skutočného. Toto sú rôzne spôsoby zlyhania a užitočná AI rešpektuje oba.
Model môže nesprávne pochopiť požiadavku. Riešič môže optimalizovať nesprávny cieľ. Dáta môžu byť zastarané. Obmedzenia môžu vynechať spoločenské pravidlo, ktoré každý považoval za samozrejmé. Cieľ môže zakódovať náhradnú veličinu, ktorá sa páči vedeniu viac ako používateľom. Výstup môže byť matematicky správny a prevádzkovo neprijateľný. Vyspelý systém nepredstiera, že jedna zložka dokáže absorbovať všetky tieto riziká. Udržiava hranice viditeľné.
Preto si preklad medzi jazykom a štruktúrou zaslúži kontrolu. Ak model premení požiadavku manažéra na problém pre riešič, preklad by mal byť kontrolovateľný. Ktoré premenné boli vytvorené. Ktoré obmedzenia boli odvodené. Ktoré obmedzenia chýbali. Ktorý cieľ bol zvolený. Ktorá nejednoznačnosť bola ticho vyriešená. Skrytá prekladová vrstva je len ďalšia čierna skrinka s lepšou gramatikou.
Ľudskí experti tu stále zohrávajú úlohu, ale nie ako dekoratívni schvaľovatelia. Vedia, ktoré obmedzenia sú skutočné, ktoré pravidlá sa ohýbajú, ktoré výnimky sú nebezpečné a ktoré ciele vytvárajú zvrátené stimuly. Dobrý systém podporený riešičom dáva expertom páku. Nežiada ich, aby požehnali odpoveď po tom, čo stroj už urobil dôležité rozhodnutia neviditeľnými.
Staré stroje nie sú staromódne
V technológii existuje zvyk považovať staršie metódy za zastarané, len čo sa novšia metóda stane módnou. Toto je detinské, ale s krajšími fontmi. SAT riešiče, SMT riešiče, zmiešané celočíselné programovanie, programovanie s obmedzeniami, plánovacie systémy, prehľadávanie grafov, dokazovanie teorém a riadiace metódy zostávajú ústredné, pretože mnohé problémy majú stále štruktúru. Štruktúra môže byť skrytá pod chatovým rozhraním, ale nezmizla.
V skutočnosti moderná AI robí riešiče dôležitejšími. Keď modely generujú viac kandidátskych akcií, niekto ich musí skontrolovať. Keď agenti volajú nástroje, niekto musí rozhodnúť, ktoré sekvencie sú povolené. Keď vyhľadávanie produkuje zdroje, niekto musí vyriešiť konflikty. Keď automatizované pracovné postupy zasahujú do politiky, niekto musí presadzovať obmedzenia. Keď syntetické plány vyzerajú hodnoverne, niekto sa musí opýtať, či spĺňajú skutočný svet. Riešiče nie sú nostalgia. Sú vrstvou dospelého dohľadu pre systémy, ktoré teraz dokážu rýchlo navrhnúť mnoho vecí.
Zmyslom nie je nahradiť neurónové modely symbolickými strojmi. Zmyslom je komponovať. Nechajme modely zvládať nejednoznačnosť, jazyk, vnímanie a chaotický kontext. Nechajme riešiče zvládať explicitnú uskutočniteľnosť, optimalizáciu, dôkaz a ohraničené prehľadávanie. Nechajme pravidlá niesť politiku tam, kde politika musí byť presná. Nechajme ľudí vlastniť účel, úsudok a výnimky. Hranica sa bude líšiť podľa domény, ale princíp je stabilný: nežiadajte plynulé stroje, aby robili prísnu prácu bez prísneho partnera.
Tímy, ktoré to chápu, budujú tichšie systémy. Ukážka môže vyzerať menej magicky, pretože odpoveď niekedy povie nemožné. Prevádzka bude lepšia, pretože nemožné je presne to, čo tím potreboval vedieť pred sľubom poludňajšieho doručenia, automatického schválenia alebo skóre rizika, ktoré niekto bude považovať za osud.
Latencia, náklady a každodenná povaha riešenia
Riešiče tiež robia AI praktickou v malých detailoch. Riešič, ktorému to trvá štyri hodiny, môže byť vynikajúci pre strategické plánovanie a nepoužiteľný pre živú dispečerskú obrazovku. Heuristika, ktorá vráti dostatočne dobrú trasu za dve sekundy, môže v prevádzke poraziť presný riešič. Riešič produkujúci dôkazy môže byť nevyhnutný pre rozhodnutia s vysokými stávkami a zbytočný pre objednávky obedov, dokonca aj v organizáciách, ktoré berú sendviče veľmi vážne.
Inžinierstvo je plné takýchto rozhodnutí. Presnosť, rýchlosť, využitie pamäte, vysvetliteľnosť, energia a zložitosť implementácie si navzájom konkurujú. Správny solver pre dávkový audit nemusí byť správnym solverom pre smerovanie v reálnom čase. Lokálna vyhľadávacia metóda môže byť vhodná, keď sú náklady na suboptimálne riešenie nízke. Úplná metóda môže byť potrebná, keď odmietnutie prináša právne alebo bezpečnostné dôsledky. Užitočná AI nevzniká uctievaním jednej techniky. Vzniká priraďovaním techniky k dôsledkom.
Tu benchmarky potrebujú čestnosť. Benchmark solvera by mal odrážať skutočné rozdelenie problémov, nielen upravené príklady. Mal by zahŕňať neriešiteľné prípady, nečisté vstupy, časové limity, okrajové obmedzenia a meniace sa dáta. Mal by uvádzať nielen priemernú rýchlosť, ale aj spôsoby zlyhania. Systém, ktorý je rýchly na priateľských prípadoch a tichý na škaredých, nebol otestovaný. Bol polichotený.
Záleží aj na nákladoch. Solver môže znížiť výpočtovú záťaž orezaním vyhľadávania skôr, než je veľký model požiadaný o uvažovanie. Môže sa vyhnúť opakovanej inferencii ukladaním štruktúrovaných výsledkov do vyrovnávacej pamäte. Môže rozhodnúť, kedy stačí malý model a kedy je opodstatnený väčší model. Tiché mechanizmy za užitočnou AI sú často aj mechanizmami za cenovo dostupnou AI. Finančné oddelenia málokedy tlieskajú, ale faktúry si všimnú.
Slučka po nasadení
Systém AI podporovaný solverom nie je hotový, keď vráti prvú správnu odpoveď. Skutočná práca sa mení. Objavujú sa nové obmedzenia. Staré obmedzenia sa stávajú nepravdivými. Ľudia sa systému prispôsobujú. Dátové potrubia sa odchyľujú. Politiky menia názvy, pretože niekto objavil šablónu. Solver stále rieši, ale zadanie problému mohlo potichu expirovať.
Operačné slučky udržiavajú systém čestný. Sledujte miery neriešiteľnosti, miery časových limitov, dôvody prepísania, záväzné obmedzenia, skóre objektívnej funkcie, aktuálnosť dát, segmenty dotknutých používateľov a prípady, keď ľudia odmietnu výsledok. Preskúmajte, či obmedzenia zostávajú úplné. Prehodnoťte ciele, keď sa zmenia stimuly. Otestujte, či preklad z modelu do solvera stále zachytáva požiadavku. Porovnajte predpokladané kompromisy so skutočnými výsledkami. Solver môže byť matematicky seriózny a operačne zastaraný. Obe veci môžu byť pravdivé, pretože realita má svoj rozsah.
Slučka by mala zachovávať aj učenie sa z odmietnutia. Keď systém povie, že neexistuje žiadny realizovateľný rozvrh, čo sa stalo potom. Pridali ľudia kapacitu, zmenili politiku, uvoľnili preferenciu, objavili zlé dáta alebo tlačili na niekoho, aby ignoroval obmedzenie. Tieto výsledky učia, či systém vyjadruje realitu alebo len blokuje prácu. Odmietnutie bez preskúmania sa stáva prekážkou. Odmietnutie s dôkazmi sa stáva manažérskou informáciou.
Rovnako ako pri každom serióznom systéme, aj tu záleží na vlastníctve. Niekto musí vlastniť formuláciu, niekto dáta, niekto výkon solvera, niekto rozhranie a niekto prevádzkovú politiku. Ak každý vlastní užitočnú AI všeobecne, nikto nevlastní obmedzenie, ktoré zlyhalo v utorok. V utorok sa systémy stávajú čestnými.
Tichý záver
Obľúbený obraz umelej inteligencie je model, ktorý hovorí. Užitočný obraz je často systém, ktorý rozhoduje, čo môže byť pravda, čo je preferované, čo je nemožné a aké dôkazy by mali sprevádzať odpoveď. Riešitelia sú súčasťou tohto obrazu. Nie sú okázalí, ale sú mimoriadne dobrí v tom, aby systémy boli menej vágne.
Nútia tímy pomenovať obmedzenia, ciele, kompromisy a stavy zlyhania. Dávajú jazykovým modelom prísnejšieho partnera. Umožňujú systémom odmietnuť s odôvodnením namiesto improvizácie so sebavedomím. Odhaľujú, keď požadovaný výsledok nemôže koexistovať so stanovenými pravidlami. Vytvárajú záznamy, ktoré môžu budúci ľudia preskúmať. Toto nie je celá užitočná umelá inteligencia, ale je to jedna z častí, ktorá najpravdepodobnejšie zabráni tomu, aby sa užitočná umelá inteligencia stala len zdanlivo užitočnou.
Dodávka pred poludním môže stále zlyhať. Dopravná nehoda môže pokaziť dobrý plán. Dok sa môže zatvoriť. Zákazník môže zmeniť objednávku. Ale systém podporovaný riešiteľom zlyháva inak. Dokáže povedať, ktorý predpoklad sa porušil, ktoré obmedzenie sa stalo záväzným a aké možnosti zostávajú. To je druh zlyhania, s ktorým môže prevádzka pracovať.
Tichý mechanizmus si zaslúži viac pozornosti práve preto, že je tichý. Nie vždy napíše vetu na obrazovku. Rozhoduje, či tam veta vôbec má byť.