Umjetna inteligencija treba manje magije, a više nadzora
Odgovor koji je stigao bez prtljage
Prvi je odgovor djelovao dojmljivo. Sažeo je dugi spis predmeta, prepoznao vjerojatni smjer politike, sastavio odgovor i zvučao kao da je jutro proveo u urednoj sobi mirne savjesti. Voditelju se svidio. Recenzentici se svidio manje. Pitala je odakle dolazi izvorni odlomak, koja je verzija politike korištena, je li napomena kupca bila vidljiva modelu i zašto je preporuka preskočila iznimku koja je obično bila važna. Prostorija je imala odgovor. Nije imala njegovu prtljagu.
Ta nestala prtljaga je problem. Izlaz umjetne inteligencije prošao je kroz upite, dohvat, rangiranje, zaključivanje modela, naknadnu obradu i korisničko sučelje. Usput je dotaknuo dokumente, prava pristupa, predmemorirane isječke, dopuštenja alata, upute sustava i ljudski tijek rada. Dok je odgovor stigao na zaslon, veći dio tog putovanja bio je nevidljiv. Organizacija se mogla diviti rezultatu, ali ga nije mogla pravilno zadržati. Nije mogla reći koje su činjenice prenesene, koje su isključene, koje je pravilo obvezivalo izlaz, koja ga je osoba prihvatila ili koji će zapis preživjeti sastanak.
Zato umjetna inteligencija treba manje magije, a više skrbništva. Razmišljanje u magiji tretira model kao događaj. Pitanje uđe, inteligencija se dogodi, odgovor izađe. Razmišljanje u skrbništvu tretira model kao jednog rukovatelja u lancu. Lanac ima ulaze, prava, transformacije, odgovornosti, odluke o pohrani i izlaze. Pita se tko smije nešto držati, u koju svrhu, pod kojim ograničenjima, koliko dugo, s kakvim dokazom i s kakvim lijekom kad se lanac prekine.
Skrbništvo nije hladnija riječ za kontrolu. To je briga s potvrdom. Muzej ne posjeduje svaki predmet koji čuva. Ured za evidenciju ne izmišlja svaki zapis koji čuva. Laboratorij ne čini uzorak istinitijim označavanjem, ali oznaka odlučuje može li se rezultat kasnije vjerovati. Sustavi umjetne inteligencije trebaju iste zrele navike. Rukuju tuđim podacima, institucionalnim autoritetom, izlazima modela i odlukama koje mogu nadživjeti sučelje. Malo manje sjaja, malo više lanca skrbništva. Neće dati bolji ključni govor. Dat će bolji sustav.
Magija je skup operativni model
Magija je privlačna jer uklanja trenje iz priče. Zahtjevan postupak postaje upit. Slaba baza znanja postaje problem s mogućnostima modela. Nedostatak vlasnika postaje automatizacija. Nejasno pravilo postaje uputa da se bude oprezan. Sustav djeluje funkcionalno jer model može proizvesti tečan jezik preko praznina koje bi zaustavile običan softver. Tečnost je korisna. Ona je također darovita maska nedovršenog upravljanja.
U uobičajenom radu, praznine imaju rubove. Polje koje nedostaje ruši obrazac. Loš kod ne prolazi provjeru valjanosti. Pogreška dopuštenja blokira pristup. U AI operacijama, praznina se može pretvoriti u prozu. Model može odgovoriti zaobilazeći nedostatak dokaza, zaključiti namjeru iz dvosmislenog jezika, ublažiti proturječnosti i vratiti odlomak koji izgleda cjelovito. To je moćno kada je zadatak niskog rizika i korisnik može procijeniti. Opasno je kada odlomak postane površina za odlučivanje, revizijski zapis, obećanje kupcu, klinička bilješka, pravna preporuka ili put prema alatu.
Magija je također skupa jer odgađa odgovornost. Ako nitko ne zna koji je izvor korišten, trošak stiže tijekom ispravka. Ako nitko ne zna koja je verzija upita oblikovala odgovor, trošak stiže tijekom evaluacije. Ako nitko ne zna koji je poziv alata promijenio stanje, trošak stiže tijekom odgovora na incident. Ako nitko ne zna koji su izvedeni podaci zadržani, trošak stiže tijekom brisanja, otkrivanja ili sudskog spora. Model je bio brz. Organizacija kasnije postaje spora, obično s više ljudi u prostoriji i gorom kavom.
Skrbništvo čini skrivene troškove vidljivima ranije. Ono kaže da sustav mora znati što posjeduje. Mora povezati podatke sa svrhom. Mora čuvati dokaze bez gomilanja svega. Mora odvojiti nacrt od odluke. Mora zabilježiti tko je pustio rezultat u svijet. Mora znati kako ispraviti ili povući artefakte. To zvuči dosadno jer je to dio koji sprječava da glamur postane odgovornost. Postoje gore stvari od dosade. Jedna od njih je samouvjeren odgovor koji nitko ne može pratiti.
Skrbništvo nad podacima nije kazalište vlasništva nad podacima
Mnoge organizacije govore o vlasništvu nad svojim podacima. Vlasništvo nije beskorisno, ali je pregrubo za AI upravljanje. Tim može posjedovati skup podataka, a i dalje imati loše skrbništvo. Možda ne zna gdje se nalaze kopije, koje su ugrađene reprezentacije izvedene, koji su upiti uključivali osjetljive ulomke, koji sažeci preživljavaju u bilješkama o slučaju, koji zapisnici sadrže osobne podatke ili koji rezultat modela u nastavku sada nosi činjenicu iz izvora koji je kasnije ispravljen. Vlasništvo kaže čije je sredstvo. Skrbništvo pita što se s njim dogodilo.
AI stvara više objekata skrbništva nego tradicionalne aplikacije. Postoji izvorni dokument. Postoje raščlanjeni dijelovi. Postoje ugrađene reprezentacije. Postoje dohvaćeni ulomci. Postoje sastavljeni upiti. Postoje generirani nacrti. Postoje izmjene recenzenata. Postoje argumenti poziva alata. Postoje objašnjenja, ocjene, klasifikacije i događaji revizije. Neki su privremeni. Neki postaju zapisi. Neki bi se trebali brzo izbrisati. Neki se moraju zadržati. Neki se moraju odvojiti od putanje posluživanja modela. Tretirati sve to kao jednu hrpu zvanu podaci prikladan je način da se uljudno izgubi kontrola.
Dobro skrbništvo razlikuje posjedovanje, upotrebu, izvođenje, objavu i zadržavanje. Sustav može posjedovati zapis, ali ga ne koristiti za svrhu. Može koristiti izvor za dohvat, ali ne pohranjivati ulomak u rezultat. Može generirati sažetak, ali ga označiti kao neautoritativan. Može objaviti konačan odgovor dok zadržava samo identifikatore i hash vrijednosti kao dokaz. Može voditi revizijski trag pod ograničenim pristupom dok briše radni kontekst. Te razlike nisu pravni ukras. One su način na koji AI sustavi ostaju odgovorni bez pretvaranja u nadzorne strojeve s boljom tipografijom.
Teži dio je to što skrbništvo prelazi organizacijske granice. Vlasnici podataka, modelarski timovi, platformski timovi, pravni timovi, operateri, dobavljači i revizori svi dodiruju dijelove lanca. Ako skrbništvo živi samo u dokumentaciji jednog tima, propast će pri primopredaji. Zapis treba dijeljene identifikatore, definicije uloga, pravila zadržavanja i putove dokaza koji preživljavaju timske granice. U suprotnom, svaki incident postaje lov na blago s pozivnicama za sastanke.
I upiti trebaju skrbništvo
Upiti se često tretiraju kao potrošni tekst, negdje između konfiguracije i uredskih tračeva. To je razumljivo u eksperimentima. Opasno je u produkciji. Upit može sadržavati tumačenja politika, skrivene primjere, pravila tona, uvjete odbijanja, dopuštenja za alate, logiku eskalacije i osjetljiv kontekst. Može promijeniti način na koji model koristi dokaze. Može promijeniti zvuči li izlaz okvirno ili konačno. Može promijeniti hoće li ljudski recenzent vidjeti nesigurnost. Upit nije samo formulacija. To je operativna uputa.
Skrbništvo nad upitima znači verzioniranje upita, imenovanje njihove svrhe, bilježenje koje je izlaze oblikovalo, ograničavanje tko ih može mijenjati, testiranje promjena na poznatim slučajevima i čuvanje dovoljno povijesti za objašnjenje prošlog ponašanja. Također znači odvajanje trajnih politika od formulacije upita. Ako poslovno pravilo postoji samo unutar upita, organizacija je pretvorila upravljanje u odlomak s pravima implementacije. Odlomci su korisni. Nisu sjajno mjesto za skrivanje ovlasti.
Skrbništvo nad upitima također zahtijeva poniznost u pogledu curenja upita i odstupanja upita. Upit može biti kopiran u tiket, uređen od strane tima dobre namjere, ugrađen u postavke dobavljača ili zakrpan tijekom incidenta. Male promjene mogu promijeniti odbijanja, ton, korištenje izvora i pozive alata. Bez skrbništva, organizacija ne može reći je li model postao lošiji, je li se izvor promijenio ili se uputa pomaknula. Tada će izvesti tradicionalni ritual svađanja oko dojmova dok uzrok čeka vani.
To ne znači da svaka izmjena upita treba odbor. Upravljanje treba odgovarati riziku. Pomoćni alat za pisanje niskog rizika može imati lakše kontrole od upita koji oblikuje preporuke o podobnosti. Ali čak i lake kontrole trebaju zapis. Tko ga je promijenio. Zašto. Koji su testovi pokrenuti. Koja ruta ga koristi. Kada ga treba pregledati. Skrbništvo nad upitima nije birokracija radi birokracije. To je razlika između operativnog učenja i arheologije upita.
Alati pretvaraju skrbništvo u djelovanje
Pitanje skrbništva postaje oštrije kada modeli mogu pozivati alate. Generirani odlomak može dovesti u zabludu. Poziv alata može promijeniti svijet. Može ažurirati zapis, poslati e-poštu, stvoriti zahtjev, odobriti transakciju, otključati pristup, izbrisati sadržaj ili pokrenuti tijek rada. Čim model prijeđe iz prijedloga u djelovanje, skrbništvo mora uključivati dopuštenja, provjeru argumenata, prijelaze stanja, idempotentnost, potvrde i vraćanje na prethodno stanje. Izlaz modela više nije samo sadržaj. To je predloženi čin.
Skrbništvo nad alatima počinje uskom ovlasti. Model ne bi trebao dobiti široko pravo pisanja samo zato što uputa kaže da će se ponašati primjereno. Pristupnik bi trebao znati koji se alat smije pozvati, tko ga poziva, za koji zadatak, s kojim argumentima i pod kojim uvjetima dokaza. Neki pozivi trebaju ljudsko odobrenje. Neki bi trebali biti samo za čitanje. Neki bi trebali biti nemogući. Tipizirana granica alata manje je glamurozna od demonstracije autonomnog rada. No nju je također mnogo lakše objasniti regulatoru, kupcu ili umornom inženjeru u 02:00.
Skrbništvo nad alatima također znači da sustav može rekonstruirati što se dogodilo. Koji je izlaz predložio poziv. Koji su ga dokazi podupirali. Koji je korisnik ili uloga odobrila. Koje se stanje promijenilo. Koji je vanjski sustav potvrdio. Koja kompenzacijska radnja postoji ako je bilo pogrešno. Bez tog zapisa autonomno djelovanje postaje gubitak institucionalnog pamćenja strojnom brzinom. Djelovanje se dogodilo. Objašnjenje postaje grupni projekt.
Postoji jednostavno pravilo koje vrijedi zadržati: što više AI sustav može promijeniti, skrbništvo mora biti jače. Za pisanje odlomka potrebno je skrbništvo nad izvorom i uputom. Za rangiranje reda čekanja potrebno je skrbništvo nad podacima, politikom i žalbama. Za pozivanje alata za pisanje potrebno je skrbništvo nad transakcijom. Za utjecaj na prava, novac, zdravlje, pristup ili sigurnost potrebno je ozbiljno skrbništvo duž cijelog lanca. Riječi autonomija ne bi smjelo biti dopušteno da lebdi iznad tih razlika poput balona na sajmu nabave.
Čuvanje podataka dio je inteligencije
AI timovi često se usredotočuju na ono što sustavi znaju. Skrbništvo također postavlja pitanje što bi sustavi trebali zaboraviti. Čuvanje podataka nije administrativna naknadna misao. Ono oblikuje rizik, odgovornost, privatnost i učenje. Ako se radni kontekst izbriše prebrzo, organizacija ne može objasniti odluke. Ako se čuva predugo, organizacija prikuplja osjetljiv materijal bez stvarne svrhe. Ako se izvedeni artefakti ne prate, brisanje postaje teatar. Ako konačni zapisi nemaju podrijetlo, čuvanje postaje ladica puna samouvjerenih fragmenata.
Pravi dizajn zadržavanja odvaja slojeve. Sirovi upiti mogu biti kratkotrajni ili anonimizirani. Identifikatori izvora mogu se čuvati dulje od samog teksta izvora. Konačni zapisi o odlukama mogu se zadržati prema zakonskim pravilima. Revizijski hashovi mogu preživjeti brisanje sadržaja. Primjeri za evaluaciju mogu biti anonimizirani. Potvrde o alatima mogu zahtijevati zadržavanje na razini transakcije. Dizajn ovisi o riziku i svrsi. Ključno je da zadržavanje bude namjerno, a ne ono što je sustav za bilježenje slučajno napravio prvog dana rada.
Za umjetnu inteligenciju zaboravljanje je tehnički nezgodno jer se činjenice mogu kopirati u sažetke, vektorske zapise, predmemorije, tickete, snimke zaslona, izvoze i skupove za treniranje. Nadzor nad podacima ne rješava to pretvaranjem da je brisanje jednostavno. Rješava to tako što zna gdje se stvaraju izvedeni artefakti, koji od njih nose osobne ili osjetljive sadržaje, kako se oni mogu poništiti te koji zapisi moraju pokazati da je poništenje provedeno. Fraza obriši podatke nije plan. To je uvodna rečenica.
Postoji i napetost oko učenja. Organizacije žele zadržati primjere kako bi poboljšale sustav. Ljudi imaju prava na ispravak, brisanje, povjerljivost i pošteno postupanje. Nadzor je način na koji se ti interesi usklađuju bez paušalnih obećanja. Zadržite dovoljno za učenje i odgovornost. Uklonite ili odvojite ono što nije potrebno. Čuvajte dokaz o ispravku. Povucite zastarjele primjere. Nemojte trenirati na materijalu samo zato što je ležao naokolo i izgledao poučno. Ta posljednja navika prouzročila je više problema s upravljanjem nego što će mnogi strateški dokumenti ikada priznati.
Nadzor čini ljude više od pukih potpisnika
Ljudski nadzor je slab kada ljudi dobiju odgovor bez konteksta nadzora. Recenzent vidi uglađen tekst i zeleni pokazatelj pouzdanosti. Ne vidi svježinu izvora, isključene dokumente, verziju upita, sukob u dohvaćanju, ovlasti alata ili prethodne ispravke. Od njega se traži da odobri odgovor, ali mu nije dan lanac. To nije nadzor. To je ceremonija s gumbom.
Nadzor daje ljudima materijale potrebne za prosudbu. Pokazuje što je sustav koristio, što nije koristio, što mu je bilo dopušteno, koja neizvjesnost ostaje, koja se radnja predlaže i što će biti zabilježeno ako čovjek odobri. Omogućuje recenzentu da se ne složi na način iz kojeg sustav može učiti. Omogućuje nadređenom da pregleda obrasce. Omogućuje pogođenoj osobi da ospori ishod. Omogućuje revizoru da rekonstruira ponašanje bez intervjuiranja pola organizacije i jednog umirovljenog konzultanta.
Također štiti ljude od toga da budu okrivljeni za dvosmislenost sustava. Ako je recenzent odobrio izlaz bez pristupa izvoru jer ga je sučelje sakrilo, to je greška u dizajnu. Ako je tim vjerovao modelu jer je sustav označio nacrt kao spreman, to je greška u nadzoru. Ako operater nije mogao izbrisati izvedeni materijal jer ga nitko nije pratio, to nije moralna slabost operatera. Nadzor dodjeljuje odgovornost lancu, a ne samo najbližoj osobi koja drži rezultat kada nešto pođe po zlu.
Dobar nadzor stoga čini ljudski autoritet stvarnijim. Ne zatrpava ljude zapisima. Pakira dokaze na pravoj razini. Korisnik na prvoj liniji možda treba nazive izvora, svježinu i razlog odbijanja. Specijalist možda treba dublji trag. Revizor možda treba potpisane zapise. Službenik za zaštitu podataka možda treba povijest zadržavanja i pristupa. Nadzor je slojevit jer je odgovornost slojevita. Bacati sve zapise na sve nije transparentnost. To je konfeti od dokumenata.
Nadzor je operativna petlja
Nadzor nije jednokratni arhitektonski dijagram. To je petlja. Novi slučaj uporabe se klasificira. Podaci i artefakti koje će obrađivati se imenuju. Prava i svrhe se povezuju. Sustav radi unutar tih granica. Izlazi i radnje se potvrđuju. Iznimke se pregledavaju. Ispravci ažuriraju lanac. Artefakti se zadržavaju, anonimiziraju ili povlače. Petlja se ponavlja kada se promijene politika, modeli, dobavljači, podaci ili rad.
Ovaj je krug važan jer se AI sustavi mijenjaju. Mijenja se verzija modela. Ponovno se izgrađuje indeks za pretraživanje. Ažurira se pravila. Dobavljač mijenja postavke zadržavanja podataka. Novi tim kopira upit. Alat dobiva novu dozvolu. Pomoćnik niskog rizika postaje dio radnog tijeka odlučivanja. Bez kruga skrbništva svaka promjena postaje mali nezabilježeni bijeg. Nakon godinu dana organizacija ima sustav koji i dalje radi, ali više ne odgovara priči o upravljanju. To je uobičajeno. Ali nije sudbina.
Za upravljanje skrbništvom potrebni su vlasnici. Netko je vlasnik izvora ovlasti. Netko je vlasnik verzija upita. Netko je vlasnik odobrenja modela. Netko je vlasnik pristupnika alata. Netko je vlasnik zapisa i zadržavanja podataka. Netko je vlasnik putova ispravka. Ti vlasnici ne moraju biti u jednom odjelu, ali njihove se odgovornosti moraju susresti. Inače skrbništvo postaje shema na zidu sa strelicama koje vode u maglu, žanr koji je već previše zastupljen u digitalnoj transformaciji.
Pouka
AI treba manje magije, a više skrbništva jer organizacije ne upravljaju čudima. One upravljaju zapisima, pravima, alatima, ljudima, svrhama i promjenama. Model može biti izvanredan, ali institucija ostaje odgovorna za ono što je sustav držao, transformirao, objavio, pohranio, ispravio i zaboravio. Tretirati odgovor kao izvedbu nije dovoljno. Odgovor treba lanac.
Skrbništvo ne znači zamrzavanje AI-ja pod birokracijom. Ono omogućuje ozbiljnu uporabu. Timovima daje povjerenje da se podaci koriste u pravu svrhu, da su upiti verzionirani, da su alati ograničeni, da ljudi dobivaju dokaze, da zapisi preživljavaju i da se artefakti povlače kada njihova svrha završi. Organizacijama omogućuje automatizaciju bez pretvaranja da automatizacija ukida odgovornost. Omogućuje im učenje bez gomilanja. Omogućuje im objašnjavanje bez pretraživanja.
Praktični pomak je skroman i zahtjevan. Prestanite se pitati samo može li model odgovoriti. Pitajte što je sustav držao da bi proizveo odgovor, tko ga je smio obrađivati, što se promijenilo, što je zabilježeno, što se može osporiti i kada artefakti trebaju napustiti skrbništvo. To je manje čarobno. Dobro. Magija je loš okvir za kontrolu. Skrbništvo je tiše, teže i mnogo je vjerojatnije da će i dalje funkcionirati kada netko pita što se dogodilo.