AI potrebuje manj čarovnije in več skrbništva
Odgovor, ki je prispel brez prtljage
Prvi odgovor je bil videti odličen. Povzel je dolg spis, prepoznal verjetno politiko, osnutek odgovora in zvenel, kot da je dopoldne preživel v urejeni pisarni s čisto vestjo. Vodji je bil všeč. Pregledovalki manj. Vprašala je, od kod izvira izvorni odstavek, katera različica politike je bila uporabljena, ali je bil modelu viden zapis o stranki in zakaj je priporočilo izpustilo izjemo, ki je običajno pomembna. Prostor je imel odgovor. Ni pa imel njegove prtljage.
Ta manjkajoča prtljaga je težava. Izhod umetne inteligence je potoval skozi pozive, pridobivanje, razvrščanje, sklepanje modela, naknadno obdelavo in uporabniški vmesnik. Na poti se je dotaknil dokumentov, pravic dostopa, predpomnjenih delov, dovoljenj za orodja, sistemskih navodil in človeškega delovnega toka. Ko je odgovor prišel na zaslon, je bil večji del te poti neviden. Organizacija je lahko občudovala rezultat, a ga ni mogla ustrezno nadzorovati. Ni mogla povedati, katera dejstva so bila prenesena, katera izključena, katero pravilo je zavezovalo izhod, katera oseba ga je sprejela ali kateri zapis bo preživel sestanek.
Zato umetna inteligenca potrebuje manj čarovnije in več skrbništva. Čarobno razmišljanje obravnava model kot dogodek. Vprašanje vstopi, inteligenca se zgodi, odgovor pride ven. Skrbniško razmišljanje obravnava model kot enega od obravnavalcev v verigi. Veriga ima vhode, pravice, preobrazbe, odgovornosti, odločitve o shranjevanju in izhode. Sprašuje, kdo sme nekaj imeti, za kakšen namen, pod kakšnimi omejitvami, kako dolgo, s kakšnim dokazom in s kakšnim popravilom, ko se veriga prekine.
Skrbništvo ni hladnejša beseda za nadzor. Je skrb s potrdilom. Muzej ni lastnik vsakega predmeta, ki ga varuje. Arhiv ne izumlja vsakega zapisa, ki ga ohranja. Laboratorij z označevanjem vzorca ne naredi bolj resničnega, a oznaka odloča, ali je rezultatu mogoče pozneje zaupati. Sistemi umetne inteligence potrebujejo enake odrasle navade. Roko delajo s podatki drugih, institucionalno avtoriteto, izhodi modelov in odločitvami, ki lahko preživijo vmesnik. Malo manj iskric, malo več verige skrbništva. To ne bo naredilo boljšega govora. Naredilo bo boljši sistem.
Čarovnija je drag poslovni model
Čarobnost je privlačna, ker iz zgodbe odstrani trenje. Zahteven potek dela postane poziv. Šibka baza znanja postane težava z zmogljivostjo modela. Manjkajoči lastnik postane avtomatizacija. Nejaspno pravilo postane navodilo, naj bo uporabnik previden. Sistem deluje navidezno, ker lahko model ustvarja tekoči jezik čez vrzeli, ki bi ustavile običajno programsko opremo. Tekočnost je uporabna. Je pa tudi nadarjen prikrivalec nedokončanega upravljanja.
Pri običajnem delovanju imajo vrzeli robove. Manjkajoče polje pokvari obrazec. Napačna koda ne prestane preverjanja. Napaka pri dovoljenjih prepreči dostop. Pri delovanju z umetno inteligenco se vrzel lahko spremeni v prozo. Model lahko odgovarja mimo manjkajočih dokazov, sklepa o nameri iz dvoumnega jezika, blaži nasprotja in vrne odstavek, ki je videti popoln. To je močno, kadar je naloga nizko tvegana in jo uporabnik lahko presodi. Nevarno pa je, kadar odstavek postane podlaga za odločitev, revizijski zapis, obljuba stranki, klinični zapis, pravno priporočilo ali pot do orodja.
Čarobnost je tudi draga, ker prelaga odgovornost na pozneje. Če nihče ne ve, kateri vir je bil uporabljen, strošek nastopi med popravljanjem. Če nihče ne ve, katera različica poziva je oblikovala odgovor, strošek nastopi med vrednotenjem. Če nihče ne ve, kateri klic orodja je spremenil stanje, strošek nastopi med odzivanjem na incident. Če nihče ne ve, kateri izpeljani podatki so bili ohranjeni, strošek nastopi med izbrisom, razkritjem ali sodnim sporom. Model je bil hiter. Organizacija postane počasna pozneje, običajno z več ljudmi v prostoru in slabšo kavo.
Skrbništvo naredi skrite stroške vidne prej. Pravi, da mora sistem vedeti, kaj ima. Podatke mora vezati na namen. Dokaze mora ohranjati, ne da bi kopičil vse. Ločiti mora osnutek od odločitve. Zabeležiti mora, kdo je izdelek sprostil v svet. Vedeti mora, kako popraviti ali umakniti artefakte. To se sliši dolgočasno, ker je to del, ki preprečuje, da bi se glamur spremenil v odgovornost. Obstajajo slabše stvari od dolgočasnosti. Ena od njih je samozavesten odgovor, ki ga nihče ne more izslediti.
Skrbništvo nad podatki ni gledališče lastništva podatkov
Številne organizacije govorijo o lastništvu svojih podatkov. Lastništvo ni neuporabno, vendar je za upravljanje umetne inteligence preveč topo. Ekipa lahko lasti nabor podatkov in ima kljub temu slabo skrbništvo. Morda ne ve, kje so kopije, katere vdelave so bile izpeljane, kateri pozivi so vključevali občutljive odlomke, kateri povzetki so ohranjeni v zapiskih o primerih, kateri dnevniki vsebujejo osebne podatke ali kateri izhod modela v nadaljevanju nosi dejstvo iz vira, ki je bil pozneje popravljen. Lastništvo pove, čigavo sredstvo je. Skrbništvo vpraša, kaj se je z njim zgodilo.
Umetna inteligenca ustvari več predmetov skrbništva kot tradicionalne aplikacije. Obstaja izvirni dokument. Obstajajo razčlenjeni deli. Obstajajo vdelave. Obstajajo pridobljeni odlomki. Obstajajo sestavljeni pozivi. Obstajajo ustvarjeni osnutki. Obstajajo popravki pregledovalcev. Obstajajo argumenti klicev orodij. Obstajajo pojasnila, ocene, klasifikacije in dogodki revizije. Nekateri so začasni. Nekateri postanejo zapisi. Nekatere je treba hitro izbrisati. Nekatere je treba ohraniti. Nekatere je treba ločiti od poti strežbe modela. Obravnavati vse to kot eno gmoto, imenovano podatki, je priročen način, da vljudno izgubite nadzor.
Dobro skrbništvo razlikuje med posestjo, uporabo, izpeljavo, objavo in hrambo. Sistem lahko poseduje zapis, vendar ga ne uporablja za določen namen. Vir lahko uporablja za pridobivanje, vendar odlomka ne shrani v izhod. Lahko ustvari povzetek, vendar ga označi kot neavtoritativnega. Lahko objavi končni odgovor, medtem ko za dokaze ohrani le identifikatorje in zgoščene vrednosti. Revizijsko sled lahko hrani z omejenim dostopom, medtem ko delovni kontekst izbriše. Te razlike niso pravni okras. So način, kako sistemi umetne inteligence ostanejo odgovorni, ne da bi postali nadzorni stroji z boljšo tipografijo.
Težavni del je, da skrbništvo sega čez organizacijske meje. Lastniki podatkov, ekipe za modele, platformne ekipe, pravne ekipe, operaterji, dobavitelji in revizorji se vsi dotikajo delov verige. Če skrbništvo živi le v dokumentaciji ene ekipe, bo odpovedalo ob predaji. Zapis potrebuje skupne identifikatorje, opredelitve vlog, pravila hrambe in poti dokazov, ki preživijo ekipe. V nasprotnem primeru vsak incident postane lov na zaklad s povabili v koledar.
Skrbništvo potrebujejo tudi pozivi
Pozivi so pogosto obravnavani kot potrošno besedilo, nekje med konfiguracijo in pisarniškim tračem. To je razumljivo pri poskusih. Nevarno je v produkciji. Poziv lahko vsebuje razlage politik, skrite primere, pravila tona, pogoje zavrnitve, dovoljenja za orodja, logiko eskalacije in občutljiv kontekst. Lahko spremeni, kako model uporablja dokaze. Lahko spremeni, ali izhod zveni oklevajoče ali dokončno. Lahko spremeni, ali človeški pregledovalec vidi negotovost. Poziv ni le besedilo. Je operativno navodilo.
Skrbništvo nad pozivi pomeni različicenje pozivov, poimenovanje njihovega namena, beleženje, katere izhode so oblikovali, omejevanje, kdo jih lahko spreminja, preizkušanje sprememb na znanih primerih in ohranjanje dovolj zgodovine za razlago preteklega vedenja. Pomeni tudi ločevanje trajnih politik od besedila poziva. Če poslovno pravilo obstaja le znotraj poziva, je organizacija upravljanje spremenila v odstavek s pravicami za uvajanje. Odstavki so uporabni. Niso pa čudovit kraj za skrivanje pooblastil.
Skrbništvo nad pozivi zahteva tudi ponižnost glede uhajanja pozivov in odmikanja pozivov. Poziv je lahko kopiran v zahtevek, urejen s strani dobronamerne ekipe, vgrajen v nastavitve dobavitelja ali zakrpan med incidentom. Majhne spremembe lahko spremenijo zavrnitve, ton, uporabo virov in klice orodij. Brez skrbništva organizacija ne more ugotoviti, ali se je model poslabšal, vir spremenil ali se je navodilo premaknilo. Nato bo izvedla tradicionalni ritual prepiranja o občutkih, medtem ko glavni vzrok čaka zunaj prostora.
To ne pomeni, da vsako urejanje poziva potrebuje odbor. Upravljanje naj se prilagaja tveganju. Pripomoček za osnutke z nizkim tveganjem ima lahko lažje nadzore kot poziv, ki oblikuje priporočila o upravičenosti. Toda tudi lahki nadzori potrebujejo zapis. Kdo ga je spremenil. Zakaj. Kateri testi so se izvedli. Katera pot ga uporablja. Kdaj ga je treba pregledati. Skrbništvo nad pozivi ni birokracija zaradi birokracije. Je razlika med operativnim učenjem in arheologijo pozivov.
Orodja spremenijo skrbništvo v dejanje
Vprašanje skrbništva postane ostrejše, ko lahko modeli kličejo orodja. Ustvarjen odstavek lahko zavede. Klic orodja lahko spremeni svet. Lahko posodobi zapis, pošlje e-pošto, ustvari nalog, odobri transakcijo, odklene dostop, izbriše vsebino ali sproži delovni tok. Ko model prečka mejo od predloga k dejanju, mora skrbništvo vključevati dovoljenja, preverjanje argumentov, prehode stanj, idempotentnost, potrdila in razveljavitve. Izhod modela ni več le vsebina. Je predlagano dejanje.
Skrbništvo orodij se začne z ozko avtoriteto. Model ne bi smel dobiti širokega dostopa za pisanje samo zato, ker poziv pravi, da se bo obnašal ustrezno. Prehod bi moral vedeti, katero orodje je lahko poklicano, s strani koga, za katero nalogo, s katerimi argumenti in pod katerimi pogoji glede dokazov. Nekateri klici bi morali zahtevati človeško odobritev. Nekateri bi morali biti samo za branje. Nekateri bi morali biti nemogoči. Tipizirana meja orodij je manj glamurozna od demonstracije avtonomnega dela. Je pa tudi veliko lažje razložljiva regulatorju, stranki ali utrujenemu inženirju ob 02:00.
Skrbništvo orodij pomeni tudi, da sistem lahko rekonstruira, kaj se je zgodilo. Kateri izhod je predlagal klic. Kateri dokazi so ga podpirali. Kateri uporabnik ali vloga ga je odobrila. Katero stanje se je spremenilo. Kateri zunanji sistem ga je potrdil. Katero nadomestno dejanje obstaja, če je bilo napačno. Brez tega zapisa avtonomno delovanje postane izguba institucionalnega spomina pri strojni hitrosti. Dejanje se je zgodilo. Razlaga postane skupinski projekt.
Obstaja preprosto pravilo, ki ga velja ohraniti: več kot lahko sistem umetne inteligence spremeni, močnejše mora biti skrbništvo. Pisanje odstavka zahteva skrbništvo nad viri in pozivi. Razvrščanje čakalne vrste zahteva skrbništvo nad podatki, politikami in pritožbami. Klic orodja za pisanje zahteva skrbništvo nad transakcijami. Vplivanje na pravice, denar, zdravje, dostop ali varnost zahteva resno skrbništvo vzdolž celotne verige. Beseda avtonomija ne bi smela lebdeti nad temi razlikami kot balon na sejmu nabave.
Hramba je del inteligence
Ekipe za umetno inteligenco se pogosto osredotočajo na to, kaj sistemi vedo. Skrbništvo pa sprašuje tudi, kaj naj sistemi pozabijo. Hramba ni administrativna naknadna misel. Oblikuje tveganje, odgovornost, zasebnost in učenje. Če se delovni kontekst izbriše prehitro, organizacija ne more pojasniti odločitev. Če se hrani predolgo, organizacija kopiči občutljiv material brez živega namena. Če izpeljani artefakti niso sledljivi, izbris postane gledališče. Če končnim zapisom manjka poreklo, postane hramba predal samozavestnih drobcev.
Pravilna zasnova hrambe ločuje plasti. Surovi pozivi so lahko kratkotrajni ali prečiščeni. Identifikatorji vira so lahko ohranjeni dlje kot besedilo vira. Končni zapisi odločitev so lahko hranjeni v skladu z zakonskimi pravili. Revizijske zgoščene vrednosti lahko preživijo izbris vsebine. Primeri za vrednotenje so lahko anonimizirani. Za potrdila o orodjih je morda potrebna hramba na ravni transakcij. Zasnova je odvisna od tveganja in namena. Pomembno je, da je hramba namenska in ne taka, kot se je sistem za beleženje slučajno znašel ob zagonu.
Pri umetni inteligenci je pozabljanje tehnično zahtevno, ker je dejstva mogoče kopirati v povzetke, vdelave, predpomnilnike, vstopnice, posnetke zaslona, izvoze in nabore za usposabljanje. Skrbništvo tega ne reši s pretvarjanjem, da je izbris preprost. Reši ga s tem, da ve, kje nastajajo izpeljani artefakti, kateri vsebujejo osebno ali občutljivo vsebino, kako jih je mogoče razveljaviti in kateri zapisi morajo dokazovati, da je do razveljavitve prišlo. Besedna zveza izbriši podatke ni načrt. Je uvodni stavek.
Obstaja tudi napetost pri učenju. Organizacije želijo ohraniti primere za izboljšanje sistema. Ljudje imajo pravice do popravka, izbrisa, zaupnosti in poštene obravnave. Skrbništvo je način, kako se ti interesi uskladijo brez praznih obljub. Ohranite dovolj za učenje in odgovornost. Odstranite ali ločite tisto, kar ni potrebno. Hranite dokaz o popravku. Umaknite zastarele primere. Ne usposabljajte na gradivu samo zato, ker je ležalo naokoli in je bilo videti poučno. Ta zadnja navada je povzročila več težav pri upravljanju kot marsikateri strateški dokument kdaj prizna.
Skrbništvo naredi ljudi več kot le overitelje
Človeški nadzor je šibek, kadar ljudje prejmejo odgovor brez konteksta skrbništva. Pregledovalec vidi lepo oblikovano besedilo in zeleni indikator zaupanja. Ne vidi svežine vira, izključenih dokumentov, različice poziva, navzkrižja pri pridobivanju, pooblastil orodij ali prejšnjih popravkov. Prosi se ga, naj odobri odgovor, vendar mu ni dana veriga. To ni nadzor. To je ceremonija z gumbom.
Skrbništvo daje ljudem gradivo, potrebno za presojo. Pokaže, kaj je sistem uporabil, česa ni uporabil, kaj mu je bilo dovoljeno storiti, kakšna negotovost ostaja, katero dejanje je predlagano in kaj bo zabeleženo, če človek odobri. Pregledovalcu omogoča, da ugovarja na način, iz katerega se sistem lahko uči. Nadrejenemu omogoča pregled vzorcev. Prizadeti osebi omogoča izpodbijanje izida. Revizorju omogoča rekonstrukcijo ravnanja brez zasliševanja polovice organizacije in enega upokojenega svetovalca.
Prav tako ščiti ljudi pred krivdo za dvoumnost sistema. Če je pregledovalec odobril izhod brez dostopa do vira, ker ga je vmesnik skril, je to napaka pri načrtovanju. Če je ekipa zaupala modelu, ker je sistem označil osnutek kot pripravljenega, je to napaka pri skrbništvu. Če operater ni mogel izbrisati izpeljanega gradiva, ker ga nihče ni spremljal, to ni moralna šibkost operaterja. Skrbništvo pripisuje odgovornost verigi, ne le najbližji osebi, ki drži rezultat, ko gre kaj narobe.
Dobro skrbništvo zato naredi človeško avtoriteto bolj resnično. Ne zasipa ljudi z dnevniki. Zapakira dokaze na pravi ravni. Uporabnik na prvi liniji morda potrebuje imena virov, svežino in razlog za zavrnitev. Strokovnjak morda potrebuje globljo sled. Revizor morda potrebuje podpisane zapise. Pooblaščenec za varstvo podatkov morda potrebuje zgodovino hrambe in dostopa. Skrbništvo je večplastno, ker je odgovornost večplastna. Vreči vse dnevnike vsem ni preglednost. To je konfeti iz dokumentov.
Skrbništvo je operativna zanka
Skrbništvo ni enkraten arhitekturni diagram. Je zanka. Nov primer uporabe se razvrsti. Poimenujejo se podatki in artefakti, ki jih bo obravnaval. Pravice in nameni se povežejo. Sistem deluje znotraj teh meja. Izhodi in dejanja se potrdijo. Izjeme se pregledajo. Popravki posodobijo verigo. Artefakti se hranijo, prečistijo ali umaknejo. Zanka se ponovi, ko se spremenijo politika, modeli, dobavitelji, podatki ali delo.
Ta zanka je pomembna, ker se sistemi umetne inteligence spreminjajo. Različica modela se zamenja. Indeks za iskanje se znova zgradi. Politika se posodobi. Dobavitelj spremeni nastavitve hrambe. Nova ekipa kopira poziv. Orodje dobi novo dovoljenje. Pomočnik z nizkim tveganjem postane del delovnega procesa odločanja. Brez zanke skrbništva vsaka sprememba postane majhen nezabeležen pobeg. Po enem letu ima organizacija sistem, ki še vedno deluje, a ne ustreza več zgodbi o upravljanju. To je pogosto. A ni nujno tako.
Delovanje skrbništva zahteva lastnike. Nekdo je lastnik avtoritete vira. Nekdo je lastnik različic pozivov. Nekdo je lastnik odobritve modelov. Nekdo je lastnik prehodov orodij. Nekdo je lastnik zapisov in hrambe. Nekdo je lastnik poti za popravke. Ti lastniki ni treba, da so v enem oddelku, vendar se morajo njihove odgovornosti stikati. V nasprotnem primeru skrbništvo postane shema na steni s puščicami, ki kažejo v meglo, zvrst, ki je v digitalni preobrazbi že tako ali tako preveč zastopana.
Nauk
Umetna inteligenca potrebuje manj čarovnije in več skrbništva, ker organizacije ne upravljajo čudežev. Upravljajo zapise, pravice, orodja, ljudi, namene in spremembe. Model je lahko izjemen, vendar ostaja institucija odgovorna za to, kaj je sistem hranil, preoblikoval, objavil, shranil, popravil in pozabil. Obravnavati odgovor kot predstavo ni dovolj. Odgovor potrebuje verigo.
Skrbništvo ne pomeni zamrznitve umetne inteligence pod birokracijo. Pomeni omogočiti resno uporabo. Ekipam daje zaupanje, da se podatki uporabljajo za pravi namen, da so pozivi različničeni, da so orodja omejena, da ljudje prejmejo dokaze, da zapisi preživijo in da se artefakti umaknejo, ko njihov namen mine. Organizacijam omogoča avtomatizacijo, ne da bi se pretvarjale, da avtomatizacija razblini odgovornost. Omogoča jim učenje brez kopičenja. Omogoča jim pojasnjevanje brez brskanja.
Praktični premik je skromen in zahteven. Nehajte se spraševati le, ali model zna odgovoriti. Vprašajte, kaj je sistem hranil, da je pripravil odgovor, kdo ga je smel obravnavati, kaj se je spremenilo, kaj je bilo zabeleženo, kaj je mogoče izpodbijati in kdaj naj artefakti zapustijo skrbništvo. To je manj čarobno. Dobro. Čarovnija je slab okvir nadzora. Skrbništvo je tišje, težje in veliko bolj verjetno je, da bo še vedno delovalo, ko bo nekdo vprašal, kaj se je zgodilo.