Javna umetna inteligenca potrebuje dokaze
Okence brez potrdila
Javni urad brez potrdil bi deloval nesmiselno. Predstavljajte si, da podaljšujete dovoljenje, izročite dokumente, plačate takso in od uslužbenca dobite le prijazen prikimavanje. Brez referenčne številke. Brez datuma. Brez navedbe, kaj je bilo sprejeto. Brez možnosti pritožbe. Uslužbenec se nasmehne in reče, da bo sistem vedel. Tudi v najbolj potrpežljivi občini bi nekdo v vrsti začel delati obraz, ki pomeni, da demokracija postaja birokracija.
Potrdila so majhne stvari, a nosijo institucionalno težo. Ljudem sporočajo, da se je nekaj zgodilo, da je zahteva vstopila v postopek, da je denar zamenjal lastnika, da je bilo uporabljeno pravilo, da se je začel rok, da je odločitev mogoče znova najti. Niso glamurozna. So boljša od glamuroznih. So skromen dokaz, da država vašega primera ni preprosto pogoltnila v bež stroj in vas prosila, da ohranite zaupanje.
Javna umetna inteligenca zdaj potrebuje isto navado. Ko algoritem povzame spis, predlaga upravičenost, razvrsti inšpekcije, pripravi osnutek odgovora, označi tveganje, usmeri občana ali podpre odločitev, bi morala javna institucija lahko izdala potrdilo. Ne teatralna pojasnila, ustvarjena naknadno. Ne posnetek zaslona nadzorne plošče. Ne obljuba, da lahko ponudnik verjetno nekaj rekonstruira, če podporo kontaktirate v uradnih urah. Potrdilo: strnjen, strukturiran, razumljiv dokaz o tem, kaj se je zgodilo in zakaj je bilo to dovoljeno.
To ni zato, ker bi bilo vsako dejanje umetne inteligence zlovešče. Večinoma je problem manj dramatičen in bolj vsakdanji. Sistemi so zapleteni. Viri se spreminjajo. Politike se posodabljajo. Modeli se zamenjujejo. Ljudje se selijo med oddelki. Občan šest mesecev pozneje izpodbija izid. Revizor vpraša, katera različica pravila je bila uporabljena. Minister želi zagotovilo pred zaslišanjem. Brez potrdil mora organizacija preteklost poustvariti iz spominov, dnevnikov, izvozov in optimizma nekoga, ki vztraja, da je arhitekturni diagram skoraj posodobljen.
Zaupanje ni razpoloženje
Javne institucije pogosto govorijo o zaupanju, kot da bi bilo toplo vzdušje okoli storitev. Bodite pregledni, bodite človeški, bodite inovativni, in zaupanje bo prišlo s torbico v roki. To je za umetno inteligenco preveč mehko. Javno zaupanje ni razpoloženje. Je institucionalni pogoj, ki ga ustvarjajo pravice, postopki, evidence, pregled, omejitve in zmožnost povedati, kaj se je zgodilo, ko je izid sporen.
AI to otežuje, ker lahko administrativno delo prikaže kot bolj tekoče, hkrati pa oteži pregled nad njegovim razmišljanjem. Delavec na primeru lahko prejme povzetek, ki je dovolj natančen, da je uporaben. Načrtovalec lahko prejme oceno tveganja, ki prihrani čas. Državljan lahko prejme odgovor klepetalnega robota, ki skrajša telefonski klic. To so lahko resnične koristi. Toda ko odgovor vpliva na zdravljenje, prednost, upravičenost, izvrševanje ali dostop do storitve, institucija potrebuje več kot uporabnost. Potrebuje javno odgovornost.
Javna odgovornost pomeni, da institucija lahko poveže rezultat s pooblastilom. Lahko pokaže, kateri podatki so bili uporabljeni in kateri podatki niso bili dovoljeni. Lahko pokaže, ali je model deloval kot pripomoček za pripravo osnutkov, priporočilni mehanizem, orodje za razvrščanje ali del avtomatiziranega odločanja. Lahko pokaže različico pravil in človeško potrditev, kjer je to zahtevano. Lahko pojasni, kako lahko prizadeta oseba izpodbija izid. To niso okraski okoli AI. To so tla pod njim.
Obstaja skušnjava, da bi na pomisleke o zaupanju odgovorili s širokimi zagotovili. Sistem je preizkušen. Model je varen. Ponudnik je certificiran. Proces ima upravljanje. Te izjave so lahko resnične in še vedno nezadostne. Javno delo poteka primer za primerom. Državljan ne živi znotraj agregatnega merila uspešnosti. Živi znotraj svoje odločitve, svoje dokumentacije, svojega roka, svoje izgubljene pravice, svojega inšpekcijskega pregleda, svojega termina, svojega neodgovorjenega vprašanja. Potrdila prinašajo odgovornost na raven, kjer se javna moč dejansko čuti.
Potrdilo ni le dnevnik
Prva napaka je zamenjevati potrdila z dnevniki. Dnevniki so dragoceni, vendar so napisani za stroje, operaterje, varnostne ekipe ali prihodnjo zmedo. Lahko so preveč podrobni, preveč občutljivi, preveč tehnični, preveč razpršeni ali preveč odvisni od dobavitelja. Potrdilo je oblikovan artefakt. Zasnovano je tako, da odgovarja na vprašanja javne odgovornosti, ne da bi razkrilo vsako skrivnost, preobremenilo vsakega bralca ali zahtevalo vikend tečaj o porazdeljenem sledenju.
Uporabno potrdilo ima plasti. Javna plast lahko vsebuje kontekst storitve, datum, sklic na odločitev, visokonivojske kategorije podatkov, pravno podlago in pot pritožbe. Notranja plast lahko vsebuje identifikatorje virov, različico modela, predlogo poziva, parametre pridobivanja, preverjanja politik, nadzor dostopa in identiteto pregledovalca. Revizijska plast lahko vsebuje zgoščene vrednosti, časovne žige, podpise, pravila hrambe in povezave do nespremenljivih dokazov. Plasti ščitijo zasebnost, hkrati pa ohranjajo preglednost. Ni treba, da vsi vidijo enako podrobnost. Nekdo pa mora imeti možnost videti dovolj.
To razlikovanje je pomembno, ker se morajo javna potrdila o AI izogniti temu, da bi postala nadzor pod drugim imenom. Odgovor na nepreglednost ni beleženje vsega za vedno. Tako se problem upravljanja spremeni v problem zasebnosti z boljšimi mapami. Potrdila morajo biti minimalna, namensko omejena, hranjena za jasno določena obdobja, ločena od nepotrebne vsebine in dostopna prek opredeljenih vlog. Preizkus je preprost: ali lahko institucija pojasni izid in podpre popravek, ne da bi zgradila trajni dnevnik vsake interakcije z državljanom.
Dnevniki so surovina. Potrdila so odgovoren izdelek. V zrelem sistemu so povezani. Potrdilo lahko kaže na globlje dnevnike, kadar to zahteva pooblaščena preiskava. Dnevnik lahko dokaže, da potrdilo ni bilo izmišljeno po začetku spora. Toda potrdilo je tisto, kar javna služba lahko preda svojim lastnim procesom in včasih prizadeti osebi, ne da bi od vseh zahtevala občudovanje predmeta JSON v njegovem naravnem okolju.
Državljan vidi mejo
Arhitekturni diagrami so ponavadi narisani od znotraj. Polja, puščice, storitve, čakalne vrste, modeli, podatkovne baze, pravilniki, portali za osebje. Državljan ne doživi nič od tega. Državljan doživi mejo. Vloga je sprejeta ali zavrnjena. Oznaka tveganja se pojavi ali ne. Termin je na voljo ali ne. Dokument je zadosten ali ne. Odgovor pravi da, ne, počakajte, naložite, pokličite, pritožite se, zapustite.
Na tej meji so potrdila najpomembnejša. Če državljana obvestijo, da vloge ni mogoče obdelati samodejno, mora potrdilo navesti, kateri pogoj ni bil izpolnjen in kako ga odpraviti. Če je na odločitev vplival povzetek umetne inteligence, mora zapis pokazati, da ga je pregledal človek in katero izvorno gradivo je bilo na voljo. Če klepetalni robot daje postopkovne nasvete, mora potrdilo opredeliti različico javnega vira in pojasniti, ali je bil nasvet zavezujoč. Če model tveganja določa prednost pri inšpekcijskem nadzoru, mora potrdilo prikazati pravno podlago, kategorije podatkov in pot pritožbe, ne da bi razkrilo metode, ki bi ogrozile sam nadzor.
Ne gre za to, da bi vsako javno interakcijo spremenili v pravno razpravo. Ljudje ne bi smeli potrebovati odvetnika, da bi razumeli parkirno dovolilnico. Toda javna oblast dolguje ljudem razumljiv prijem. Potrdilo je lahko kratko in še vedno pomembno: vaša vloga je bila ocenjena v skladu s to različico pravil, ob uporabi teh zapisov, s to avtomatizirano podporo, pregledal jo je ta vloga, pritožba pa je mogoča po tej poti. To ni poezija, kar je sreča. Poezija ima slab doseg v storitvenih portalih.
Meja je pomembna tudi za uradnike. Referenti, inšpektorji, učitelji, načrtovalci, kliniki in osebje na prvi liniji ne bi smeli ostati z rezultati umetne inteligence, katerih izvora ne morejo pojasniti. Potrdilo jih ščiti pred tem, da postanejo človeška ovojnica okoli skrivnostnega stroja. Daje jim način, da povedo, kaj je sistem naredil, kje je bilo njihovo strokovno mnenje vključeno in kdaj mora zadeva zapustiti avtomatizacijo. To ni birokracija zaradi birokracije. To je poklicno dostojanstvo s sklicno številko.
Pošten postopek v strojevem času
Javna uprava že ima tradicije poštenega postopka: obvestilo, obrazložitev, dostop do zapisov, zaslišanje, pritožba, sorazmernost, enako obravnavanje, pravila hrambe in imenovani organ. Umetna inteligenca teh tradicij ne nadomešča. Stisne čas, v katerem morajo delovati. Model lahko pred kosilom obdela tisoč datotek. Usmerjevalno pravilo lahko prizadene cele soseske, preden kdo opazi. Napaka v povzetku lahko potuje skozi delovni tok hitreje kot popravek. Strojev čas naredi stare pravice bolj nujne, ne manj.
Potrdila so eden od načinov, kako ohraniti pošten postopek kljub hitrosti. Ustvarjajo premore v zapisu, tudi ko je delovni tok hiter. V trenutku, ko sistem umetne inteligence obravnava zadevo, lahko potrdilo zabeleži namen, pooblastilo, obseg vira, stanje modela, preverjanja politik in status pregleda. V trenutku, ko se človek zanese na izhod, lahko potrdilo zabeleži vlogo in dejanje. V trenutku, ko državljan prejme izid, lahko potrdilo zagotovi sklic in pot. To daje postopku spomin.
Spomin je pomemben, ker se javne napake pogosto odkrijejo pozno. Oseba morda ne ve, da je manjkajoče podatkovno polje pomembno, dokler ji ni zavrnjena pravica. Inšpektor morda ne ve, da je bil vir zastarel, dokler se obisk na kraju samem ne zdi nenavadno ciljno usmerjen. Učitelj morda ne ve, da je oznaka tveganja izhajala iz pomanjkljivega vira podatkov o prisotnosti, dokler starš ne zastavi neposrednega vprašanja. Brez potrdil pozno odkritje postane pozno ugibanje. S potrdili lahko pozno odkritje postane popravek.
To ne pomeni, da je vsak korak s podporo umetne inteligence mogoče izpodbijati ločeno. Javni postopek mora ostati izvedljiv. Toda veriga mora ohraniti dovolj dokazov za smiseln izpodboj na pravem mestu. Če sistem poda predlog, ki ga človek prezre, bi moralo potrdilo to odražati. Če sistem poda priporočilo, ki ga človek sprejme, bi moralo potrdilo odražati tudi to. Razlika je pomembna. Javnost ne more izpodbijati duha, uradniki pa ga ne morejo braniti.
Potrdila brez nadzora
Najmočnejši ugovor zoper potrdila je, da bi lahko ustvarila nova tveganja za podatke. Ta ugovor je resen. Javne institucije ne bi smele reševati nepreglednosti umetne inteligence z zbiranjem druge vzporedne datoteke za vsakega državljana. Sistem potrdil, ki za vedno shranjuje nepotrebne pozive, celotne pogovore, občutljive izvlečke virov, notranje zapiske, izhode orodij in sledi vedenja, ni odgovornost. Je zelo organiziran problem.
Potrdila, ki varujejo zasebnost, zahtevajo oblikovalsko disciplino. Kjer je mogoče, shranjujte identifikatorje namesto celotne vsebine. Za celovitost uporabite zgoščevalne vrednosti. Ločite potrdila, namenjena državljanom, od notranjih revizijskih zapisov. Dokaze hranite glede na pravno vrednost postopka, ne glede na apetit sistemov za shranjevanje. Interakcije z nizkim tveganjem prečrtajte ali združite. Zaščitite identitete pregledovalcev, kadar to zahtevata osebna varnost ali neodvisnost, hkrati pa ohranite odgovornost vlog. Vodite dnevnike dostopa do samega hranišča potrdil, ker imajo dokazi o dokazih neprijetno navado, da postanejo pomembni.
Zasnova bi se morala izogibati tudi ustvarjanju lažne natančnosti. Potrdilo ne bi smelo trditi, da je model razmišljal kot človek, če ni. Ne bi smelo prevajati verjetnostnega izhoda v moralno sodbo. Ne bi smelo pretvarjati, da je visoka ocena dejstvo. Povedati bi moralo, kaj je sistem naredil: pridobil te vire, uporabil to pravilo, ustvaril ta izhod, označil ta interval zaupanja, posredoval tej vlogi, prejel to človeško dejanje. Suhoparen jezik je državljanska storitev. Javni sektor ima že dovolj dekorativne megle.
Tu je koristna ponižnost. Potrdila ne naredijo umetne inteligence popolnoma poštene, natančne ali zakonite. Naredijo sistem bolj pregleden. Znižajo stroške odkrivanja napak. Ustvarijo prostor za popravek. Institucijam otežijo skrivanje za besedno zvezo sistem je tako rekel. Pri javnem delu to ni majhna stvar. Je razlika med avtomatizacijo kot upravo in avtomatizacijo kot zaklenjenim predalom.
Nakup vmesnika za potrdila
Če so dokazila pomembna, jih je treba kupiti in zgraditi, ne pa si jih zaželeti v obstoj po uvedbi. Javni naročniki bi morali dobavitelje vprašati, kako sistem ustvarja dokaze na ravni posameznega primera. Ali je mogoče zakleniti različice modelov. Ali so predloge pozivov različicene. Ali se vračajo identifikatorji virov. Ali je mogoče izvoziti odločitve o iskanju. Ali so preverjanja politik zabeležena. Ali je mogoče dnevnike ločiti po namenu. Ali so revizijski zapisi podpisani ali zaščiteni pred posegi. Ali je mogoče iz istega nabora dokazov ustvariti povzetke za državljane, ne da bi razkrili občutljive notranje podatke. Ali lahko institucija odide z nedotaknjenimi dokazili.
Ta vprašanja se morda zdijo zahtevna, a so manj zahtevna kot rekonstrukcija spornega avtomatiziranega postopka, ko se zanj začnejo zanimati časopis, sodišče, svet, parlament ali varuh človekovih pravic. Naknadno vgrajevanje dokazil je težko, ker manjkajoči dokazi pogosto nikoli niso bili zabeleženi. Včerajšnji nevidni transakciji ne morete pripeti dokazila. Lahko se le spuščate v interpretativni ples okoli telemetrije. To kot metoda upravljanja ni priporočljivo.
Vmesniki za dokazila pomagajo tudi notranjim ekipam. Olajšajo vrednotenje, ker je rezultate mogoče primerjati z virom in stanjem pravil. Pospešijo odzivanje na incidente, ker je prizadete primere mogoče izslediti. Omogočijo bolj merljive spremembe politik, ker ekipe vidijo, katera pravila povzročajo trenja. Usposabljanje je varnejše, ker je primere mogoče izbirati z dokazanim izvorom. Brisanje in popravljanje sta manj teatralna, ker je izpeljane artefakte mogoče najti.
Javne institucije ne potrebujejo, da vsak dobavitelj razkrije vsako notranjo skrivnost. Nekatere komponente bodo na eni ravni ostale črne škatle. Toda storitev kot celota mora na javni meji ustvarjati uporabna dokazila. Če dobavitelj tega ne more zagotoviti, mora institucija razumeti, kaj kupuje: ne le zmogljivost, temveč vrzel v lastni sposobnosti, da odgovarja za izvajanje oblasti.
Ko dokazila razkrijejo slabo politiko
Dokazila bodo včasih razkrila, da sistem umetne inteligence ni glavni problem. To je uporabno in neprijetno. Dokazilo lahko pokaže, da je model pravilno upošteval pravilo, vendar je bilo pravilo zastarelo. Lahko pokaže, da je človek pogosto preglasil sistem, ker je bila politika preveč toga. Lahko pokaže, da so manjkajoči podatki drugega oddelka povzročali ponavljajoče se zavrnitve. Lahko pokaže, da je bil znak tveganja tehnično točen in družbeno absurden. Dobri dokazi imajo nevljudno navado, da razširijo pogovor.
To je eden od razlogov, da institucije zavračajo potrdila, ne da bi to neposredno povedale. Potrdila ustvarjajo odgovornost ne le za tehnološke ekipe, temveč tudi za lastnike politik, lastnike podatkov, vodje, dobavitelje in izvoljene voditelje. Zaradi njih je težje kriviti algoritem za odločitev, ki so jo dejansko oblikovali politika, proračun, kadrovanje ali preglednica s herojskim številom skritih stolpcev. To nelagodje je funkcija. Javna umetna inteligenca ne sme ponuditi novega skrivališča za stare odločitve.
Potrdila podpirajo tudi učenje. Če veliko primerov ne uspe pri isti zahtevi glede dokazov, je obrazec morda nejasen. Če zaposleni popravijo veliko povzetkov umetne inteligence, je pridobivanje virov morda šibko. Če pritožbe večkrat razveljavijo odločitve, ki vključujejo določeno pravilo, je treba politiko pregledati. Če državljani po prejemu potrdila postavijo isto vprašanje, razlaga ni dovolj dobra. Odgovornost postane zanka, ne svetišče pretekli uvedbi.
Javne institucije smejo biti nepopolne. Ne smejo pa biti nepregledne, ko izvajajo oblast. Potrdila naredijo nepopolnost obvladljivo. Ljudem dajo nekaj, kar lahko izpodbijajo, organizacijam pa nekaj, kar lahko izboljšajo. To je manj romantično kot obljubljanje zaupanja vredne umetne inteligence v strateškem dokumentu. Je pa veliko bolj uporabno, kar je znano tveganje praktičnih ukrepov.
Javna odločitev s spominom
Najboljši sistemi potrdil niso pasivni arhivi. Hranijo zanko odločanja. Vstopi zahteva. Preverita se pooblastilo in namen. Izbrani so viri. Model ali pravilo podpira delo v okviru določenih meja. Človek sprejme, zavrne ali spremeni rezultat, kjer je to potrebno. Državljan prejme izid in pot. Izpodbijanja in popravki se vrnejo v sistem kot dokazi za izboljšanje. Potrdilo je nit skozi zanko.
Ta zanka je pomembna, ker se javne storitve spreminjajo. Zakoni se spreminjajo. Obrazci se preoblikujejo. Nabori podatkov se čistijo. Modeli se nadgrajujejo. Organizacijske meje se premikajo. Potrdilo iz lanskega leta bo morda treba brati v okviru letošnjega postopka. To zahteva stabilne identifikatorje, različice pravil, evidence selitev in disciplino hrambe. V nasprotnem primeru lahko javni organ ohrani potrdilo, ki se nanaša na izginuli sistem v besedišču, ki ga nihče ne razume. To ni odgovornost. To je digitalna arheologija z boljšo kavo.
Potrdila bi zato morala biti upravljana kot zapisi. Potrebujejo lastništvo, roke hrambe, pravice dostopa, izvozne formate, preverjanja celovitosti, pravila izbrisa in postopke pregleda. Ne bi smela ostati stranski učinek katere koli knjižnice za beleženje, ki je bila modna ob zagonu storitve. Javni zapisi so državljanska tehnologija. Potrdila umetne inteligence so del te tradicije, tudi če vsebujejo različice modelov namesto podpisov s perilom.
Obstaja tudi demokratična korist. Potrdila omogočajo skupni nadzor, ne da bi razkrila vsako osebo. Institucije lahko merijo, katere storitve uporabljajo umetno inteligenco, kje avtomatizirana podpora oblikuje rezultate, kako pogosto ljudje preglasijo sistem, kje so pritožbe uspešne, kateri viri povzročajo trenja in ali so nekatere skupine nesorazmerno prizadete. Tako lahko javna umetna inteligenca preide od nejasnih zagotovil k urejeni praksi. Ne tako, da družbo prosimo, naj občuduje model, temveč tako, da javno oblast naredimo dovolj preštevno, da jo je mogoče izpodbijati.
Nauki
Javna umetna inteligenca potrebuje potrdila, ker javna oblast potrebuje zapise. Tečen odgovor modela ni dovolj. Uporabna ocena tveganja ni dovolj. Uspešen pilot ni dovolj. Ko umetna inteligenca posega v pravice, storitve, prednostne obravnave, denar, izvrševanje, oskrbo, izobraževanje ali dostop, mora institucija znati pokazati pooblastila, vire, stanje modela, pravila, vlogo človeka in pot za pritožbo, ki stojijo za izidom.
To ne pomeni, da je treba vsako interakcijo spremeniti v birokracijo. Pomeni, da je treba dokaze vgraditi v sistem na pravi ravni. Javna potrdila morajo biti jedrnata, večplastna, varovati zasebnost, upoštevati vloge, odporna proti posegom in povezana z dejanskim pregledom. Državljanom morajo pomagati razumeti meje, uradnikom pomagati pri presoji, revizorjem pomagati pri rekonstrukciji dogodkov, institucijam pa pomagati pri učenju iz izpodbijanj.
Javni sektor ne potrebuje umetne inteligence, ki igra zaupanje. Potrebuje umetno inteligenco, ki jo je mogoče pozvati k odgovornosti. Potrdila so skromna tehnologija te odgovornosti. So majhna, dolgočasna in trmasto uporabna. V javni upravi je ta kombinacija nosila več teže kot večina manifestov. Prihodnost javne umetne inteligence ne bo odločala le zmogljivost modelov. Odločalo bo tudi to, ali lahko institucija, ko jo vprašajo, kaj se je zgodilo, ponudi kaj boljšega kot samozavestno skomigni z rameni.