Avalik tehisintellekt vajab tõendusmaterjali
Kviitung ilma kviitungita
Avalik asutus ilma kviitungiteta tunduks absurdne. Kujutage ette, et uuendate luba, annate dokumendid üle, maksate tasu ja saate ametnikult vaid sõbraliku noogutuse. Pole viitenumbrit. Pole kuupäeva. Pole märget selle kohta, mis vastu võeti. Pole võimalust vaidlustada. Ametnik naeratab ja ütleb, et süsteem teab. Isegi kõige kannatlikumas omavalitsuses hakkaks keegi järjekorras tegema seda nägu, mis tähendab, et demokraatiast on saamas bürokraatia.
Kviitungid on väikesed asjad, kuid neil on institutsionaalne kaal. Need annavad inimestele teada, et tegevus toimus, et taotlus jõudis menetlusse, et raha vahetas omanikku, et reeglit rakendati, et tähtaeg hakkas jooksma, et otsuse saab uuesti üles leida. Need pole glamoursed. Need on enam kui glamoursed. Need on tagasihoidlik tõend, et riik ei neelanud lihtsalt teie juhtumit beebimasinasse ega palu teil usku säilitada.
Avalik tehisintellekt vajab nüüd sama harjumust. Kui algoritm võtab faili kokku, soovitab abikõlblikkust, järjestab kontrollimisi, koostab vastuse kavandi, märgib riski, suunab kodaniku edasi või toetab otsust, peaks avalik asutus suutma esitada kviitungi. Mitte teatraalne selgitus, mis genereeritakse tagantjärele. Mitte armatuurlaua ekraanipilt. Mitte lubadus, et müüja suudab ilmselt midagi rekonstrueerida, kui tööajal tugiteenusega ühendust võtta. Kviitung: kompaktne, struktureeritud, arusaadav tõend selle kohta, mis juhtus ja miks see tohtis juhtuda.
See pole sellepärast, et iga tehisintellekti tegevus oleks pahatahtlik. Enamasti on probleem vähem dramaatiline ja tavalisem. Süsteemid on keerulised. Allikad muutuvad. Poliitikad uuenevad. Mudeleid asendatakse. Inimesed liiguvad osakondade vahel. Kodanik vaidlustab tulemuse kuus kuud hiljem. Audiitor küsib, millist reegliversiooni kasutati. Minister soovib kinnitust enne istungit. Ilma kviitungiteta peab organisatsioon mineviku uuesti looma mälestustest, logidest, eksportidest ja selle inimese optimismist, kes kinnitab, et arhitektuuriskeem on peaaegu ajakohane.
Usaldus ei ole meeleolu
Avalikud asutused räägivad usaldusest sageli nii, nagu oleks see soe õhkkond teenuste ümber. Ole läbipaistev, ole inimlik, ole uuendusmeelne ja usaldus tuleb ise kohale koos ostukotiga. See on tehisintellekti jaoks liiga pehme. Avalik usaldus ei ole meeleolu. See on institutsionaalne seisund, mille loovad õigused, menetlused, dokumendid, järelevalve, piirid ja võime öelda, mis juhtus, kui tulemus on vaidlustatud.
AI teeb selle keerulisemaks, sest see võib muuta haldustöö sujuvama välimusega, muutes samal ajal selle otsustusprotsessi raskemini jälgitavaks. Juhtumitöötleja võib saada kokkuvõtte, mis on piisavalt täpne, et olla kasulik. Planeerija võib saada riskiskoori, mis säästab aega. Kodanik võib saada vestlusroboti vastuse, mis vähendab telefonikõnede vajadust. Need võivad olla tõelised eelised. Kuid kui vastus mõjutab ravi, prioriteeti, abikõlblikkust, jõustamist või juurdepääsu teenusele, vajab asutus enamat kui kasulikkust. See vajab avalikku vastutust.
Avalik vastutus tähendab, et asutus suudab siduda väljundi volitusega. See suudab näidata, milliseid andmeid kasutati ja milliseid andmeid ei olnud lubatud kasutada. See suudab näidata, kas mudel toimis abistava koostajana, soovitusmootorina, triaažitööriistana või automatiseeritud otsustuskomponendina. See suudab näidata reegli versiooni ja inimese kinnitust seal, kus see on nõutud. See suudab selgitada, kuidas mõjutatud isik saab tulemuse vaidlustada. Need ei ole kaunistused AI ümber. Need on põrand selle all.
On kiusatus vastata usaldusmuredele laiade kinnitustega. Süsteem on testitud. Mudel on ohutu. Tarnija on sertifitseeritud. Protsessil on juhtimine. Need väited võivad olla tõesed ja siiski ebapiisavad. Avalik töö toimub juhtumipõhiselt. Kodanik ei ela agregeeritud võrdlusnäitaja sees. Ta elab oma otsuse, oma toimiku, oma tähtaja, oma saamata jäänud hüvitise, oma kontrolli, oma vastuvõtuaja, oma vastuseta küsimuse sees. Kviitungid toovad vastutuse alla tasemele, kus avalikku võimu tuntakse.
Kviitung ei ole lihtsalt logi
Esimene viga on kviitungite segiajamine logidega. Logid on väärtuslikud, kuid need on kirjutatud masinatele, operaatoritele, turvameeskondadele või tulevase segaduse jaoks. Need võivad olla liiga pikad, liiga tundlikud, liiga tehnilised, liiga hajutatud või liiga sõltuvad tarnijast. Kviitung on vormitud artefakt. See on loodud vastama avaliku vastutuse küsimustele ilma iga saladust paljastamata, iga lugejat üle koormamata või nõudmata nädalavahetuse kursust hajutatud jälgimises.
Kasulikul kviitungil on kihid. Avalik kiht võib sisaldada teenuse konteksti, kuupäeva, otsuse viidet, kõrgetasemelisi andmekategooriaid, reegli alust ja edasikaebamise teed. Sisemine kiht võib sisaldada allika identifikaatoreid, mudeli versiooni, viipamalli, otsinguparameetreid, poliitikakontrolle, juurdepääsukontrolle ja hindaja identiteeti. Auditikiht võib sisaldada räsiväärtusi, ajatempleid, allkirju, säilitusreegleid ja linke muutumatutele tõenditele. Kihid kaitsevad privaatsust, säilitades samal ajal kontrollitavuse. Kõik ei pea nägema sama üksikasja. Keegi peab suutma näha piisavalt.
See eristus on oluline, sest avalikud AI-kviitungid peavad vältima muutumist järelevalveks teise nime all. Vastus läbipaistmatusele ei ole kõige igaveseks salvestamine. Nii muutub juhtimisprobleem privaatsusprobleemiks paremate kaustadega. Kviitungid peaksid olema minimaalsed, eesmärgiga piiratud, säilitatud selgeteks perioodideks, eraldatud mittevajalikust sisust ja kättesaadavad määratletud rollide kaudu. Test on lihtne: kas asutus suudab selgitada tulemust ja toetada parandamist ilma iga kodaniku suhtluse püsivat päevikut koostamata.
Logid on tooraine. Kviitungid on vastutustundlik toode. Küpses süsteemis on need ühendatud. Kviitung võib osutada sügavamatele logidele, kui volitatud uurimine seda nõuab. Logi võib tõestada, et kviitungit ei leiutatud pärast vaidluse algust. Kuid kviitung on see, mida avalik teenus saab anda oma protsessidele ja mõnikord ka mõjutatud isikule, ilma et kõik peaksid imetlema JSON-objekti selle loomulikus keskkonnas.
Kodanik näeb piiri
Arhitektuuriskeeme kiputakse joonistama seestpoolt. Kastid, nooled, teenused, järjekorrad, mudelid, andmebaasid, poliitikamootorid, töötajate portaal. Kodanik ei koge sellest midagi. Kodanik kogeb piiri. Taotlus võetakse vastu või lükatakse tagasi. Riskimärge ilmub või ei ilmu. Aeg on vaba või mitte. Dokument on piisav või mitte. Vastus ütleb jah, ei, oota, laadi üles, helista, esita kaebus, lahku.
Just sellel piiril on kviitungid kõige olulisemad. Kui kodanikule öeldakse, et taotlust ei saa automaatselt menetleda, peaks kviitung ütlema, milline tingimus ebaõnnestus ja kuidas seda parandada. Kui AI kokkuvõte mõjutas otsust, peaks kanne näitama, et inimene vaatas selle üle ja milline lähtematerjal oli kättesaadav. Kui vestlusrobot annab menetlusnõu, peaks kviitung tuvastama avaliku allika versiooni ja selgitama, kas nõu oli siduv. Kui riskimudel seab inspekteerimise prioriteediks, peaks kviitung näitama õiguslikku alust, andmekategooriaid ja läbivaatamise teed, ilma et see paljastaks meetodeid, mis kahjustaksid inspekteerimist ennast.
See ei tähenda, et iga avalik suhtlus tuleks muuta õiguslikuks väitekirjaks. Inimesed ei peaks vajama juristi, et mõista parkimisluba. Kuid avalik võim võlgneb inimestele arusaadava käepideme. Kviitung võib olla lühike, olles samas tähendusrikas: teie taotlust hinnati selle reegli versiooni alusel, kasutades neid andmeid, selle automatiseeritud toega, vaatas üle see roll ja seda saab vaidlustada selle tee kaudu. See pole luule, mis on õnn. Luulel on teenindusportaalides kehv edetabel.
Piir on oluline ka ametnikele. Juhtumihaldurid, inspektorid, õpetajad, planeerijad, kliinikud ja vastuvõtutöötajad ei tohiks jääda hoidma AI väljundeid, mille päritolu nad ei oska selgitada. Kviitung kaitseb neid selle eest, et neist ei saaks salapärase masinavärgi ümber olevad inimkestad. See annab neile võimaluse öelda, mida süsteem tegi, kus nende otsustusõigus sekkus ja millal tuleb juhtum automatiseerimisest välja võtta. See pole bürokraatia bürokraatia pärast. See on professionaalne väärikus viitenumbriga.
Nõuetekohane menetlus masinaajas
Avalikul haldusel on juba nõuetekohase menetluse traditsioonid: teavitamine, põhjendused, juurdepääs andmetele, ärakuulamine, kaebamine, proportsionaalsus, võrdne kohtlemine, säilitamise reeglid ja nimetatud asutus. AI ei asenda neid traditsioone. See tihendab aega, mille jooksul need peavad toimima. Mudel suudab enne lõunat töödelda tuhat faili. Suunamisreegel võib mõjutada terveid linnaosasid enne, kui keegi märkab. Kokkuvõttev viga võib liikuda töövoos kiiremini kui parandus. Masinaaeg muudab vanad õigused pakilisemaks, mitte vähem oluliseks.
Kviitungid on üks viis, kuidas tagada, et nõuetekohane menetlus peab vastu ka kiires tempos. Need loovad andmetesse pause isegi siis, kui töövoog on kiire. Hetkel, mil AI-süsteem puutub kokku juhtumiga, saab kviitungile märkida eesmärgi, volituse, allika ulatuse, mudeli oleku, poliitikakontrollid ja ülevaatuse staatuse. Hetkel, mil inimene tugineb väljundile, saab kviitungile märkida rolli ja tegevuse. Hetkel, mil kodanik saab tulemuse, saab kviitung pakkuda viite ja suunamise. See annab protsessile mälu.
Mälu on oluline, sest avaliku sektori vead avastatakse sageli hilja. Inimene ei pruugi teada, et puuduv andmeväli oli oluline, enne kui hüvitis keeldutakse. Inspektor ei pruugi teada, et allikas oli aegunud, enne kui kohapealne külastus tundub kummaliselt sihitud. Õpetaja ei pruugi teada, et riskimärgis tuli vigasest kohalolekuandmete voost, enne kui lapsevanem esitab otsese küsimuse. Ilma kviitungiteta muutub hiline avastamine hiliseks oletamiseks. Kviitungitega saab hilisest avastamisest parandus.
See ei tähenda, et iga AI-ga toetatud samm muutuks eraldi vaidlustatavaks. Avalik protsess peab jääma toimivaks. Kuid ahel peab säilitama piisavalt tõendeid, et õigel hetkel oleks võimalik sisuline vaidlustamine. Kui süsteem annab soovituse, mille inimene eirab, peaks kviitung seda kajastama. Kui süsteem annab soovituse, mille inimene vastu võtab, peaks kviitung seda samuti kajastama. Erinevus on oluline. Avalikkus ei saa vaidlustada kummitust ja ametnikud ei saa seda kaitsta.
Kviitungid ilma järelevalveta
Tugevaim vastuväide kviitungitele on see, et need võivad luua uusi andmeriske. See vastuväide on tõsine. Avaliku sektori asutused ei tohiks lahendada AI läbipaistmatust, kogudes iga kodaniku kohta teist varifaili. Kviitungisüsteem, mis salvestab igavesti tarbetuid viipasid, täispikki vestlusi, tundlikke allikaväljavõtteid, sisemisi märkmeid, tööriistade väljundeid ja käitumisjälgi, ei ole vastutus. See on väga organiseeritud probleem.
Privaatsust säilitavad kviitungid nõuavad disainidistsipliini. Salvestage võimaluse korral identifikaatorid, mitte täielikku sisu. Kasutage terviklikkuse tagamiseks räsifunktsioone. Eraldage kodanikule suunatud kviitungid sisemistest auditidokumentidest. Säilitage tõendeid vastavalt protsessi õiguslikule väärtusele, mitte salvestussüsteemide mahutavuse järgi. Muutke madala riskiga interaktsioonid anonüümseks või koondage need. Kaitske ülevaatajate identiteeti, kui isiklik turvalisus või sõltumatus seda nõuab, säilitades samal ajal rollipõhise vastutuse. Hoidke juurdepääsulogisid ka kviitungihoidla enda kohta, sest tõenditel tõendite kohta on õnnetu komme muutuda oluliseks.
Disain peaks vältima ka vale täpsuse loomist. Kviitung ei tohiks väita, et mudel arutles nagu inimene, kui see nii ei teinud. See ei tohiks tõlkida tõenäosuslikku väljundit moraalseks hinnanguks. See ei tohiks teeselda, et kõrge skoor on fakt. See peaks ütlema, mida süsteem tegi: tõi need allikad, rakendas selle reegli, genereeris selle väljundi, märkis selle usaldusvahemiku, edastas sellele rollile, sai selle inimese tegevuse. Kuiv keel on kodanikuteenus. Avalikus sektoris on juba piisavalt dekoratiivset udu.
Siin on kasulik alandlikkus. Kviitungid ei muuda AI-d täiuslikult õiglaseks, täpseks ega seaduslikuks. Need muudavad süsteemi paremini kontrollitavaks. Need vähendavad vigade leidmise kulusid. Need loovad koha parandamiseks. Need muudavad asutuste jaoks raskemaks peituda fraasi taha, et süsteem ütles nii. Avalikus töös pole see väike asi. See on erinevus automatiseerimise kui halduse ja automatiseerimise kui lukustatud sahtli vahel.
Kviitungiliidese hankimine
Kui tõendid on olulised, tuleb need osta ja üles ehitada, mitte soovida need pärast kasutuselevõttu olemasolevaks. Avaliku sektori ostjad peaksid küsima tarnijatelt, kuidas süsteem juhtumipõhiseid tõendeid toodab. Kas mudeliversioone saab kinnitada. Kas viipemalle versioonitakse. Kas allikaidentifikaatorid tagastatakse. Kas otsinguotsuseid saab eksportida. Kas poliitikakontrolle logitakse. Kas logisid saab eesmärgi järgi eraldada. Kas auditikirjed on allkirjastatud või võltsimiskindlad. Kas kodanikele suunatud kokkuvõtteid saab genereerida samadest tõenditest ilma tundlikke sisemisi üksikasju avaldamata. Kas asutus saab lahkuda oma tõendid puutumatuna.
Need küsimused võivad tunduda nõudlikena, kuid need on vähem nõudlikud kui vaidlusaluse automatiseeritud protsessi rekonstrueerimine pärast seda, kui ajaleht, kohus, volikogu, parlament või ombudsman on huvi üles näidanud. Tõendite järelpaigaldamine on keeruline, sest puuduvat teavet ei jäädvustatud sageli kunagi. Eilse nähtamatu tehingu külge ei saa tõendit klammerdada. Saab ainult teha tõlgendavat tantsu telemeetria ümber. Seda ei soovitata valitsemismeetodina.
Tõendiliidesed aitavad ka sise meeskondi. Need muudavad hindamise lihtsamaks, sest väljundeid saab võrrelda allika ja reegli olekuga. Need muudavad intsidentidele reageerimise kiiremaks, sest mõjutatud juhtumeid saab jälgida. Need muudavad poliitikamuudatused mõõdetavamaks, sest meeskonnad näevad, millised reeglid tekitavad hõõrdumist. Need muudavad koolituse ohutumaks, sest näiteid saab valida päritolu alusel. Need muudavad kustutamise ja parandamise vähem teatraalseks, sest tuletatud artefaktid on leitavad.
Avaliku sektori asutused ei vaja, et iga tarnija avaldaks iga sisemise saladuse. Mõned komponendid jäävad ühel kihil mustadeks kastideks. Kuid teenus tervikuna peab avalikul piiril tootma kasutatavaid tõendeid. Kui tarnija seda toetada ei suuda, peaks asutus mõistma, mida ta ostab: mitte ainult võimekust, vaid lünka omaenda suutlikkuses võimu üle aru anda.
Kui tõendid paljastavad halva poliitika
Tõendid paljastavad mõnikord, et AI-süsteem pole peamine probleem. See on kasulik ja ebamugav. Tõend võib näidata, et mudel järgis reeglit õigesti, kuid reegel oli aegunud. See võib näidata, et inimene tühistas süsteemi sageli, sest poliitika oli liiga jäik. See võib näidata, et teise osakonna puuduvad andmed põhjustasid korduvaid keeldumisi. See võib näidata, et riskimärgis oli tehniliselt täpne ja sotsiaalselt absurdne. Heal tõendusmaterjalil on ebaviisakas komme vestlust laiendada.
See on üks põhjus, miks asutused võivad kviitungeid vastu seista, ilma et nad seda otse välja ütleksid. Kviitungid loovad vastutuse mitte ainult tehnoloogiatiimidele, vaid ka poliitika omanikele, andmeomanikele, juhtidele, tarnijatele ja valitud juhtidele. Need muudavad raskemaks algoritmi süüdistamise otsuses, mille tegelikult kujundasid poliitika, eelarve, personal või tabel, millel on kangelaslik hulk peidetud veerge. See ebamugavustunne ongi funktsioon. Avalik tehisintellekt ei tohiks pakkuda uut peidukohta vanadele valikutele.
Kviitungid toetavad ka õppimist. Kui paljud juhtumid ebaõnnestuvad sama tõendusnõude tõttu, võib vorm olla ebaselge. Kui paljusid tehisintellekti kokkuvõtteid parandavad töötajad, võib allika väljavõte olla nõrk. Kui apellatsioonid tühistavad korduvalt teatud reeglit hõlmavaid otsuseid, tuleks poliitikat üle vaadata. Kui kodanikud esitavad pärast kviitungi saamist sama küsimuse, pole selgitus piisav. Vastutus muutub ahelaks, mitte mineviku kasutuselevõtu pühamuks.
Avalikel asutustel on lubatud olla ebatäiuslikud. Neil ei ole lubatud olla kontrollimatud, kui nad teostavad võimu. Kviitungid muudavad ebatäiuslikkuse juhitavaks. Need annavad inimestele midagi, mida vaidlustada, ja organisatsioonidele midagi, mida parandada. See on vähem romantiline kui lubadus usaldusväärsest tehisintellektist strateegiadokumendis. See on ka palju kasulikum, mis on praktiliste meetmete teadaolev risk.
Avalik otsus mäluga
Parimad kviitungisüsteemid ei ole passiivsed arhiivid. Need toidavad otsustusahelat. Taotlus siseneb. Volitus ja eesmärk kontrollitakse. Allikad valitakse. Mudel või reeglimootor toetab tööd deklareeritud piirides. Inimroll aktsepteerib, lükkab tagasi või muudab väljundit seal, kus see on nõutud. Kodanik saab tulemuse ja tee. Vaidlused ja parandused naasevad süsteemi tõendusmaterjalina parendamiseks. Kviitung on niit läbi ahela.
See ahel on oluline, sest avalikud teenused muutuvad. Seadusi muudetakse. Vorme kujundatakse ümber. Andmekogumeid puhastatakse. Mudeleid uuendatakse. Organisatsioonilised piirid liiguvad. Eelmise aasta kviitungit võib olla vaja lugeda selle aasta protsessi raames. See nõuab stabiilseid identifikaatoreid, versioonitud reegleid, rändeandmeid ja säilitusdistsipliini. Vastasel juhul võib avalik asutus säilitada kviitungi, mis viitab kadunud süsteemile sõnavaras, mida keegi ei mõista. See ei ole vastutus. See on digitaalne arheoloogia parema kohviga.
Kviitungeid tuleks seetõttu hallata nagu dokumente. Need vajavad omanikku, säilitusgraafikuid, juurdepääsuõigusi, ekspordivorminguid, terviklikkuse kontrolle, kustutamisreegleid ja läbivaatamisprotseduure. Neid ei tohiks jätta kõrvalmõjuna ükskõik millisest logimisteegist, mis juhtus teenuse käivitamisel moes olema. Avalikud dokumendid on kodanikutehnoloogia. Tehisintellekti kviitungid on osa sellest traditsioonist, isegi kui need sisaldavad mudeliversioone täitesulepea allkirjade asemel.
On ka demokraatlik kasu. Kviitungid võimaldavad koondjärelevalvet ilma iga inimest avalikustamata. Asutused saavad mõõta, millised teenused kasutavad tehisintellekti, kus automatiseeritud tugi kujundab tulemusi, kui sageli inimesed otsuseid tühistavad, kus apellatsioonid õnnestuvad, millised allikad tekitavad hõõrdumist ja kas teatud rühmad on ebaproportsionaalselt mõjutatud. Nii saab avalik tehisintellekt liikuda ebamäärasest kinnitusest juhitud praktikani. Mitte paludes ühiskonnal imetleda mudelit, vaid muutes avaliku võimu piisavalt loendatavaks, et seda saaks kahtluse alla seada.
Õppetund
Avalik tehisintellekt vajab kviitungeid, sest avalik võim vajab arvestust. Sujuv mudelivastus ei piisa. Kasulik riskiskoor ei piisa. Edukas piloot ei piisa. Kui AI puudutab õigusi, teenuseid, prioriteete, raha, jõustamist, hoolt, haridust või juurdepääsu, peab asutus suutma näidata volitust, allikaid, mudeli olekut, reegleid, inimese rolli ja läbivaatamise teed, mis tulemuse taga on.
See ei tähenda iga suhtluse muutmist paberimajanduseks. See tähendab tõendusmaterjali kavandamist süsteemi õigel tasandil. Avalikud kviitungid peaksid olema kompaktsed, kihilised, privaatsust säilitavad, rolliteadlikud, võltsimiskindlad ja ühendatud tegeliku läbivaatusega. Need peaksid aitama kodanikel mõista piire, aitama ametnikel kasutada otsustusõigust, aitama audiitoritel sündmusi rekonstrueerida ja aitama asutustel väljakutsetest õppida.
Avalik sektor ei vaja AI-d, mis usaldust etendab. Ta vajab AI-d, mille eest saab aru nõuda. Kviitungid on selle vastutuse tagasihoidlik tehnoloogia. Need on väikesed, igavad ja visalt kasulikud. Avalikus halduses on see kombinatsioon kandnud rohkem kaalu kui enamik manifeste. Avaliku AI tulevik ei otsustu ainult mudeli võimekuse järgi. See otsustub ka selle järgi, kas asutus suudab küsimusele, mis juhtus, pakkuda midagi paremat kui enesekindel õlakehitus.