Viešasis DI reikalauja įrodymų
Skaitiklis be kvito
Viešoji įstaiga be kvitų atrodytų absurdiškai. Įsivaizduokite, kad pratęsiate leidimą, perduodate dokumentus, sumokate mokestį ir iš darbuotojo sulaukiate tik draugiško linktelėjimo. Jokio nuorodos numerio. Jokios datos. Jokios informacijos, kas buvo priimta. Jokio būdo apskųsti. Darbuotojas šypsosi ir sako, kad sistema žinos. Net ir kantriausioje savivaldybėje kažkas eilėje pradėtų daryti tokį veidą, kuris reiškia, kad demokratija tuoj virs popierizmu.
Kvitai yra smulkmenos, bet jie turi institucinį svorį. Jie žmonėms parodo, kad veiksmas įvyko, kad prašymas pateko į procesą, kad pinigai pakeitė savininką, kad buvo pritaikyta taisyklė, kad prasidėjo terminas, kad sprendimą galima rasti iš naujo. Jie nėra įspūdingi. Jie geriau nei įspūdingi. Jie yra kuklus įrodymas, kad valstybė tiesiog neįtraukė jūsų bylos į pilką mašiną ir nepaprašė tikėti.
Viešajam DI dabar reikia to paties įpročio. Kai algoritmas apibendrina bylą, siūlo tinkamumą, reitinguoja patikrinimus, rengia atsakymo projektą, pažymi riziką, nukreipia piliečį ar remia sprendimą, viešoji įstaiga turėtų galėti pateikti kvitą. Ne teatrališką paaiškinimą, sukurtą po fakto. Ne ekrano kopiją. Ne pažadą, kad tiekėjas tikriausiai galės ką nors atkurti, jei darbo valandomis susisieksite su pagalba. Kvitą: glaustą, struktūruotą, suprantamą įrodymą, kas įvyko ir kodėl tam buvo leista įvykti.
Taip yra ne todėl, kad kiekvienas DI veiksmas yra piktybinis. Dažniausiai problema yra ne tokia dramatiška ir labiau įprasta. Sistemos yra sudėtingos. Šaltiniai keičiasi. Politika atnaujinama. Modeliai pakeičiami. Žmonės pereina tarp padalinių. Pilietis po šešių mėnesių ginčija rezultatą. Auditorius klausia, kuri taisyklių versija buvo naudota. Ministras nori užtikrinimo prieš posėdį. Be kvitų organizacija turi atkurti praeitį iš prisiminimų, žurnalų, eksportų ir optimizmo žmogaus, kuris tvirtina, kad architektūros diagrama beveik atitinka tikrovę.
Pasitikėjimas nėra nuotaika
Viešosios įstaigos apie pasitikėjimą dažnai kalba taip, lyg tai būtų šilta atmosfera aplink paslaugas. Būkite skaidrūs, būkite žmogiški, būkite novatoriški, ir pasitikėjimas ateis su daugkartiniu maišeliu. Tai pernelyg minkšta DI. Viešasis pasitikėjimas nėra nuotaika. Tai institucinė sąlyga, kurią sukuria teisės, procedūros, įrašai, peržiūra, apribojimai ir gebėjimas pasakyti, kas įvyko, kai rezultatas yra ginčijamas.
Dirbtinis intelektas tai apsunkina, nes gali priversti administracinį darbą atrodyti sklandesnį, kartu apsunkindamas jo sprendimų priėmimo kelio patikrinimą. Atvejo vadybininkas gali gauti santrauką, kuri yra pakankamai tiksli, kad būtų naudinga. Planuotojas gali gauti rizikos balą, kuris sutaupo laiko. Pilietis gali gauti pokalbio roboto atsakymą, kuris sumažina skambučių poreikį. Tai gali būti tikra nauda. Tačiau kai atsakymas daro įtaką gydymui, prioritetui, tinkamumui, vykdymui ar prieigai prie paslaugos, institucijai reikia daugiau nei naudingumo. Jai reikia viešojo lygmens atskaitomybės.
Viešojo lygmens atskaitomybė reiškia, kad institucija gali susieti rezultatą su įgaliojimu. Ji gali parodyti, kurie duomenys buvo naudoti, o kurie nebuvo leisti. Ji gali parodyti, ar modelis veikė kaip dokumentų rengimo pagalbininkas, rekomendacijų variklis, pirminės atrankos įrankis ar automatizuoto sprendimo komponentas. Ji gali parodyti taisyklių versiją ir žmogaus patvirtinimą, kai to reikalaujama. Ji gali paaiškinti, kaip paveiktas asmuo gali apskųsti rezultatą. Tai ne puošmenos aplink DI. Tai grindys po juo.
Yra pagunda į pasitikėjimo problemas atsakyti plačiais patikinimais. Sistema išbandyta. Modelis saugus. Tiekėjas sertifikuotas. Procesas turi valdyseną. Šie teiginiai gali būti teisingi ir vis tiek nepakankami. Viešasis darbas vyksta atvejis po atvejo. Pilietis negyvena apibendrinto etalono viduje. Jis gyvena savo sprendime, savo byloje, savo termine, savo praleistoje išmokoje, savo patikrinime, savo susitikime, savo neatsakytame klausime. Kvitali atskaitomybę nukelia į lygmenį, kuriame jaučiama viešoji valdžia.
Kvitas nėra tik žurnalas
Pirma klaida yra painioti kvitus su žurnalais. Žurnalai yra vertingi, tačiau jie rašomi mašinoms, operatoriams, saugumo komandoms arba būsimiems nesusipratimams išvengti. Jie gali būti pernelyg išsamūs, pernelyg jautrūs, pernelyg techniški, pernelyg išsibarstę arba pernelyg priklausomi nuo tiekėjo. Kvitas yra suformuotas artefaktas. Jis sukurtas atsakyti į viešosios atskaitomybės klausimus neatskleidžiant kiekvienos paslapties, neperkraunant kiekvieno skaitytojo ir nereikalaujant savaitgalio kurso apie paskirstytąjį sekimą.
Naudingas kvitas turi sluoksnius. Viešajame sluoksnyje gali būti paslaugos kontekstas, data, sprendimo nuoroda, aukšto lygio duomenų kategorijos, taisyklių pagrindas ir apskundimo kelias. Vidiniame sluoksnyje gali būti šaltinio identifikatoriai, modelio versija, užklausos šablonas, paieškos parametrai, politikos patikros, prieigos kontrolė ir recenzento tapatybė. Audito sluoksnyje gali būti maišos, laiko žymos, parašai, saugojimo taisyklės ir nuorodos į nekeičiamus įrodymus. Sluoksniai apsaugo privatumą, kartu išsaugodami galimybę tikrinti. Ne visiems reikia matyti tą pačią detalę. Kažkas turi turėti galimybę pamatyti pakankamai.
Šis skirtumas svarbus, nes viešieji DI kvitali turi netapti stebėjimu kitu pavadinimu. Atsakymas į neskaidrumą nėra įrašyti viską amžinai. Taip valdysenos problema tampa privatumo problema su geresniais aplankais. Kvitali turi būti minimalūs, susieti su tikslu, saugomi aiškų laikotarpį, atskirti nuo nereikalingo turinio ir prieinami per apibrėžtus vaidmenis. Testas paprastas: ar institucija gali paaiškinti rezultatą ir paremti pataisymą nesukurdama nuolatinio kiekvienos piliečio sąveikos dienoraščio.
Žurnalai yra žaliava. Kvitali yra atskaitingas produktas. Subrendusioje sistemoje jie yra susieti. Kvitas gali nukreipti į gilesnius žurnalus, kai to reikalauja įgaliotas tyrimas. Žurnalas gali įrodyti, kad kvitas nebuvo sugalvotas po to, kai prasidėjo ginčas. Tačiau kvitas yra tai, ką viešoji tarnyba gali perduoti savo patiems procesams, o kartais ir paveiktam asmeniui, neverčiant visų grožėtis JSON objektu jo natūralioje aplinkoje.
Pilietis mato ribą
Architektūros diagramos paprastai piešiamos iš vidaus. Langeliai, rodyklės, paslaugos, eilės, modeliai, duomenų bazės, politikos moduliai, darbuotojų portalai. Pilietis nė vieno to nepatiria. Pilietis patiria ribą. Prašymas priimamas arba atmetamas. Rizikos vėliavėlė atsiranda arba ne. Susitikimas prieinamas arba ne. Dokumentas pakankamas arba ne. Atsakymas sako taip, ne, palaukite, įkelkite, skambinkite, skųskite, išeikite.
Toje riboje kvitai svarbiausi. Jei piliečiui pranešama, kad prašymo negalima apdoroti automatiškai, kvite turėtų būti nurodyta, kuri sąlyga neįvykdyta ir kaip ją ištaisyti. Jei AI santrauka turėjo įtakos sprendimui, įraše turėtų būti matyti, kad žmogus jį peržiūrėjo ir kokia šaltinio medžiaga buvo prieinama. Jei pokalbių robotas teikia procedūrinius patarimus, kvite turėtų būti nurodyta viešosios šaltinio versijos data ir paaiškinta, ar patarimas buvo privalomas. Jei rizikos modelis prioritetizuoja patikrinimą, kvite turėtų būti nurodytas teisinis pagrindas, duomenų kategorijos ir skundo kelias, neatskleidžiant metodų, kurie pakenktų pačiam patikrinimui.
Čia nekalbama apie tai, kad kiekviena viešoji sąveika virstų teisine disertacija. Žmonėms neturėtų reikėti advokato, kad suprastų parkavimo leidimą. Tačiau viešoji valdžia žmonėms skolinga suprantamą atskaitos tašką. Kvitą galima padaryti trumpą ir kartu prasmingą: jūsų prašymas buvo įvertintas pagal šią taisyklių versiją, naudojant šiuos įrašus, su tokia automatine pagalba, peržiūrėtas šios pareigybės ir ginčijamas šiuo keliu. Tai ne poezija, ir laimei. Poezijos pasiekimai paslaugų portaluose menki.
Riba svarbi ir pareigūnams. Atvejų tvarkytojai, inspektoriai, mokytojai, planuotojai, gydytojai ir registratūros darbuotojai neturėtų likti su AI rezultatais, kurių kilmės negali paaiškinti. Kvitai apsaugo juos nuo tapimo žmogiškais įvyniojimais aplink paslaptingą mechanizmą. Jie suteikia galimybę pasakyti, ką sistema padarė, kur įsiterpė jų sprendimas ir kada byla turi išeiti iš automatizavimo. Tai ne biurokratija dėl biurokratijos. Tai profesinis orumas su registracijos numeriu.
Procesinės garantijos mašinos laiku
Viešasis administravimas jau turi procesinių garantijų tradicijas: pranešimą, motyvus, prieigą prie įrašų, išklausymą, skundą, proporcingumą, vienodą traktavimą, saugojimo taisykles ir įgaliotą instituciją. AI šių tradicijų nepakeičia. Ji suspaudžia laiką, per kurį jos turi veikti. Modelis gali apdoroti tūkstantį failų iki pietų. Maršruto parinkimo taisyklė gali paveikti ištisus rajonus, kol kas nors tai pastebi. Santraukos klaida gali keliauti darbo eiga greičiau nei pataisymas. Mašinos laikas senąsias teises daro skubesnes, o ne mažiau svarbias.
Kvitai yra vienas iš būdų, kaip užtikrinti, kad tinkamas procesas išliktų net ir esant dideliam greičiui. Jie sukuria pauzes įraše net tada, kai darbo eiga yra sparti. Tą akimirką, kai dirbtinio intelekto sistema paliečia bylą, kvitas gali užfiksuoti tikslą, įgaliojimus, šaltinių apimtį, modelio būseną, politikos patikras ir peržiūros būseną. Tą akimirką, kai žmogus pasikliauja rezultatu, kvitas gali užfiksuoti vaidmenį ir veiksmą. Tą akimirką, kai pilietis gauna sprendimą, kvitas gali suteikti nuorodą ir kelią. Tai suteikia procesui atmintį.
Atmintis svarbi, nes viešos klaidos dažnai atrandamos vėlai. Žmogus gali nežinoti, kad trūkstamas duomenų laukas buvo svarbus, kol negauna atsisakymo skirti išmoką. Inspektorius gali nežinoti, kad šaltinis buvo pasenęs, kol vietos patikrinimas nepradeda atrodyti įtartinai tikslingas. Mokytojas gali nežinoti, kad rizikos vėliavėlė atsirado dėl klaidingo lankomumo duomenų srauto, kol tėvas neužduoda tiesioginio klausimo. Be kvitų vėlyvas atradimas tampa vėlyvu spėjimu. Su kvitais vėlyvas atradimas gali virsti pataisymu.
Tai nereiškia, kad kiekvienas dirbtinio intelekto paremtas žingsnis tampa atskirai skundžiamas. Viešasis procesas turi išlikti veikiantis. Tačiau grandinė turi išsaugoti pakankamai įrodymų prasmingam ginčijimui tinkamu momentu. Jei sistema pateikia pasiūlymą, kurį žmogus ignoruoja, kvitas turėtų tai atspindėti. Jei sistema pateikia rekomendaciją, kurią žmogus priima, kvitas turėtų atspindėti ir tai. Skirtumas svarbus. Visuomenė negali ginčyti vaiduoklio, o pareigūnai negali jo ginti.
Kvitai be stebėjimo
Stipriausias prieštaravimas kvitams yra tas, kad jie galėtų sukurti naujus duomenų pavojus. Šis prieštaravimas yra rimtas. Viešosios institucijos neturėtų spręsti dirbtinio intelekto neaiškumo rinkdamos antrą šešėlinę bylą kiekvienam piliečiui. Kvitų sistema, kuri amžinai saugo nereikalingas užklausas, pilnus pokalbius, jautrias šaltinių ištraukas, vidinius užrašus, įrankių rezultatus ir elgesio pėdsakus, nėra atskaitomybė. Tai labai sutvarkyta problema.
Privatumą išsaugantys kvitai reikalauja dizaino disciplinos. Kur įmanoma, saugokite identifikatorius, o ne pilną turinį. Naudokite maišas vientisumui užtikrinti. Atskirkite piliečiams skirtus kvitus nuo vidinių audito įrašų. Saugokite įrodymus pagal proceso teisinę vertę, o ne pagal saugyklų apetitą. Ištrinkite arba apibendrinkite mažos rizikos sąveikas. Saugokite recenzentų tapatybes ten, kur to reikalauja asmens saugumas ar nepriklausomumas, kartu išlaikydami vaidmens atskaitomybę. Saugokite prieigos žurnalus pačiai kvitų saugyklai, nes įrodymai apie įrodymus turi nemalonų įprotį tapti svarbūs.
Dizainas taip pat turėtų vengti kurti klaidingą tikslumą. Kvitas neturėtų teigti, kad modelis mąstė kaip žmogus, jei jis to nedarė. Jis neturėtų versti tikimybinio rezultato į moralinį vertinimą. Jis neturėtų apsimesti, kad aukštas balas yra faktas. Jis turėtų pasakyti, ką sistema padarė: gavo šiuos šaltinius, pritaikė šią taisyklę, sukūrė šį rezultatą, pažymėjo šį pasitikėjimo intervalą, perdavė šiam vaidmeniui, gavo šį žmogaus veiksmą. Sausa kalba yra pilietinė paslauga. Viešajame sektoriuje jau pakanka dekoratyvaus rūko.
Čia yra naudingas kuklumas. Kvitai nepadaro dirbtinio intelekto tobulai teisingo, tikslaus ar teisėto. Jie daro sistemą labiau patikrinamą. Jie sumažina klaidų radimo išlaidas. Jie sukuria vietą pataisymui. Jie apsunkina institucijoms pasislėpti už frazės „taip pasakė sistema“. Viešajame darbe tai nėra mažas dalykas. Tai skirtumas tarp automatizacijos kaip administravimo ir automatizacijos kaip užrakinto stalčiaus.
Kvitų sąsajos įsigijimas
Jei įrašai svarbūs, jie turi būti įsigyti ir sukurti, o ne išsvajoti po diegimo. Viešieji pirkėjai turėtų klausti tiekėjų, kaip sistema kuria atvejo lygmens įrodymus. Ar modelio versijas galima užfiksuoti. Ar šablonų versijos yra tvarkomos. Ar grąžinami šaltinio identifikatoriai. Ar paieškos sprendimus galima eksportuoti. Ar politikos patikros yra įrašomos. Ar žurnalus galima atskirti pagal paskirtį. Ar audito įrašai yra pasirašyti arba apsaugoti nuo klastojimo. Ar piliečiams skirtas santraukas galima generuoti iš tų pačių įrodymų neatskleidžiant jautrių vidinių detalių. Ar institucija gali išeiti turėdama nepažeistus įrašus.
Šie klausimai gali skambėti reiklūs, bet jie mažiau reiklūs nei atkurti ginčijamą automatizuotą procesą po to, kai juo susidomi laikraštis, teismas, taryba, parlamentas ar ombudsmenas. Įrašų įdiegimas vėliau yra sudėtingas, nes trūkstamų įrodymų dažnai niekada nebuvo užfiksuota. Negalite prikabinti įrašo prie vakarykščio nematomo sandorio. Galite tik atlikti interpretacinį šokį aplink telemetriją. Tai nerekomenduojama kaip valdymo metodas.
Įrašų sąsajos taip pat padeda vidaus komandoms. Jos palengvina vertinimą, nes rezultatus galima palyginti su šaltiniu ir taisyklių būsena. Jos pagreitina incidentų reagavimą, nes paveiktus atvejus galima atsekti. Jos daro politikos pokyčius labiau išmatuojamus, nes komandos mato, kurios taisyklės sukelia trintį. Jos daro mokymą saugesnį, nes pavyzdžius galima atrinkti pagal kilmę. Jos daro ištrynimą ir taisymą mažiau teatrališkus, nes išvestinius artefaktus galima rasti.
Viešosios institucijos neturi reikalauti, kad kiekvienas tiekėjas atskleistų kiekvieną vidinę paslaptį. Kai kurie komponentai viename lygmenyje liks juodosiomis dėžėmis. Tačiau visa paslauga viešojoje riboje turi sukurti naudojamus įrašus. Jei tiekėjas to negali užtikrinti, institucija turėtų suprasti, ką perka: ne tik galimybę, bet ir spragą savo pačios gebėjime atsiskaityti už valdžią.
Kai įrašai atskleidžia blogą politiką
Įrašai kartais atskleis, kad pagrindinė problema nėra dirbtinio intelekto sistema. Tai naudinga ir nepatogu. Įrašas gali parodyti, kad modelis teisingai laikėsi taisyklės, bet taisyklė buvo pasenusi. Jis gali parodyti, kad žmogus dažnai panaikindavo sistemos sprendimą, nes politika buvo pernelyg griežta. Jis gali parodyti, kad kito departamento trūkstami duomenys sukėlė pasikartojančius atsisakymus. Jis gali parodyti, kad rizikos vėliavėlė buvo techniškai tiksli ir socialiai absurdiška. Geri įrodymai turi nemandagų įprotį praplėsti pokalbį.
Tai viena iš priežasčių, kodėl institucijos gali priešintis kvitams to tiesiogiai nesakydamos. Kvitai sukuria atskaitomybę ne tik technologijų komandoms, bet ir politikų savininkams, duomenų savininkams, vadovams, tiekėjams ir išrinktiems lyderiams. Jie apsunkina galimybę kaltinti algoritmą dėl sprendimo, kurį iš tikrųjų suformavo politika, biudžetas, personalas ar skaičiuoklė su herojišku paslėptų stulpelių skaičiumi. Tas diskomfortas yra savybė. Viešasis dirbtinis intelektas neturėtų suteikti naujos slėptuvės seniems sprendimams.
Kvitai taip pat skatina mokymąsi. Jei daug bylų žlunga dėl to paties įrodymų reikalavimo, forma gali būti neaiški. Jei daug dirbtinio intelekto santraukų ištaiso darbuotojai, šaltinių išgavimas gali būti silpnas. Jei skundai pakartotinai panaikina sprendimus, susijusius su konkrečia taisykle, politiką reikėtų peržiūrėti. Jei piliečiai užduoda tą patį klausimą gavę kvitą, paaiškinimas nėra pakankamai geras. Atskaitomybė tampa ciklu, o ne šventove praėjusiam diegimui.
Viešosios institucijos gali būti netobulos. Jos negali būti nepatikrinamos, kai naudojasi valdžia. Kvitai daro netobulumą valdomą. Jie suteikia žmonėms ką ginčyti, o organizacijoms ką tobulinti. Tai mažiau romantiška nei žadėti patikimą dirbtinį intelektą strategijos dokumente. Tačiau tai kur kas naudingiau, o tai yra žinoma praktinių priemonių rizika.
Viešas sprendimas su atmintimi
Geriausios kvitų sistemos nėra pasyvūs archyvai. Jos maitina sprendimų ciklą. Įeina užklausa. Patikrinamas įgaliojimas ir tikslas. Parenkami šaltiniai. Modelis ar taisyklių variklis palaiko darbą deklaruotose ribose. Žmogaus vaidmuo priima, atmeta arba keičia rezultatą, kai to reikia. Pilietis gauna rezultatą ir kelią. Ginčai ir pataisymai grįžta į sistemą kaip įrodymai tobulėjimui. Kvitai yra gija, jungianti visą ciklą.
Šis ciklas svarbus, nes viešosios paslaugos keičiasi. Įstatymai keičiami. Formos perprojektuojamos. Duomenų rinkiniai valomi. Modeliai atnaujinami. Organizacinės ribos juda. Praėjusių metų kvitą gali tekti skaityti pagal šių metų procesą. Tam reikia stabilių identifikatorių, versijuotų taisyklių, migracijos įrašų ir saugojimo disciplinos. Priešingu atveju viešoji įstaiga gali išsaugoti kvitą, kuris nurodo išnykusią sistemą žodynu, kurio niekas nesupranta. Tai ne atskaitomybė. Tai skaitmeninė archeologija su geresne kava.
Kvitai todėl turėtų būti valdomi kaip įrašai. Jiems reikia nuosavybės, saugojimo grafikų, prieigos teisių, eksporto formatų, vientisumo patikrų, ištrynimo taisyklių ir peržiūros procedūrų. Jie neturėtų likti šalutiniu poveikiu kokios nors registravimo bibliotekos, kuri buvo madinga paleidžiant paslaugą. Viešieji įrašai yra pilietinė technologija. Dirbtinio intelekto kvitai yra tos tradicijos dalis, net jei juose yra modelių versijos, o ne plunksnakočio parašai.
Taip pat yra demokratinė nauda. Kvitai leidžia vykdyti apibendrintą priežiūrą neatskleidžiant kiekvieno asmens. Institucijos gali įvertinti, kurios paslaugos naudoja dirbtinį intelektą, kur automatinė pagalba formuoja rezultatus, kaip dažnai žmonės perima sprendimus, kur skundai pasiseka, kurie šaltiniai sukelia trintį ir ar tam tikros grupės patiria neproporcingą poveikį. Taip viešasis dirbtinis intelektas gali pereiti nuo miglotų pažadų prie valdomos praktikos. Ne prašant visuomenės žavėtis modeliu, o padarant viešąją valdžią pakankamai apskaičiuojamą, kad ją būtų galima kvestionuoti.
Pamoka
Viešajam dirbtiniam intelektui reikia kvitų, nes viešajai valdžiai reikia įrašų. Sklandaus modelio atsakymo nepakanka. Naudingo rizikos balo nepakanka. Sėkmingo bandomojo projekto nepakanka. Kai DI paliečia teises, paslaugas, prioritetus, pinigus, prievartą, priežiūrą, švietimą ar prieigą, institucija turi gebėti parodyti už rezultato slypinčius įgaliojimus, šaltinius, modelio būseną, taisykles, žmogaus vaidmenį ir peržiūros kelią.
Tam nereikia kiekvienos sąveikos paversti popierizmu. Reikia įrodymus įdiegti į sistemą tinkamu lygmeniu. Viešieji kvitai turėtų būti kompaktiški, sluoksniuoti, privatumą išsaugantys, vaidmenis atitinkantys, apsaugoti nuo klastojimo ir susieti su realia peržiūra. Jie turėtų padėti piliečiams suprasti ribas, pareigūnams įgyvendinti sprendimus, auditoriams atkurti įvykius, o institucijoms mokytis iš iššūkių.
Viešajam sektoriui nereikia DI, kuris vaidina pasitikėjimą. Jam reikia DI, kurį galima patraukti atsakomybėn. Kvitai yra kukli tos atskaitomybės technologija. Jie maži, nuobodūs ir atkakliai naudingi. Viešajame administravime šis derinys turėjo daugiau svorio nei dauguma manifestų. Viešojo DI ateitį lems ne tik modelio pajėgumas. Ją lems ir tai, ar paklausta, kas įvyko, institucija gali pateikti ką nors geriau nei įsitikinęs gūžtelėjimas pečiais.