Evropa ne more regulirati tega, česar ne more pregledati.
Obravnava s čudovitim diagramom
Najbolj eleganten arhitekturni diagram, kar sem jih kdaj videl na javni obravnavi, ni imel nobene operativne vrednosti. Projiciran je bil na steno v prostoru z odličnimi mikrofoni in razočarajočo kavo. Sistem, o katerem je tekla razprava, je vplival na odločitve o upravičenosti za tisoče ljudi. Dobavitelj je prikazal čist sklad: podatke, model, pravila, delovni tok, človeški pregled, poročanje. Puščice so bile ravne. Barve so bile zadržane. Prosojnica je imela tisto vrsto miru, ki se pojavi le, ko ni povabljena nobena čakalna vrsta, izjema, izvoz, popravek ali jezen uporabnik.
Član komisije je zastavil preprosto vprašanje. Ali lahko regulator pregleda dejansko odločitev od vnosa do izida. Ne povzetek. Ne vzorec, ki ga je izbral dobavitelj. Ne posnetek zaslona nadzorne plošče. Dejanski primer s podatki, ki so bili na voljo v tistem času, različico pravil, različico modela, pravicami dostopa, človeškim preglasovanjem, dnevniki in potjo do popravka. Prostor je postal previden. Ljudje so uporabljali besede, kot so poslovno občutljivo, sorazmerno, načrt vmesnikov in sveženj zagotovil. To niso vedno izmikanja. Včasih so pošteni opisi sistemov, zgrajenih brez pregleda kot prvovrstne zahteve.
Trenutek zajema evropski problem. Evropi je udobno pisati obveznosti. Manj udobno ji je graditi tehnične pogoje, zaradi katerih so te obveznosti pregledne. Pravo lahko zahteva poštenost, preglednost, odgovornost, obvladovanje tveganj, izbris, pojasnljivost in človeški nadzor. Toda če sistem ne more proizvesti dokazov, če je izvor podatkov nejasen, če različice modelov niso določene, če dnevnike nadzira pregledana stranka, če odločitev ni mogoče ponoviti in če javno naročanje sprejema gledališče kot dokaz, postane regulacija lepo oblečen opazovalec. Evropa ne more regulirati tega, česar ne more pregledati.
Pregled ni radovednost
Pregled se včasih obravnava kot birokratski apetit, kot da si regulatorji preprosto želijo več dokumentov, ker mape delujejo uradno. To ne razume bistva. Pregled je praktična pot od pravila do pravnega sredstva. Državljan izpodbija odločitev. Bolnišnica preverja, ali je model za razvrščanje spremenil vedenje po posodobitvi. Občina želi vedeti, ali je signal goljufije uporabil prepovedan posredni dejavnik. Šola sprašuje, zakaj je bil otrok označen za dodatno spremljanje. Nabavna ekipa mora preveriti, ali je izbris dosegel izpeljana shrambe. Brez pregleda vsak od teh primerov postane pogajanje o prepričanju.
Resen pregled je ožji od neomejenega dostopa in močnejši od sporočila za javnost. Zahteva prave dokaze na pravi ravni. Kateri podatki so bili na voljo. Katere transformacije so bile uporabljene. Kateri model, pravilnik, poziv, prag in politična vrata so se izvedli. Kateri človeški ali avtomatizirani akter je odobril izid. Kateri dnevniki prikazujejo dostop. Katera alternativna pot je bila mogoča. Kateri mehanizem za popravek obstaja. Bistvo ni narediti vsak sistem pregleden v mističnem smislu. Bistvo je narediti pomembno vedenje dovolj preverljivo, da ga je mogoče izpodbijati, izboljšati in uveljaviti.
Digitalni sistemi so še posebej dobri v tem, da delujejo odgovorno, medtem ko ostajajo težko pregledni. Proizvajajo nadzorne plošče. Proizvajajo izvoze. Proizvajajo letna poročila. Proizvajajo ocene zaupanja s čustveno stabilnostjo horoskopa. Nobeno od tega ni pregled, razen če je povezano z osnovno sledjo dogodkov. Izjava o skladnosti je lahko resnična v duhu in neuporabna v sporu. Agregatna metrika lahko skrije tisto skupino, ki je pomembna. Kartica modela lahko opisuje usposabljanje, medtem ko je proizvodni cevovod tiho spremenil pridobivanje, pragove in pravila za rezervne možnosti. Pregled se začne tam, kjer se dekorativna plast konča.
Evropska prednost je hkrati njena past
Evropa ima resno tradicijo javnega prava, varstva potrošnikov, varstva podatkov, varnosti izdelkov, delavskih pravic, konkurenčne politike in institucionalnih postopkov. Ta tradicija je pomembna. Daje jezik škodam, ki jih čista tržna logika pogosto obravnava kot vreme. Priznava, da se moč lahko skriva v infrastrukturi. Vztraja, da ljudje, na katere sistemi vplivajo, zaslužijo več kot skomigni z rameni in stran s pogoji. To je prednost, ne papirologija zaradi papirologije.
Past je prepričanje, da se dobri pravni koncepti samodejno spremenijo v dobre tehnične nadzore. Omejitev namena se ne implementira sama. Nediskriminacija se ne pojavi zato, ker ima nadzorna plošča zavihek za pravičnost. Človeški nadzor ni prisoten zgolj zato, ker lahko utrujeni zaposleni klikne odobritev, potem ko je sistem že oblikoval zadevo. Preglednost ni lastnost datoteke PDF. Izbris ni dokončan, ker je primarna tabela odstranila vrstico, medtem ko predpomnilniki, varnostne kopije, indeksi, izvozi in učni nabori nadaljujejo svoje tiho posmrtno življenje. Pravice potrebujejo mehanizme.
Ti mehanizmi niso glamurozni. So različice podatkov, stabilni identifikatorji, izvorne evidence, registri modelov, revizijski dnevniki, nadzori dostopa, politična vrata, nabori za vrednotenje, orodja za ponovno izvajanje, izvozni formati, postopki za incidente in neodvisne hrambe dokazov. So zmožnost vprašati sistem, kaj se je zgodilo v torek marca, in prejeti več kot občutke v formatu JSON. Evropa pogosto blesti pri poimenovanju dolžnosti. Zdaj mora postati enako resna glede infrastrukture, ki dolžnosti omogoča, da učinkuje.
Črna škatla je pogosto črna dobavna veriga
Ko ljudje govorijo o črnih škatlah umetne inteligence, si običajno predstavljajo model kot neprozoren predmet. To je lahko res. Nekatere modele je težko razlagati navznoter. Toda številne napake pri upravljanju so manj skrivnostne. Škatla je črna, ker veriga okoli modela ni pregledana. Nihče ne more povedati, kateri izvorni dokumenti so bili v indeksu. Nihče ne more pokazati, katera različica poziva je bila uporabljena. Nihče ne more ločiti napake modela od napake pri iskanju. Nihče ne ve, ali je rezervna storitev uporabljala drugačno politiko. Nihče ne more dokazati, da izbrisan zapis še vedno ni bil prisoten v vzorcu za vrednotenje. Skrivnost ni inteligenca. Je knjigovodstvo z boljšim trženjem.
Inšpektabilen sistem umetne inteligence ima za odločitve seznam sestavin. Navaja izvorne zbirke, licence, stanja privolitev, preverjanja kakovosti podatkov, korake transformacije, modele vdelav, pravila razvrščanja, uteži modelov, prilagoditve, pozive, varnostne plasti, dovoljenja za orodja, pravila človeškega pregleda in politiko beleženja. To zveni težko, dokler se kaj ne zalomi. Potem zveni kot minimalno odraslo pohištvo v prostoru. Brez tega vsaka preiskava postane vljudno brskanje po portalih prodajalcev, spominih Slacka in preglednicah z imenom final-final-resnično.
Razmišljanje v okviru dobavne verige preprečuje tudi leno obliko krivde na račun prodajalca. Dobavitelj je lahko odgovoren za nekatere plasti. Javna ustanova, bolnišnica, banka, šola ali operater platforme je lahko odgovoren za druge. Nabava je morda sprejela šibke izvozne pravice. Razvoj je morda preskočil podatkovne pogodbe. Pravna služba je morda obravnavala revizijske dnevnike kot pogodbeno prilogo namesto kot operativne dokaze. Vodstvo je morda nagrajevalo hitrost uvajanja na račun inšpektabilnosti. Regulativa deluje le, kadar je mogoče odgovornost pripisati plasti, kjer dejansko živi nadzor.
Samopotrjevanje ima svojo mejo
Samoocenjevanje je koristno. Ekipe bi morale dokumentirati tveganja, izvajati evalvacije, preizkušati nadzore in pojasnjevati oblikovalske odločitve. Zreli dobavitelji pogosto poznajo svoje sisteme bolje kot kdorkoli drug. Pretvarjati se, da ni tako, je otročje. Toda samopotrjevanje ima svojo mejo, ker spodbude niso nevtralne. Ekipa, ki si sama pregleduje domačo nalogo, je lahko še vedno poštena, vendar poštenost ni arhitektura. Regulatorji in stranke potrebujejo načine za preverjanje pomembnih trditev, ne da bi bili v celoti odvisni od stranke, ki je predmet pregleda.
To ne pomeni, da mora imeti vsak regulator neomejen dostop do izvorne kode, osebnih podatkov, poslovnih skrivnosti in produkcijskih sistemov. To ne bi bilo niti sorazmerno niti modro. Pomeni, da je treba zasnovati vmesnike za inšpekcijo. Regulator bi morda potreboval podpisane dnevnike, ponovljive preizkuse, izvoze sledljivosti podatkov, potrdila o različicah modelov, potrdila o izbrisu, vzorčene zapise odločitev, dokaze o evalvacijah in dostop do neodvisnih revizijskih artefaktov. Meja je lahko ozka. Ne more biti namišljena.
Najboljši inšpekcijski režimi spoštujejo legitimno zaupnost, hkrati pa zavračajo dokazno praznino. Dobavitelju ni treba razkriti vsake skrivnosti, da bi dokazal, da je sistem upošteval pravilo. Mora pa razkriti dovolj neodvisno preverljivih dokazov, da je mogoče pravilo uveljaviti. Evropa ima tu izkušnje. Varnost izdelkov, finančni nadzor, sledljivost živil, letalstvo, medicina in energetika se vsi ukvarjajo z občutljivimi informacijami. Nobeden od njih ne deluje tako, da bi brošuro sprejel kot dokaz, da je stroj v redu.
Merila uspešnosti niso inšpekcija
Merila uspešnosti so lahko koristna. Pokažejo delovanje pod določenimi pogoji, primerjajo sisteme in razkrijejo poslabšanja. Prav tako pa jih je nevarno lahko preceniti. Model, ki dobro deluje na merilih uspešnosti, lahko odpove v lokalnem delovnem toku, ker so podatki drugačni, prag je napačen, poziv se je spremenil, plast za pridobivanje informacij je zastarela, populacija uporabnikov ni podobna testnemu nizu ali pa posledica zahteva vrsto zanesljivosti, ki je merila uspešnosti nikoli niso izmerila. Rezultati meril uspešnosti so vremenska poročila z določenega hriba. Niso pregled zgradbe.
Evropa bi morala biti previdna pri zamenjavi gledališča meril uspešnosti z operativnimi dokazi. Sistem lahko prestane javni test in je še vedno nepregleden, ko oseba izpodbija odločitev. Lahko doseže merilo pravičnosti in še vedno skriva nadomestni kazalnik v nadaljnjem pravilu. Lahko kaže nizke stopnje halucinacij in še vedno navaja dokumente, ki jih uporabnik ni smel videti. Lahko se dobro odreže v laboratoriju in odpove, ko dobavitelj tiho spremeni model za vdelane predstavitve. Javna številka je lahko resnična. Samo ni celotna sled.
Pregled zahteva teste, specifične za kontekst in povezane z dejansko uporabo. Katere so naloge. Katere skupine so prizadete. Kateri podatki so avtoritativni. Kateri jeziki, robni primeri in načini odpovedi so pomembni. Kateri izidi povzročijo pravne ali materialne učinke. Kateri korak človeškega pregleda lahko resnično spremeni izid. Kateri dokazi preživijo pritožbo. Splošna merila uspešnosti lahko prispevajo k izhodišču, vendar ne morejo nadomestiti lokalnega vprašanja. Ali se ta sistem, na tem mestu, v skladu s to politiko, s temi podatki, obnaša na način, ki ga je mogoče preučiti in popraviti.
Dnevniki so politična infrastruktura
Dnevniki zvenijo tehnično, dokler se ne začne spor. Nato postanejo politična infrastruktura. Kdor nadzoruje dnevnik, nadzoruje, kaj si je mogoče zapomniti. Če lahko pregledana stranka po želji prepisuje, filtrira, zamuja ali povzema dokaze, je nadzor šibek. Če dnevniki izpuščajo pomembne plasti, je nadzor zgolj gledališče. Če dnevniki vsebujejo preveč osebnih podatkov, nadzor postane nova težava glede zasebnosti. Odgovor ni čim večje beleženje. Odgovor so načrtovani dokazi: ozki, trajni, z vidnimi znaki poseganja, z nadzorovanim dostopom in povezani z resničnimi dogodki.
Za odločitve, ki temeljijo na umetni inteligenci in so avtomatizirane, bi morali uporabni dnevniki povezovati sklice na vnose, preverjanja kakovosti podatkov, pridobljene dokaze, različice modelov ali pravil, politična vrata, klicanja orodij, človeška dejanja, izide, obvestila in dogodke popravkov. Kjer je mogoče, bi morali izključevati skrivnosti z uporabo zgoščenih vrednosti, sklicev, redigiranja in ločevanja. Podpirati bi morali vzorčenje in preiskave, ne da bi morali revizorji brskati po zasebnih zapisih kot turisti s skrbniškimi pravicami. Preživeti bi morali spremembe prodajalčevih nadzornih plošč in nabavne cikle. Dnevnik, ki izgine, ko se pogodba konča, ni bil institucionalni spomin. Bil je najemni dnevnik.
Neodvisni dokazi so pomembni, ker javna oblast ne more temeljiti na zasebnih posnetkih zaslona. Regulatorju ni treba imeti v lasti vsakega sistema. Mora pa imeti zaupanje, da dokazi o pomembnih sistemih preživijo spodbude reguliranih strank. To lahko pomeni dnevnike v lasti strank, revizijske shrambe tretjih oseb, podpisane tokove dogodkov, ponovljive izvoze ali zakonske obveznosti glede hrambe. Podrobnosti se razlikujejo. Načelo se ne. Nadzor brez zanesljivih zapisov je upravljanje s pripovedovanjem zgodb.
Nabava piše pravice do nadzora
Ko pride regulator, je veliko odločitev o nadzoru že sprejela nabava. Pogodba je odločila, ali je dnevnike mogoče izvažati. Varnostna priloga je odločila, ali so ključi v upravljanju stranke. Opis storitve je odločil, ali je mogoče fiksirati različice modela. Pogoji obdelave podatkov so odločili, ali je izpeljane podatke mogoče ponovno uporabiti. Izhodna klavzula je odločila, ali lahko dokazi zapustijo sistem v uporabni obliki. Pogodba o podpori je odločila, kdo se sme dotakniti produkcije in kakšna sled ostane. Nabava ni papirologija po arhitekturi. Je arhitektura z nabavnim oddelkom.
To je neprijetno, ker javni in zasebni kupci digitalne sisteme pogosto ocenjujejo po funkcijah, ceni in terminskem načrtu izvedbe. Preglednost se obravnava kot lepa tema o zagotovilih, včasih obravnavana šele potem, ko je prednostni dobavitelj že čustveno izbran. To je prepozno. Če bo sistem vplival na pravice, storitve, varnost, denar, delo, izobraževanje, zdravje ali javno zaupanje, pravice do nadzora niso neobvezna dekoracija. So del izdelka. Poceni sistem, ki ga ni mogoče nadzorovati, lahko postane drag prvič, ko sodišče, revizor, novinar, sindikat, pacient, državljan ali upravni odbor zastavi natančno vprašanje.
Dobra nabava zahteva vmesnike za dokaze pred zagonom. Vpraša, kako so odločitve sledljive, kako so različice fiksirane, kako so spremembe sporočene, kako se testi ponovno izvajajo, kako je izbris dokazan, kako so posodobitve modela nadzorovane, kako so lokalni podatki ločeni, kako je dostop podpore zabeležen, kako so spori vzorčeni in kako izhod ohranja institucionalni spomin. Ta vprašanja ne ubijajo inovacij. Ubijajo posebno vrsto optimizma, ki rad najprej izstavi račun in šele nato pojasnjuje. Evropa ne potrebuje manj ambicij. Potrebuje ambicije, ki preživijo nadzor.
Človeški nadzor mora biti prav tako pregleden
Človeški nadzor je ena najbolj zlorabljenih besednih zvez v digitalnem upravljanju. Oseba v bližini sistema ni samodejno nadzor. Oseba, ki klikne odobritev na vnaprej izpolnjeno priporočilo brez časa, dokazov, pooblastil ali povratnih informacij, ni smiseln nadzor. Oseba, ki pregleduje robne primere, medtem ko sistem tiho usmerja večino primerov, ni dovolj, razen če je mogoče nadzorovati samo usmerjanje. Človeški nadzor mora biti oblikovan kot odločitvena plast s pooblastili, omejitvami, omejitvami delovne obremenitve in zapisi.
Preverjanje človeškega nadzora pomeni zastavljanje praktičnih vprašanj. Kaj je pregledovalec videl. Kateri dokazi so bili skriti ali nedostopni. Ali je pregledovalec lahko spremenil izid. Ali je bilo nestrinjanje zabeleženo. Ali so odobritev pospešili pritisk, dolžina čakalne vrste ali privzeta zasnova. Ali so bili popravki vključeni nazaj v vrednotenje. Ali se je sistem učil iz človeških popravkov ali jih je le absorbiral v nadzorno ploščo. Ali so bili pregledovalci usposobljeni za politiko ali le za vmesnik. Človek v zanki lahko ščiti ljudi. Človek v zanki lahko postane tudi goba za odgovornost z geslom.
Evropa bi se morala upreti udobju simboličnih ljudi. Namen nadzora ni dodati obraz avtomatizaciji. Namen je ustvariti resnično kontrolno točko, kjer lahko presoja spremeni pomembno pot. Ta kontrolna točka mora pustiti dokaze, sicer nihče ne more ugotoviti, ali je delovala. Če zakon zahteva človeški nadzor, sistem pa zabeleži le odobril operater, je zakon prejel gumb, ne pa zaščite.
Zmožnost pregleda je javna zmogljivost
O regulaciji se pogosto razpravlja kot o besedilu: členi, uvodne izjave, standardi, smernice, pogodbe, kodeksi ravnanja. Besedilo je pomembno, vendar zmožnost pregleda pomeni tudi ljudi, orodja, proračune, preskusna okolja, pravila dostopa do podatkov, varnostna dovoljenja, tehnično usposabljanje in institucionalno potrpežljivost. Regulator, ki prejme milijone vrstic dnevnikov brez orodij, ni opolnomočen. Regulator, ki ima orodja, a nima pooblastila zahtevati dokazov, ni opolnomočen. Regulator, ki je povsem odvisen od pojasnil dobaviteljev, ni opolnomočen. Zmogljivost je neugledna polovica suverenosti.
Evropa potrebuje inšpektorje, ki znajo brati sisteme kot sisteme. Ni treba, da vsak pravnik postane inženir, in ni treba, da vsak inženir postane pravnik. Toda inšpekcijske ekipe potrebujejo skupno sposobnost preslikave delovnih tokov, branja dnevnikov, razumevanja izvora podatkov, presoje vrednotenja modelov, odkrivanja nadomestnih spremenljivk, pregleda poti brisanja, preizkušanja nadzora dostopa in prevajanja ugotovitev v izvršljiv jezik. To je strokovno delo. Ne bo ga rešilo eno usposabljanje o etiki umetne inteligence in nov portal z modrim gumbom.
Institucije potrebujejo tudi skupne vzorce. Skupne sheme dokazov, ponovljivi revizijski paketi, formati za poročanje o incidentih, potrdila o različicah, potrdila o brisanju, obvestila o spremembah modelov in preskusna ogrodja lahko zmanjšajo trenja. Standardizacija ne sme izravnati vsakega področja. Zdravstvo, finance, izobraževanje, delo in javna uprava imajo različne vrste škode. Toda skupni temelji pregleda bi preprečili, da bi vsaka preiskava izumljala lastno lopato. Evropa je naklonjena okvirom. Tu mora okvir vključevati dejanske ročaje.
Zanka, ki daje pravilom zobe
Pregled ni enkratna slovesnost. Sistemi se spreminjajo. Podatki odstopajo. Dobavitelji posodabljajo storitve. Politike se premikajo. Pojavljajo se nove skupine uporabnikov. Stroški vplivajo na usmerjanje. Zaobhodi postanejo navade. Sistem, ki je bil sprejemljiv januarja, je lahko septembra tvegan, ker se je svet okoli njega spremenil ali ker se je sistem naučil novega načina samozavestnega zmotnega ravnanja. Regulacija, ki pregleduje le ob vstopu, je kot preverjanje kuhinje v restavraciji, ko je barva še mokra, in se nikoli več ne vrne po kosilu.
Uporaben vzorec je zanka. Opredelite obveznost v operativnem smislu. Vzorčite dejanske dogodke. Sledite dokazom. Preizkusite sistem v znanih in nasprotniških pogojih. Odredite popravek, kjer je potreben. Preverite, da je popravek spremenil vedenje. Vključite ugotovitev nazaj v naročanje, standarde in smernice. Ta zanka ni glamurozna, a tudi požarne vaje niso. Bistvo ni drama. Bistvo je institucionalni mišični spomin.
Za organizacije, ki so predmet regulacije, je ta zanka prav tako zdrava. Ločuje resnično tveganje od govoric. Ekipam omogoča, da dobro delo dokažejo z dokazi, namesto da bi prosile za zaupanje. Zanka odkrije šibke nadzorne mehanizme, preden ti postanejo javni neuspehi. Nabavi daje boljša vprašanja, inženirjem pa jasnejše zahteve. Preprečuje, da bi upravljanje postalo muzej obljub. Inšpekcije se ne bi smeli bati, ker bi bila sovražna. Pričakovati bi jo morali, ker resni sistemi vplivajo na resnična življenja.
Kaj mora Evropa zgraditi
Sklep ni ta, da bi morala Evropa regulirati manj. Gre za to, da bi morala Evropa regulirati z boljšimi instrumenti. Močne pravice in dolžnosti so nujne, vendar jih je treba dopolniti s tehničnimi zahtevami po dokazih, disciplino pri nabavi, neodvisnimi dnevniki, različnimi sistemi, praktičnimi revizijskimi vmesniki, usposobljenimi inšpekcijskimi ekipami in potmi za odpravo nepravilnosti, ki jih je mogoče preveriti. V nasprotnem primeru postane pravni jezik lep diagram: skladen, miren in nezmožen odgovoriti, kaj se je zgodilo v resničnem primeru.
Tu je lekcija o suverenosti. Suverenost ni zastava v oblačni regiji ali govor o vrednotah. Je zmožnost pregledovati, ustaviti, popraviti, zamenjati in pojasniti sisteme, ki oblikujejo zasebno in javno življenje. Če dokazi živijo drugje, če so ključne različice neznane, če so dnevniki spremenljivi, če izhod uniči spomin ali če regulatorji nimajo orodij za preverjanje trditev, je Evropa odvisna, tudi če je politično besedilo odlično. Odvisnost ni vedno videti kot tuji nadzor. Včasih je videti kot manjkajoči gumb za izvoz.
Evropa ne more regulirati tega, česar ne more pregledati. Ta stavek ne bi smel biti razumljen kot pesimizem. Je oblikovalska zahteva. Zgradite sisteme, ki puščajo sorazmerne dokaze. Kupujte sisteme s pravicami do pregleda. Usposobite regulatorje za branje tehničnih sledi. Zahtevajte odprave nepravilnosti, ki jih je mogoče preveriti. Obravnavajte človeški nadzor kot resnično kontrolno točko. Nehajte sprejemati nadzorne plošče kot dokaz. Zakon lahko določi, kaj mora biti res. Inšpekcija je način, kako Evropa ugotovi, ali je.