Europa ne može regulirati ono što ne može nadzirati
Saslušanje s prekrasnim dijagramom
Najeleganciji arhitektonski dijagram koji sam ikad vidio na javnom saslušanju nije imao nikakvu operativnu vrijednost. Bio je projiciran na zid u prostoriji s izvrsnim mikrofonima i razočaravajućom kavom. Sustav o kojem se raspravljalo utjecao je na odluke o podobnosti za tisuće ljudi. Dobavljač je prikazao uredan sloj: podatke, model, pravila, tijek rada, ljudski pregled i izvještavanje. Strelice su bile ravne. Boje su bile suzdržane. Slajd je imao onu vrstu smirenosti koja se pojavljuje samo kad nijedan red čekanja, iznimka, izvoz, zakrpa ili ljutiti korisnik nisu pozvani.
Član odbora postavio je jednostavno pitanje. Može li regulator pregledati stvarnu odluku od ulaza do ishoda. Ne sažetak. Ne uzorak koji je odabrao dobavljač. Ne snimku nadzorne ploče. Stvarni slučaj, s podacima dostupnima u tom trenutku, verzijom pravila, verzijom modela, pravima pristupa, ljudskom izmjenom, zapisnicima i putem do ispravka. Prostorija je postala oprezna. Ljudi su koristili riječi poput poslovno osjetljivo, proporcionalno, plan razvoja sučelja i paket osiguranja. To nisu uvijek izbjegavanja. Ponekad su to iskreni opisi sustava izgrađenih bez nadzora kao prvoklasnog zahtjeva.
Taj trenutak sažima europski problem. Europa je vješta u pisanju obveza. Manje je vješta u izgradnji tehničkih uvjeta koji te obveze čine nadziranima. Zakon može zahtijevati pravednost, transparentnost, odgovornost, upravljanje rizicima, brisanje, objašnjivost i ljudski nadzor. No ako sustav ne može proizvesti dokaze, ako je sljedivost podataka nejasna, ako verzije modela nisu fiksirane, ako zapisnike kontrolira nadzirana strana, ako se odluke ne mogu reproducirati i ako nabava prihvaća teatralnost kao dokaz, regulacija postaje dobro odjeveni promatrač. Europa ne može regulirati ono što ne može nadzirati.
Nadzor nije znatiželja
Nadzor se ponekad tretira kao birokratski apetit, kao da regulatori jednostavno žele više dokumenata jer mape djeluju službeno. To pogrešno shvaća poantu. Nadzor je praktičan put od pravila do pravne zaštite. Građanin osporava odluku. Bolnica provjerava je li model trijaže promijenio ponašanje nakon ažuriranja. Općina želi znati je li signal prijevare koristio zabranjeni zamjenski pokazatelj. Škola pita zašto je dijete označeno za dodatno praćenje. Tim za nabavu mora provjeriti je li brisanje dosegnulo izvedene pohrane. Bez nadzora svaki od tih slučajeva postaje pregovaranje o uvjerenjima.
Ozbiljan nadzor uži je od neograničenog pristupa i jači od priopćenja za medije. Traži prave dokaze na pravoj razini. Koji su podaci bili dostupni. Koje su transformacije primijenjene. Koji su model, pravilnik, upit, prag i pravila politike izvršeni. Koji je ljudski ili automatizirani akter odobrio ishod. Koji zapisnici pokazuju pristup. Koja je alternativna putanja bila moguća. Koji mehanizam ispravka postoji. Poanta nije učiniti svaki sustav transparentnim u mističnom smislu. Poanta je učiniti značajno ponašanje dovoljno ispitivim da se može osporiti, poboljšati i provesti.
Digitalni sustavi posebno su vješti u djelovanju odgovornima dok ostaju teško nadzirivi. Proizvode nadzorne ploče. Proizvode izvoze. Proizvode godišnja izvješća. Proizvode ocjene pouzdanosti s emocionalnom stabilnošću horoskopa. Ništa od toga nije nadzor osim ako nije povezano s temeljnim tragom događaja. Izjava o usklađenosti može biti istinita u duhu, a beskorisna u sporu. Agregirani pokazatelj može sakriti upravo onu skupinu koja je bitna. Kartica modela može opisivati obuku dok je proizvodni cjevovod tiho promijenio dohvat, pragove i pravila rezervnog ponašanja. Nadzor počinje tamo gdje dekorativni sloj završava.
Europska snaga ujedno je i zamka
Europa ima ozbiljnu tradiciju javnog prava, zaštite potrošača, zaštite podataka, sigurnosti proizvoda, radnih prava, politike tržišnog natjecanja i institucionalnog postupka. Ta tradicija je važna. Ona daje jezik štetama koje čista tržišna logika često tretira kao vremenske nepogode. Prepoznaje da se moć može sakriti unutar infrastrukture. Inzistira na tome da ljudi na koje sustavi utječu zaslužuju više od slijeganja ramenima i stranice s uvjetima. To je snaga, a ne papirologija radi papirologije.
Zamka je uvjerenje da dobri pravni koncepti automatski postaju dobre tehničke kontrole. Ograničenje svrhe ne implementira se samo od sebe. Nediskriminacija se ne pojavljuje zato što nadzorna ploča ima karticu pravednosti. Ljudski nadzor nije prisutan samo zato što umorni zaposlenik može kliknuti odobri nakon što je sustav već uokvirio slučaj. Transparentnost nije svojstvo PDF-a. Brisanje nije dovršeno zato što je primarna tablica uklonila redak dok predmemorije, sigurnosne kopije, indeksi, izvozi i skupovi za treniranje nastavljaju svoj tihi zagrobni život. Prava trebaju strojeve.
Ti strojevi nisu glamurozni. To su verzionirani podaci, stabilni identifikatori, izvorni zapisi, registri modela, zapisnici revizije, kontrole pristupa, političke kapije, skupovi za evaluaciju, alati za reprodukciju, formati izvoza, procedure za incidente i neovisne pohrane dokaza. To je sposobnost da se sustav upita što se dogodilo u utorak u ožujku i dobije više od vibra u JSON-u. Europa često briljira u imenovanju dužnosti. Sada mora postati jednako ozbiljna oko instalacija koje dužnosti omogućuju da djeluje.
Crna kutija često je crni lanac opskrbe
Kada ljudi govore o crnim kutijama umjetne inteligencije, obično zamišljaju model kao neproziran objekt. To može biti točno. Neke je modele teško interpretirati iznutra. No mnogi su upravljački neuspjesi manje tajanstveni. Kutija je crna jer lanac oko modela nije nadziran. Nitko ne može reći koji su izvorni dokumenti bili u indeksu. Nitko ne može pokazati koja je verzija upita pokrenuta. Nitko ne može odvojiti pogrešku modela od pogreške pretraživanja. Nitko ne zna je li usluga rezervnog puta koristila drugačiju politiku. Nitko ne može dokazati da obrisani zapis još uvijek nije bio prisutan u uzorku za evaluaciju. Misterij nije inteligencija. To je knjigovodstvo s boljim marketingom.
Provjerljiv AI sustav ima popis sastavnica za odluke. Navodi izvorne zbirke, licence, stanja privola, provjere kvalitete podataka, korake transformacije, modele za ugrađivanje, pravila rangiranja, težine modela, prilagodnike, upite, sigurnosne slojeve, dopuštenja za alate, pravila ljudskog pregleda i politiku bilježenja. To zvuči teško sve dok nešto ne pođe po zlu. Tada zvuči kao minimum odgovornog ponašanja u prostoriji. Bez toga svaka istraga postaje pristojna potraga po portalima dobavljača, sjećanjima na Slacku i proračunskim tablicama nazvanima final-final-real.
Razmišljanje u okviru lanca opskrbe također sprječava lijeni oblik okrivljavanja dobavljača. Dobavljač može biti odgovoran za neke slojeve. Javna institucija, bolnica, banka, škola ili operater platforme može biti odgovoran za druge. Nabava je možda prihvatila slaba prava na izvoz. Inženjering je možda preskočio ugovore o podacima. Pravna služba je možda tretirala zapise revizije kao ugovorni dodatak umjesto operativnog dokaza. Uprava je možda nagrađivala brzinu lansiranja nauštrb provjerljivosti. Regulacija djeluje samo kada se odgovornost može dodijeliti sloju u kojem kontrola stvarno živi.
Samocertifikacija ima svoj strop
Samoprocjena je korisna. Timovi bi trebali dokumentirati rizike, provoditi evaluacije, testirati kontrole i objašnjavati dizajnerske odluke. Zreli dobavljači često poznaju svoje sustave bolje od bilo koga drugog. Pretvarati se da nije tako djetinjasto je. No samocertifikacija ima svoj strop jer poticaji nisu neutralni. Tim koji ocjenjuje vlastiti rad možda je i pošten, ali poštenje nije arhitektura. Regulatori i kupci trebaju načine da provjere tvrdnje koje su važne, a da ne ovise u potpunosti o strani koja se nadzire.
To ne znači da svaki regulator treba neograničen pristup izvornom kodu, osobnim podacima, poslovnim tajnama i produkcijskim sustavima. To ne bi bilo ni proporcionalno ni mudro. To znači da se sučelja za provjeru moraju osmisliti. Regulator bi mogao trebati potpisane zapise, ponovljive testne izvedbe, izvoze podrijetla podataka, potvrde verzija modela, potvrde o brisanju, uzorkovane zapise odluka, dokaze evaluacije i pristup neovisnim revizijskim artefaktima. Granica može biti uska. Ne može biti zamišljena.
Najbolji režimi provjere poštuju legitimnu povjerljivost, a odbijaju prazninu u dokazima. Dobavljač ne bi trebao otkriti svaku tajnu da bi dokazao da je sustav slijedio pravilo. Ali trebao bi morati izložiti dovoljno neovisno provjerljivih dokaza da se pravilo može provesti. Europa ovdje ima iskustva. Sigurnost proizvoda, financijski nadzor, sljedivost hrane, zrakoplovstvo, medicina i energija svi se bave osjetljivim informacijama. Nijedan od njih ne funkcionira tako da prihvati brošuru kao dokaz da je stroj ispravan.
Mjerila nisu provjera
Benchmarki mogu biti korisni. Otkrivaju učinkovitost u definiranim uvjetima, uspoređuju sustave i razotkrivaju regresije. No jednako su lako podložni prenagljenim zaključcima. Model koji dobro prolazi na benchmarku može zakazati u lokalnom tijeku rada jer su podaci drukčiji, prag je pogrešan, upit je promijenjen, sloj za dohvat je zastario, populacija korisnika ne odgovara testnom skupu ili posljedica zahtijeva vrstu pouzdanosti koju benchmark nikada nije mjerio. Rezultati benchmarka vremenske su prognoze s jednog brda. Nisu građevinski pregled.
Europa bi trebala biti oprezna u zamjeni kazališta s benchmarkovima za operativne dokaze. Sustav može proći javni test, a i dalje biti neprovjerljiv kada osoba ospori odluku. Može postići metriku pravednosti, a i dalje skrivati zamjensku varijablu u nižem pravilu. Može pokazivati niske stope halucinacija, a i dalje citirati dokumente koje korisnik nije smio vidjeti. Može dobro proći u laboratoriju, a zakazati kada dobavljač neprimjetno promijeni model ugrađivanja. Javni broj može biti stvaran. Samo nije cijeli trag.
Provjera zahtijeva testove specifične za kontekst, povezane sa stvarnom uporabom. Koji su zadaci. Koje su skupine pogođene. Koji su podaci mjerodavni. Koji su jezici, rubni slučajevi i načini otkazivanja važni. Koji rezultati uzrokuju pravne ili materijalne učinke. Koji korak ljudskog pregleda doista može promijeniti ishod. Koji dokazi preživljavaju žalbu. Opći benchmarkovi mogu informirati polazište, ali ne mogu zamijeniti lokalno pitanje. Ponaša li se ovaj sustav, na ovom mjestu, pod ovom politikom, s ovim podacima, na način koji se može ispitati i ispraviti.
Zapisnici su politička infrastruktura
Zapisnici zvuče tehnički sve dok ne započne spor. Tada postaju politička infrastruktura. Tko kontrolira zapisnik, kontrolira ono što se može pamtiti. Ako nadzirana strana može po volji prepisivati, filtrirati, odgađati ili sažimati dokaze, nadzor je slab. Ako zapisnici izostavljaju važne slojeve, nadzor je kazališni. Ako zapisnici sadrže previše osobnih podataka, nadzor postaje novi problem privatnosti. Odgovor nije maksimalno bilježenje. Odgovor je osmišljeni dokaz: uzak, trajan, s vidljivim znakovima neovlaštenog mijenjanja, s kontrolom pristupa i povezan sa stvarnim događajima.
Za umjetnu inteligenciju i automatizirane odluke korisni zapisnici trebali bi povezivati referentne ulaze, provjere kvalitete podataka, dohvaćene dokaze, verzije modela ili pravila, političke prolaze, pozive alata, ljudske radnje, rezultate, obavijesti i događaje ispravka. Gdje je moguće, trebali bi držati tajne podalje, koristeći sažetke, reference, redigiranje i razdvajanje. Trebali bi podržavati uzorkovanje i istragu bez potrebe da revizori pregledavaju privatne zapise poput turista s administratorskim pravima. Trebali bi nadživjeti promjene na dobavljačevoj nadzornoj ploči i cikluse nabave. Zapisnik koji nestane kada ugovor završi nije bio institucionalno pamćenje. Bio je dnevnik iznajmljen.
Neovisni dokazi važni su jer se javna vlast ne može oslanjati na privatne snimke zaslona. Regulator ne mora posjedovati svaki sustav. Mora imati povjerenje da dokazi o sustavima s velikim posljedicama preživljavaju poticaje stranaka koje se reguliraju. To može značiti zapisnike u posjedu korisnika, revizijske pohrane trećih strana, potpisane tokove događaja, ponovljive izvoze ili zakonske obveze oko čuvanja. Pojedinosti se razlikuju. Načelo se ne mijenja. Nadzor bez pouzdanih zapisa nadzor je pripovijedanjem.
Nabava piše prava na inspekciju
Do trenutka kada stigne regulator, mnoge odluke o inspekciji već je donijela nabava. Ugovor je odlučio jesu li zapisnici izvozivi. Sigurnosni aneks odlučio je jesu li ključevi pod upravljanjem kupca. Opis usluge odlučio je mogu li se verzije modela fiksirati. Uvjeti obrade podataka odlučili su može li se izvedeni podatak ponovno koristiti. Klauzula o izlasku odlučila je mogu li dokazi napustiti sustav u korisnom formatu. Ugovor o podršci odlučio je tko smije dirati produkciju i koji trag ostaje. Nabava nije papirologija nakon arhitekture. Ona je arhitektura s odjelom nabave.
To je neugodno jer javni i privatni kupci često procjenjuju digitalne sustave kroz značajke, cijenu i raspored implementacije. Mogućnost inspekcije tretira se kao lijepa tema o jamstvima, ponekad riješena nakon što je željeni dobavljač već emocionalno odabran. To je prekasno. Ako sustav utječe na prava, usluge, sigurnost, novac, rad, obrazovanje, zdravlje ili povjerenje javnosti, prava na inspekciju nisu opcionalan ukras. Ona su dio proizvoda. Jeftin sustav koji se ne može nadzirati može postati skup prvi put kada sud, revizor, novinar, sindikat, pacijent, građanin ili upravni odbor postavi precizno pitanje.
Dobra nabava traži sučelja za dokaze prije pokretanja. Pita kako se odluke prate, kako se verzije fiksiraju, kako se promjene prijavljuju, kako se testovi ponovno pokreću, kako se brisanje dokazuje, kako se ažuriranja modela kontroliraju, kako se lokalni podaci odvajaju, kako se pristup podrške bilježi, kako se sporovi uzorkuju i kako izlazak čuva institucionalno pamćenje. Ta pitanja ne ubijaju inovaciju. Ubijaju posebnu vrstu optimizma koji voli prvo fakturirati, a objašnjavati kasnije. Europa ne treba manje ambicije. Treba ambiciju koja može preživjeti inspekciju.
Ljudski nadzor također mora biti moguće nadzirati
Ljudski nadzor jedna je od najzloupotrebljavanijih fraza u digitalnom upravljanju. Osoba blizu sustava nije automatski nadzor. Osoba koja klikće odobrenje na unaprijed popunjenu preporuku bez vremena, dokaza, ovlasti ili povratne informacije nije smislena kontrola. Osoba koja pregledava rubne slučajeve dok sustav tiho usmjerava većinu slučajeva nije dovoljna osim ako se samo usmjeravanje može nadzirati. Ljudski nadzor mora biti osmišljen kao sloj odlučivanja s ovlastima, ograničenjima, ograničenjima radnog opterećenja i zapisima.
Provjera ljudskog nadzora znači postavljanje praktičnih pitanja. Što je recenzent vidio. Koji su dokazi bili skriveni ili nedostupni. Je li recenzent mogao promijeniti ishod. Je li neslaganje bilo zabilježeno. Jesu li pritisak, duljina reda čekanja ili zadani dizajn gurali odobrenje. Jesu li izmjene vraćene u evaluaciju. Je li sustav učio iz ljudskih ispravaka ili ih je samo upijao u nadzornu ploču. Jesu li recenzenti bili obučeni za politiku ili samo za sučelje. Čovjek u procesu može štititi ljude. Čovjek u procesu također može postati spužva za odgovornost s lozinkom.
Europa bi se trebala oduprijeti utjehi simboličnih ljudi. Svrha nadzora nije dodati lice automatizaciji. Svrha je stvoriti stvarnu kontrolnu točku na kojoj prosudba može promijeniti put s posljedicama. Ta kontrolna točka mora ostaviti dokaze jer inače nitko ne može utvrditi je li djelovala. Ako zakon zahtijeva ljudski nadzor, a sustav bilježi samo odobrio operater, zakon je dobio gumb, a ne zaštitnu mjeru.
Inspekcijski kapacitet javna je sposobnost
O regulaciji se često raspravlja kao o tekstu: članci, uvodne izjave, standardi, smjernice, ugovori, kodeksi ponašanja. Tekst je važan, ali inspekcijski kapacitet čine i ljudi, alati, proračuni, testna okruženja, pravila pristupa podacima, sigurnosne provjere, tehnička obuka i institucionalno strpljenje. Regulator koji prima milijune redaka zapisa bez alata nije osnažen. Regulator koji ima alate, ali nema ovlasti zahtijevati dokaze, nije osnažen. Regulator koji u potpunosti ovisi o objašnjenjima dobavljača nije osnažen. Kapacitet je neugledna polovica suvereniteta.
Europi su potrebni inspektori koji znaju čitati sustave kao sustave. Ne mora svaki pravnik postati inženjer i ne mora svaki inženjer postati pravnik. No inspekcijski timovi trebaju kombiniranu sposobnost mapiranja radnih procesa, čitanja zapisa, razumijevanja podrijetla podataka, propitivanja evaluacije modela, otkrivanja zamjenskih varijabli, provjere putova brisanja, testiranja kontrola pristupa i prevođenja nalaza u provediv jezik. To je profesionalan posao. Neće ga riješiti jedna obuka o etici umjetne inteligencije i novi portal s plavim gumbom.
Institucije također trebaju zajedničke obrasce. Zajedničke sheme dokaza, ponovljivi revizijski paketi, formati za prijavu incidenata, potvrde o verzijama, potvrde o brisanju, obavijesti o promjenama modela i testna okruženja mogu smanjiti trenje. Standardizacija ne bi trebala izravnati svako područje. Zdravstvo, financije, obrazovanje, rad i javna uprava imaju različite štete. No zajednički inspekcijski elementi spriječili bi svaku istragu da izmišlja vlastitu lopatu. Europa voli okvire. Ovdje okvir mora uključivati stvarne ručke.
Petlja koja pravilima daje zube
Inspekcija nije jednokratna ceremonija. Sustavi se mijenjaju. Podaci odstupaju. Dobavljači ažuriraju usluge. Politike se pomiču. Pojavljuju se nove skupine korisnika. Troškovi vrše pritisak na usmjeravanje. Zaobilazna rješenja postaju navika. Sustav koji je bio prihvatljiv u siječnju može biti rizičan u rujnu jer se svijet oko njega promijenio ili jer je sustav naučio novi način da bude uvjereno pogrešan. Regulacija koja provjerava samo na ulazu poput je provjere kuhinje u restoranu dok je boja još mokra i nikad se ne vraća nakon ručka.
Koristan obrazac je petlja. Definirajte obvezu operativnim pojmovima. Uzmite uzorke stvarnih događaja. Pratite dokaze. Testirajte sustav u poznatim i neprijateljskim uvjetima. Naredite ispravak gdje je potreban. Provjerite je li ispravak promijenio ponašanje. Vratite nalaz u nabavu, standarde i smjernice. Ova petlja nije glamurozna, ali nisu ni vježbe gašenja požara. Poanta nije drama. Poanta je institucionalno mišićno pamćenje.
Za organizacije koje podliježu regulaciji, taj je krug također zdrav. Odvaja stvarni rizik od glasina. Timovima omogućuje da dobar rad pokažu dokazima umjesto da mole za povjerenje. Slabe kontrole otkriva prije nego što postanu javni neuspjesi. Nabavi daje bolja pitanja, a inženjerima jasnije zahtjeve. Sprječava da upravljanje postane muzej obećanja. Inspekcije se ne bi trebalo bojati jer je neprijateljska. Trebalo bi je očekivati jer ozbiljni sustavi utječu na ozbiljne živote.
Što Europa mora izgraditi
Zaključak nije da bi Europa trebala manje regulirati. Zaključak je da bi Europa trebala regulirati boljim instrumentima. Snažna prava i obveze nužni su, ali moraju biti popraćeni tehničkim zahtjevima za dokaze, disciplinom u nabavi, neovisnim zapisnicima, verzioniranim sustavima, praktičnim revizijskim sučeljima, osposobljenim inspekcijskim timovima i putovima za ispravke koji se mogu provjeriti. Inače pravni jezik postaje lijep dijagram: koherentan, miran i nesposoban odgovoriti što se dogodilo u stvarnom slučaju.
Ovdje postoji lekcija o suverenitetu. Suverenitet nije zastava na oblačnoj regiji ni govor o vrijednostima. To je sposobnost nadziranja, zaustavljanja, ispravljanja, zamjene i objašnjavanja sustava koji oblikuju javni i privatni život. Ako dokazi žive negdje drugdje, ako su ključne verzije nepoznate, ako su zapisnici promjenjivi, ako izlazak uništava sjećanje ili ako regulatori nemaju alate za provjeru tvrdnji, Europa je ovisna čak i kad je tekst politike izvrstan. Ovisnost ne izgleda uvijek kao strana kontrola. Ponekad izgleda kao nedostajući gumb za izvoz.
Europa ne može regulirati ono što ne može nadzirati. Tu rečenicu ne treba čitati kao pesimizam. To je projektni zahtjev. Gradite sustave koji ostavljaju razmjerne dokaze. Kupujte sustave s pravima na nadzor. Osposobljavajte regulatore za čitanje tehničkih tragova. Zahtijevajte ispravke koji se mogu provjeriti. Tretirajte ljudski nadzor kao stvarnu kontrolnu točku. Prestanite prihvaćati nadzorne ploče kao dokaz. Zakon može reći što mora biti istinito. Nadzor je način na koji Europa otkriva je li.