Evropski odgovor na odvisnost od zaprtih sistemov
Servisna pisarna brez vrat
Incident se je začel v vljudni sobi s potrpežljivim aparatom za kavo in zaslonom, ki je prikazoval številko zahtevka. Javna organizacija je izgubila dostop do delovnega toka, ki so ga uporabljale številne regionalne ekipe. Podatki naj bi bili lokalni. Pogodba je uporabljala prave besede. Nadzorna plošča je imela celo majhno zastavico v kotu, ki naj bi ljudi pomirjala na enak način, kot nalepka z varnostnim pasom pomirja ljudi v avtobusu brez zavor.
Prva ura je bila običajna. Nekdo je preveril poverilnice. Nekdo je preveril omrežje. Nekdo je v kanal za incidente napisal sporočilo s frazo kakšna novica, ki še nikoli ni ničesar popravila, učinkovito pa širi zaskrbljenost. Do druge ure je soba izvedela nekaj neprijetnega. Organizacija je aplikacijo videla, ne pa tudi krmilne ravnine. Lahko je izvažala poročila, ne pa tudi dokazov za njimi. Lahko je zaprosila za podporo, ne pa tudi pregledala odvisnosti, ki je odpovedala.
Zlikovec ni bil potreben. Dobavitelj ni bil zlonameren. Inženirji niso bili malomarni. Nabavna ekipa se ni odpravila po nakupih v dežnem plašču. Sistem je bil preprosto kupljen kot črna škatla, ker je škatla obljubljala hitrost, hitrost pa je zelo prepričljiva pred prvim nadzorom, izpadom, spremembo politike, spremembo cene ali ugovorom državljana. Organizacija je oddala nalogo in po nesreči oddala tudi del svoje zmožnosti, da ve, kaj se dogaja.
To je evropski problem v malem. Evropa ni odvisna le od tujih ali komercialnih sistemov. Pogosto je odvisna od sistemov, ki jih ne more pregledati, preizkusiti, premakniti, popraviti ali pojasniti na ravni, kjer je dejanska moč. Odvisnost od črne škatle ni le tehnično nelagodje. Je problem upravljanja s strežniki v ozadju.
Črna škatla je odnos, ne oblika
Inženirji z izrazom črna škatla pogosto opisujejo komponento s skritim delovanjem. To je uporabno, a nepopolno. V javni infrastrukturi, zdravstvu, financah, energetiki, izobraževanju, logistiki in industriji je pomembna črna škatla odnos. Pojavi se, ko ena stran nosi odgovornost, druga pa nadzoruje dejstva, kontrole ali pot popravila. Škatla ima lahko API, pravno prilogo in prijaznega skrbnika računa. Še vedno je črna, če institucija ne more odgovoriti na osnovna vprašanja, ne da bi prosila za dovoljenje predmet vprašanja.
Ali lahko vidimo, kateri podatki so bili uporabljeni. Ali lahko reproduciramo odločitev. Ali lahko preverimo različico modela. Ali lahko zamenjamo ključe. Ali lahko prestavimo delovno obremenitev. Ali lahko ohranimo storitev pri življenju med izpadom pri dobavitelju. Ali lahko izpodbijamo spremembo v obnašanju. Ali lahko revizorju dokažemo, da je sistem naredil to, kar trdimo, da je naredil. Ta vprašanja niso proti tehnologiji. So minimalna vljudnost resne odvisnosti.
Obstajajo neškodljive črne škatle. Nihče ne potrebuje vpogleda v vdelano programsko opremo vsakega pisarniškega kotlička, čeprav bo kotliček še vedno našel pot do nabave. Skrb raste, ko se škatla dotika pravic, kritičnih operacij, občutljivih podatkov, tržne moči, varnosti, javnega zaupanja ali institucionalne kontinuitete. Na tej točki nepreglednost preneha biti ugodnost in postane prenos oblasti.
Evropa se je tega naučila po delih. Varstvo podatkov je razkrilo vrzel med lokacijo shranjevanja in dejanskim nadzorom. Koncentracija v oblaku je razkrila vrzel med pogodbo in izstopom. UI je razkrila vrzel med rezultatom in razlago. Kibernetski incidenti so razkrili vrzel med nadzornimi ploščami in popravilom. Vsaka lekcija kaže na isti odgovor: Evropa potrebuje sisteme, ki jih je mogoče brati pod pritiskom, ne le kupovati pod optimizmom.
Prvi odgovor je pregled
Najbolj evropski odgovor na črno škatlo ni nujno izgradnja konkurenčne škatle z lokalno nalepko. To je lahko koristno v nekaterih strateških plasteh, vendar ni dovolj. Nacionalna črna škatla je še vedno črna škatla, le s krajšimi leti do upravnega odbora. Prvi odgovor je pregled. Kritični sistemi bi morali razkriti dovolj svojega obnašanja, dokazov, konfiguracije, verige odvisnosti in zgodovine sprememb, da lahko odgovorne organizacije razumejo, na kaj se zanašajo.
Pregled se začne s poreklom podatkov. Kateri viri so vstopili v delovni tok. Kateri vir je zmagal ob sporu. Kateri zapisi so bili pretvorjeni v značilnice, vdelave, povzetke, ocene ali priporočila. Kateri izpeljani objekti so bili shranjeni. Kateri so bili izbrisani. To ni birokratski hobi. Zlasti v sistemih UI lahko izpeljani podatki nosijo več operativnega vpliva kot prvotni zapis. Če jih nihče ne more pregledati, jih nihče ne more upravljati.
Pregled se nadaljuje z operativnimi dokazi. Dnevniki so uporabni, vendar dnevniki niso samodejno dokazi. Dnevnik, ki ga nadzoruje isti akter, ki se ocenjuje, je lahko namig, ne dokaz. Dokazi potrebujejo trajnost, kontekst, neodvisnost in možnost ponovne predvajanja. Povezati bi morali različice, pravilnike, pozive, vire za pridobivanje, pragove, človeška dejanja in rezultate. Preživeti bi morali več kot naslednjo prenovo nadzorne plošče, plemeniti dogodek, ki je pokopal mnoge resnice.
Pregled pomeni tudi vidnost sprememb. Sistem, ki je bil sprejemljiv marca, lahko postane nesprejemljiv maja, ker se je spremenil model, se je premaknila funkcijska zastavica, je dobavitelj posodobil odvisnost ali je bila preurejena pot podpore. Evropa ne potrebuje zamrznjenih sistemov. Potrebuje spremembe, ki jih je mogoče videti, oceniti, odobriti in razveljaviti, kadar dolžnost to zahteva.
Drugi odgovor je prenosljivost, ki se dejansko premakne
Prenosljivost je beseda, ki je trpela zaradi pretiranega optimizma. Številne pogodbe obljubljajo izvoz. Manj sistemov se lahko premakne z nedotaknjenimi dovoljenji, poreklom, metapodatki, revizijskimi zapisi, vdelavami, nastavitvami modela, pozivi, nabori za vrednotenje in operativnim kontekstom. Mapa datotek CSV ni izhod, če delovni pomen sistema ostane ujet v platformi. To je bolj podobno prejemu pohištva, potem ko je stavba obdržala vrata.
Prava prenosljivost zahteva formate in vmesnike, ki ohranjajo pomen, ne le sintakso. Status primera mora po izvozu pomeniti isto stvar. Model dovoljenj mora preživeti pot. Različica pravilnika mora ostati povezana z odločitvami, ki jih je urejala. Pridobljeni vir mora ostati povezan z odgovorom, ki ga je podpiral. Vrednotenje modela mora ostati dovolj ponovljivo, da je mogoče presoditi zamenjavo. To je neugledno inženirstvo, zato ga pri glamuroznih naročilih običajno ni.
Prenosljivost potrebuje tudi vaje. Prvi preskus selitve ne bi smel potekati med pravnim sporom, proračunskim šokom ali izpadom dobavitelja. Institucije bi morale izvajati vaje izhoda za kritične sisteme v istem duhu kot vaje obnovitve. Ali lahko ekipa izvozi. Ali lahko drugo okolje prebere izvoz. Ali lahko uporabniki nadaljujejo delo. Ali je mogoče stare odločitve še vedno pojasniti. Ali lahko izvorna organizacija dokaže, da je kopija popolna. Če se to sliši zahtevno, tudi je. Prav tako je odvisnost.
Evropa lahko to naredi običajno z naročili in standardi. Ne sprašujte le, ali dobavitelj podpira izvoz, ampak kdaj je bil zadnji izvoz preizkušen, kateri dokazi so bili vključeni in koliko časa je neodvisna ekipa potrebovala za obnovitev smiselne storitve. Odgovor bo včasih neroden. Nerodnost je cenejša pred podpisom.
Tretji odgovor so berljive nadzorne ravnine
Podatkovna ravnina nosi delo. Nadzorna ravnina odloča, kdo se sme dotakniti dela, kje teče, katera različica je aktivna, kateri ključi ga odklepajo, kateri pravilniki veljajo, kateri dnevniki se hranijo, kateri podporni akter lahko vstopi in katero pot promet ubere ob izpadu. Če je podatkovna ravnina lokalna, nadzorna ravnina pa neprozorna, ima institucija zelo lokalno odvisnost od tujega volana.
To je pomembno za umetno inteligenco, ker nadzorna ravnina zdaj vključuje usmerjanje modelov, konfiguracijo pridobivanja, upravljanje pozivov, politične filtre, nabore za vrednotenje, pravila telemetrije, čakalne vrste za človeški pregled, zajemanje povratnih informacij in varnostne pragove. Dokument lahko ostane v Evropi, medtem ko se odločitev o tem, kaj model vidi, shranjuje, razvršča ali zadržuje, zgodi drugje. Lokacija pomaga. Ukaz odloča.
Berljive nadzorne ravnine ne zahtevajo, da vsak član upravnega odbora postane platformski inženir. Zahtevajo, da institucije vedo, kateri akterji imajo katere pristojnosti, katere pristojnosti so tehnične in ne pogodbene, katere pristojnosti je mogoče izvajati med incidenti in katere pristojnosti so zapisane neodvisno. Upravni odboru ni treba konfigurirati trezorja ključev. Mora pa vedeti, ali lahko organizacija prekliče dostop brez pisanja zaskrbljenega elektronskega sporočila.
Evropski odgovor bi moral zato ločiti oznake gostovanja od nadzornih pravic. Suverena storitev ni tista z impresivnim imenom regije. Je tista, pri kateri lahko nosilec dolžnosti pregleda konfiguracijo, upravlja ključe, odobri spremembe, omeji podporo, ohrani dokaze in se premakne pod določenimi pogoji. Ta jezik je manj tržno zanimiv. Je pa tudi manj verjetno, da bo osramotil samega sebe med izpadom.
Četrti odgovor je lokalna usposobljenost
Evropa ne more nadzorovati tega, česar ne razume več. To je najmanj moden del suverenosti, ker vključuje usposabljanje, kadre, dokumentacijo, vzdrževanje in počasno obnovo notranje presoje. Lažje je kupiti platformo kot ohraniti dovolj ljudi, ki znajo vprašati, ali trditve platforme preživijo stik z resničnostjo. Lažje, a ne ceneje, ko odvisnost dozori.
Lokalna usposobljenost ne pomeni, da mora vsaka občina, bolnišnica, proizvajalec, šola ali agencija zaposliti ekipo prevajalnikov in oblikovalca čipov. Pomeni, da kritične odločitve ne morejo biti v celoti odvisne od zunanje razlage. Nekdo blizu dolžnosti mora razumeti podatkovni model, nadzorno ravnino, sled dokazov, pot obnovitve, varnostno držo, stroškovne vzvode in omejitve sistema. Cilj ni samozadostnost kot gledališče. Cilj je informirana odvisnost.
Usposobljenost spremeni javna naročila. Sposoben kupec postavlja ostrejša vprašanja. Zahteva rezultate testov in ne obljub. Razlikuje zmogljivost modela od institucionalnega zaupanja. Opazi, ko izvoz ohrani zapise, a izgubi pomen. Vpraša, kdo lahko izvede popravilo v četrtek ob 16:40. Zna sprejeti pomoč, ne da bi se odrekel presoji. Dobavitelji, ki jih je vredno obdržati, to na splošno cenijo, ker nejasne stranke povzročijo dramatična presenečenja in jih nato imenujejo partnerske težave.
Obstaja tudi demokratični argument. Ko bistveni sistemi vplivajo na državljane, paciente, študente, delavce in podjetja, se javne institucije ne bi smele zreducirati na posrednike sporočil med prizadetimi ljudmi in neprozornimi dobavitelji. Potrebujejo dovolj tehnične pismenosti, da lahko pojasnjujejo, izpodbijajo in popravljajo. V nasprotnem primeru javna odgovornost postane čakalnica z lepšimi pisarniškimi pripomočki.
Peti odgovor je kultura zavračanja
Črne škatle uspevajo, ko se organizacije sramujejo reči ne. Ne manjkajočim dokazom. Ne nedokumentiranim spremembam modelov. Ne izvozu, ki izgubi kontekst. Ne podpori brez meja. Ne nadzornim ploščam, ki jih ni mogoče ponovno predvajati. Ne rezultatom pilotov, predstavljenim kot operativni dokaz. Ne očarljivemu stavku, ki pravi, da je funkcija na načrtu. Načrti so čudoviti. So tudi kraj, kamor nerešene dolžnosti odidejo na krajši dopust.
Zavračanje mora biti konkretno, ne teatralno. Nabavna ekipa lahko reče, da je sistem sprejemljiv za pripravo osnutkov z nizkim tveganjem, ne pa za končne odločitve. Bolnišnica lahko modelu dovoli podporo pri triaži, hkrati pa zahteva ločeno pot dokazov za klinična priporočila. Občina lahko uporablja gostovani potek dela, če so upravljanje ključev, beleženje in izhod pod opredeljenim lokalnim nadzorom. Bistvo ni zavrniti vsega neprozornega. Bistvo je omejiti, kaj sme neprozornost početi.
Tu pomaga razvrstitev tveganj. Vsak sistem ne potrebuje enake globine pregleda. Klepetalni robot za jedilnik ne potrebuje nadzorov, kot jih ima mehanizem za odločanje o socialnih prejemkih, čeprav lahko še vedno napačno razume juho. Evropski odgovor mora biti razširljiv. Visoke posledice, nizka reverzibilnost, občutljivi podatki, odvisnost od monopola ali javne pravice zahtevajo močnejši pregled, prenosljivost, dokaze in usposobljenost. Orodja z nizkimi posledicami lahko delujejo hitreje, če se zaradi širjenja poteka dela tiho ne spremenijo v orodja z visokimi posledicami.
Zavračanje ščiti inovacije, namesto da bi jih blokiralo. Ekipe lahko eksperimentirajo varneje, ko so meje jasne. Pilot se lahko uči, ne da bi postal nenamerna produkcijska odvisnost. Dobavitelj se lahko izboljšuje na podlagi konkretnih meril sprejemljivosti. Uporabniki lahko zaupajo, da vsak impresiven rezultat ne bo zaradi samega navdušenja povišan v avtoriteto.
Odprto ne pomeni samodejno suvereno
Obstaja skušnjava, da na vsako črno škatlo odgovorimo z odprto kodo. Odprtost pomaga in v strateških plasteh je lahko odločilna. Toda odprta koda sama po sebi ni suverenost. Repozitorij, ki ga nihče ne more zgraditi, model, ki ga nihče ne more ovrednotiti, odvisnost, ki je nihče ne vzdržuje, in standard, ki ga nihče ne testira, lahko v praksi še vedno postanejo črna škatla. Odprtost daje pravico do pregleda. Ne zagotavlja samodejno zmožnosti pregleda.
Enako previdnost velja za evropsko blagovno znamko. Lokalni ponudnik je lahko nepregleden. Tuji sestavni del je lahko sprejemljiv, če je njegova vloga omejena, so dokazi neodvisni in je izhod realen. Javna platforma lahko postane monopol z odličnimi sporočili za javnost. Komercialna storitev je lahko dobro upravljana za pravo vrsto dela. Vprašanje ni moralna geografija. Vprašanje je, kje je oblast, kako je nadzorovana in kaj se zgodi, ko se razmere spremenijo.
Zato mora biti evropski odgovor arhitekturen in ne plemenski. Združite lokalni nadzor z odprtimi standardi. Uporabljajte ponudnike, vendar opredelite odvisnost. Uporabljajte oblak, vendar ohranite ključe, dokaze in izhod pregledne. Uporabljajte umetno inteligenco, vendar ločite samozavest modela od institucionalne avtoritete. Uporabljajte odprto kodo, vendar financirajte vzdrževanje. Uporabljajte regulacijo, vendar zahtevajte tehnične dokaze o obnašanju, ne le pesmi o skladnosti.
Dobra arhitektura omogoča institucijam sodelovanje brez odrekanja njihovim dolžnostim. Ustvarja prostore, kjer lahko ponudniki tekmujejo s storitvami, medtem ko zapisi, vmesniki, dokazi in pravice ostanejo prenosljivi. Podpira trg, vendar preprečuje, da bi trg pogoltnil sposobnost upravljanja. To ni proti podjetništvu. Tako resni kupci ostanejo kupci namesto talcev s številkami naročil.
Plast umetne inteligence dviguje vložek
Umetna inteligenca poglablja odvisnost od črne škatle, ker so lahko rezultati videti popolni, tudi ko je podlaga šibka. Tečen odgovor lahko skrije manjkajoče vire. Ocena samozavesti lahko skrije slabo umerjenost. Rezultat iskanja lahko skrije zastareli indeks. Varnostni filter lahko skrije politične odločitve. Posodobitev modela lahko naenkrat spremeni obnašanje številnih delovnih tokov. Škatla ne obdeluje le dela. Sodeluje pri presoji.
To ne pomeni, da se je treba umetni inteligenci izogniti. Pomeni, da je treba umetno inteligenco postaviti v operativni model, ki lahko preverja obseg, dokaze, negotovost in posledice. Kaj sme model početi. Katere vire sme uporabljati. Kateri viri so izključeni. Kdaj zavrne. Kdaj odloča človek. Kako se beležijo preglasitve. Kako se obravnavajo pritožbe. Katere zapise odločitev je mogoče ponovno predvajati. Katere spremembe modela zahtevajo pregled. To so običajna inženirska vprašanja z javnimi posledicami.
Najhujša odvisnost od umetne inteligence je tista, ki se začne kot pomoč in postane avtoriteta iz navade. Sprva sistem osnutke pripravlja. Nato priporoča. Nato priporočilo postane privzeto. Nato se ekipe merijo glede na privzeto. Nato nestrinjanje izgleda kot neučinkovitost. Nihče ni formalno odločil o prenosu avtoritete. Delovni tok se je preprosto naučil prikloniti. Zelo učinkovito, na način, kot je učinkovita vrzel v tleh.
Evropa bi zato morala zahtevati ne le razložljive modele, temveč odgovorne sisteme odločanja. Razlaga je del tega. Dokazi so del tega. Človeška avtoriteta je del tega. Popravek je del tega. Zavrnitev je del tega. Prenosljivost je del tega. Odgovor ni ena čarobna komponenta. Je zavrnitev, da pomembna presoja izgine v škatlo, katere obnašanja ni mogoče izpodbijati.
Politika bi morala kupovati operativne pravice
Evropska politika pogosto govori v načelih in načela so pomembna. Zasebnost, poštenost, odgovornost, konkurenca, odpornost in demokratični nadzor niso dekorativni. Toda politika postane resnična, ko kupuje operativne pravice. Pravico do pregleda. Pravico do izvoza smiselnih podatkov. Pravico do neodvisnih dnevnikov. Pravico do lokalnega nadzora nad ključi. Pravico do seznanitve s spremembami modela. Pravico do preizkusa izhoda. Pravico do zavrnitve poti podpore. Pravico do ohranitve dokazov o odločitvah.
Te pravice bi se morale pojaviti v javnih naročilih, certificiranju, financiranju in nadzoru. Kritičen sistem si ne bi smel prislužiti zaupanja, ker uporablja prave pridevnike. Dokazati bi moral vaje obnove, vaje izhoda, sledi dokazov, meje dostopa, registre odvisnosti in usposobljenost vlog. Vaja je lahko videti dolgočasna. Dolgočasnost je naravno okolje zanesljive infrastrukture.
Politika lahko zmanjša tudi podvajanje. Ni treba, da vsaka institucija izumlja svoj format dokazov, izvozni preizkus ali kontrolni seznam za spremembe modela. Evropa je dobra pri standardih, kadar so standardi povezani z dejansko uporabo. Skupni vzorci za zapise o revizijah, potrdila o odločitvah umetne inteligence, registre odvisnosti, nadzor nad ključi in vaje za izhod bi resnemu nakupovanju olajšali pot, teatralnemu pa ga otežili. To je vredna menjava.
Pomembna disciplina je povezati pravno zahtevo s tehničnim vedenjem. Če pravilo določa, da mora organizacija pojasniti odločitev, mora sistem ohraniti gradivo, potrebno za njeno pojasnitev. Če zakon določa, da so pravice do podatkov pomembne, mora izvoz nositi kontekst, ki te pravice naredi uporabne. Če politika zahteva človeški nadzor, mora vmesnik dati ljudem resnično avtoriteto. V nasprotnem primeru bo Evropa urejala senco in kupovala škatlo.
Odgovor pod odgovorom
Evropski odgovor na odvisnost od črne škatle ni ena kategorija izdelkov, en nacionalni oblak, en odbor, ena uredba ali ena zastava. Je niz delovnih navad. Preglej sistem. Hrani dokaze. Ohranjaj pomen pri izhodu. Preberi nadzorno ravnino. Ohranjaj lokalno strokovnost. Razvrščaj tveganja. Financiraj standarde. Vadite zavrnitev. Obravnavaj rezultate umetne inteligence kot odločitve le, kadar lahko okoliški sistem nosi odgovornost.
Ta odgovor je počasnejši od nakupa bleščeče škatle in razglasitve zmage. Zahteva preizkuse pred slogani, arhitekturo pred držo in zapise pred pomiritvijo. Prav tako naredi Evropo manj krhko. Institucije, ki znajo pregledovati, premikati, popravljati in pojasnjevati, so boljši kupci, boljši regulatorji, boljši operaterji in boljši skrbniki javnega zaupanja.
Služba za pomoč uporabnikom iz uvodne zgodbe je sčasoma našla rešitev. Večina incidentov se reši. Rešitve so uporabne, vendar niso strategija. Nauka nista bila, da je vsaka zunanja storitev slaba. Nauka sta bila, da nosilec dolžnosti med izpadom nikoli ne sme odkriti, da je njegovo edino pravo orodje številka zahtevka.
Evropi se ni treba zapreti, da bi ponovno vzpostavila nadzor. Treba je narediti kritično odvisnost pregledno. Škatla lahko ostane. Slepota ne sme.