Kaj resna umetna inteligenca prevzema od varnostnega inženirstva
Rumena črta na tovarniških tleh
Prvi uporabni varnostni nauk, ki sem ga videl, ni bil v laboratoriju za umetno inteligenco. Bil je naslikan na tovarniških tleh. Obiskovalec je prestopil rumeno črto, da bi si bolje ogledal stroj, ki je delal natanko to, kar je moral, in prav zato nihče ni želel obiskovalca blizu njega. Ni se zgodilo nič hudega. Prižgala se je luč. Varovalo je ustavilo gibanje. Nadzornik je pristopil s potrpežljivim izrazom nekoga, ki je isto pravilo že razlagal dragim čevljem.
Črta ni bila moralni argument. Obiskovalca ni prosila, naj bo odgovoren. Ni se zanašala na prosojnico z usposabljanja, ki so si jo zapomnili pri zajtrku. Ustvarila je mejo, stroj pa je bil zasnovan tako, da je opazil, kdaj je bila meja prekoračena. Organizacija se je odločila, da je treba nekatere napake otežiti z zasnovo, ne le odvračati od njih s politiko. Zato je varnostni inženiring tako uporaben za umetno inteligenco. Desetletja se je učil, da človeški namen, pisna navodila in dobra volja niso nadzor.
Sistemi umetne inteligence se pogosto uvajajo z nasprotnim nagonom. Zaženemo zmogljiv model, napišemo pravila o sprejemljivi uporabi, dodamo človeka v zanko in predpostavimo, da bo zanka modra, spočita, obveščena, pooblaščena in brez naglice. To je optimistično tako, kot je optimističen kartonast dežnik. Ljudje so bistveni, vendar ljudje, postavljeni na konec nevarnega poteka dela, niso varnostna arhitektura. So opravičilo v zadnjem trenutku s prijavo.
Resna umetna inteligenca si sposodi od varnostnega inženiringa, ker varnostni inženiring začne z neprijetnim vprašanjem. Kaj lahko gre narobe, kako bi to vedeli, kaj to prepreči, kaj omeji škodo, kdo lahko ustavi sistem in kateri dokazi potrjujejo, da je nadzor deloval. Odgovori so redko glamurozni. To so medsebojne ključavnice, kontrolni seznami, alarmi, dnevniki, vaje, ločitev dolžnosti, rezervni načini, pregledi zasnove, poročila o incidentih in usposabljanje, ki je povezano z delom, ne pa laminirano in pozabljeno.
Nevarnosti niso slabi izidi z lepšimi pisarniškimi pripomočki
Nevarnost je stanje, ki lahko privede do škode. To se sliši preprosto, dokler organizacija ne poskuša eno zapisati. Slab izid je lahko napačna zavrnitev, spregledana diagnoza, nevarno navodilo, pristranska razvrstitev, kršitev zasebnosti ali zavajajoč povzetek. Nevarnost je lahko zgodnejša in tišja: nepopolni zapisi, dvoumna pooblastila, zastarelo pridobivanje podatkov, preveč samozavesten jezik vmesnika, manjkajoča eskalacija, nejasen obseg ali čakalna vrsta, ki pregledovalcem da devetdeset sekund za odločitev, ki si zasluži devet minut.
Ta razlika je pomembna. Če ekipe navajajo samo slabe izide, so nadzori vzpostavljeni prepozno. Rečejo, da nočemo napačnih odločitev. V redu. Nihče ni prišel na sestanek v upanju nanje. Analiza nevarnosti sprašuje, katera okoliščina sistema povečuje verjetnost napačnih odločitev. To vprašanje je uporabnejše in bolj nadležno. Opozarja na kakovost podatkov, zasnovo poteka dela, spodbude, kadrovanje, obseg modela, spremljanje in operativno avtoriteto. Prav tako uniči nekaj lepih časovnic zagona, kar je znak, da deluje.
Analiza nevarnosti umetne inteligence mora temeljiti na področju uporabe. Bolnišnični pomočnik za triažo, model za usmerjanje posojil, načrtovalec skladišča, orodje za generiranje kode in potek javnih prejemkov si ne delijo ene skupne tabele tveganj. Delijo si varnostne navade. Poimenujte delo. Poimenujte prizadete ljudi. Poimenujte dejanje. Poimenujte posledico. Poimenujte predpostavke. Poimenujte mesta, kjer je sistem lahko napačen, pozen, prekomerno uporabljen, premalo pojasnjen ali zaupan iz napačnega razloga.
Bistvo ni, da bi se prestrašili vsake možne napake. Varnostni inženiring ni poklicna anksioznost. Je selektivna resnost. Nekatere nevarnosti si zaslužijo opozorilo. Nekatere si zaslužijo trdno zaustavitev. Nekatere si zaslužijo preoblikovanje. Nekatere si zaslužijo sprejetje s spremljanjem. Nekatere pokažejo, da sistema ne bi smeli uporabljati za to dejanje. Vrednost je v tem, da to presojo naredimo eksplicitno, preden vmesnik naredi delo videti običajno.
Plasti premagajo junaški nadzor
En nadzor redko zadošča. Varovalo lahko odpove. Kontrolni seznam lahko preskočimo. Senzor lahko odtava. Pregledovalec je lahko utrujen. Model je lahko preveč samozavesten. Politiko je mogoče napačno prebrati. Zato varnostni inženiring gradi plasti: prepreči, zaznaj, omeji, obnovi, uči se. Besedna zveza obramba v globino morda zveni, kot da je svetovalec odkril oklep, a ideja je preprosta. Ne zanašajte se na en nadzor, da bo popoln v svetu, ki ni.
Sistemi umetne inteligence potrebujejo enako plastenje. Preprečevanje lahko vključuje omejitve obsega, validacijo podatkov, omejene izhode, dovoljenja za orodja, meje pridobivanja informacij in zasnovo poteka dela, ki zadržuje dejanja z visokimi posledicami stran od izhodov z malo dokazi. Zaznavanje lahko vključuje spremljanje odtavanja, umerjanje zaupanja, opozorila o anomalijah, sledenje preglasitvam, vzorce pritožb in preverjanje svežine virov. Omejevanje lahko vključuje omejitve hitrosti, postopen zagon, vzorčenje, človeški pregled in varne privzete nastavitve. Obnova lahko vključuje umik, popravek, obvestilo in odpravo škode.
Človeški nadzor sodi v plasti, ne na piedestal nad njimi. Človeški pregledovalec je močan, ko vmesnik prikazuje dokaze, negotovost, svežino virov, kontekst politike in smiselne možnosti preglasitve. Isti pregledovalec je dekorativen, ko sistem skriva gradivo, potrebno za presojo, potiska gumb za sprejem naprej, meri hitrost kot vrlino in obravnava nestrinjanje kot neuspeh sprejetja. Človek v zanki ni urok. Je problem zasnove delovnega mesta.
Tu je suhoparna resnica: če je varnostni primer odvisen od tega, da so vsi vsakič pozorni, je varnostni primer šibek. Ljudje smo po zasnovi spremenljivi. To je uporabno, ko je potrebna presoja, in nevarno, ko se potek dela zanaša na budnost, da bi nadomestila manjkajoče nadzore. Dobri sistemi spoštujejo človeško presojo tako, da ji ne pustijo prevzeti vsake preprečljive šibkosti.
Varna odpoved ni enaka vljudni odpovedi
Številni sistemi umetne inteligence odpovejo vljudno. Opravičijo se, se ogradijo, ponudijo pridržek ali predlagajo posvet s strokovnjakom. Včasih je to primerno. Toda varnostno inženirstvo postavlja težje vprašanje: ko je sistem negotov, pokvarjen, zunaj obsega ali brez dokazov, v kakšno stanje preide. Ali se ustavi. Ali preusmeri na človeka. Ali zmanjša zmogljivost. Ali blokira nadaljnje dejanje. Ali ohrani dokaze. Ali obvesti nekoga, ki lahko dejansko ukrepa.
Vljuden odgovor je lahko še vedno nevaren, če ga potek dela obravnava kot uporabnega. Pomočnik lahko reče, da ni zdravnik, hkrati pa v poteku dela, kjer je uporabnik pod pritiskom, pripravi podrobno medicinsko priporočilo. Načrtovalec lahko opozori, da so podatki nepopolni, hkrati pa še vedno pošlje pot v razpošiljanje. Pomočnik za skladnost lahko svoj odgovor opremi s pridržkom, delavec pa ga prepiše v končno pismo. Opozorila so šibek nadzor, kadar okoliški sistem nagrajuje njihovo prezrtje.
Varna odpoved pomeni načrtovanje privzetega stanja za negotovost. Če je zapis nepopoln, lahko sistem zavrne končno dejanje. Če svežina vira ni ustrezna, lahko zahteva nov postopek pridobivanja. Če posodobitev modela ni bila preverjena za potek dela, lahko deluje v senčnem načinu. Če je zmogljivost pregledovanja nasičena, lahko upočasni sprejem namesto da bi tiho znižal kakovost pregledovanja. To je lahko nadležno. Nadležnost je sprejemljiva, kadar je alternativa tiho nevarna.
Bistvo je sorazmernost. Vsaka negotovost ne zasluži ustavitve. Osnutki z majhnimi posledicami prenesejo več mehkobe kot odločitve o upravičenosti, varnostna navodila ali medicinska triaža. Resna umetna inteligenca prevzema varnostno navado usklajevanja vedenja ob odpovedi s posledicami. Sistem, ki ustavi vse, postane neuporaben. Sistem, ki ne ustavi ničesar, postane obveznost z odličnim časom delovanja.
Varnostni primeri so argumenti z dokazi
Varnostni primer ni mapa, ki dokazuje, da so bili vsi zaposleni. Je argument, podprt z dokazi, da je sistem sprejemljivo varen za določeno uporabo v določenem okviru. Besede določena uporaba so pomembne. Model je lahko sprejemljiv za povzemanje notranjih zapiskov in nesprejemljiv za samodejno odločanje. Usmerjevalni sistem je lahko varen pri običajni obremenitvi in nevaren med izrednim valom. Klasifikator je lahko veljaven za eno populacijo in nepreizkušen za drugo. Varnost je kontekstualna, ne parfum.
AI potrebuje varnostne primere, ker je samo zmogljivost modela preozka. Merilo uspešnosti lahko pokaže, da komponenta dobro deluje na naboru podatkov. Ne dokaže pa, da je podatkovni cevovod svež, da vmesnik podpira presojo, da ima delovni tok možnost obnovitve, da so operaterji usposobljeni, da je politika aktualna, da je odvisnost od dobavitelja omejena ali da organizacija lahko odpravi škodo. Resno zagotavljanje kakovosti povezuje dokaze o komponenti z operativnimi dokazi.
Dokazi so lahko raznovrstni: rezultati vrednotenj, ugotovitve rdečih ekip, preverjanja umerjenosti, testi kakovosti podatkov, dnevniki nevarnosti, študije uporabnosti, vaje za incidente, testi obnovitve, pregledi dostopov, nadzorne plošče, analiza pritožb in revizijski zapisi. Nobeden od teh ni sam po sebi čaroben. Skupaj podpirajo trditev, da je sistem primeren za določeno nalogo. Če se naloga spremeni, se mora spremeniti tudi varnostni primer. Če se spremeni kontekst, ga je treba ponovno pregledati. Če zanj nihče ne odgovarja, je artefakt, ne zagotavljanje kakovosti.
Tu varnostni inženiring vnese dobrodošlo disciplino. Ekipe spodbuja, da trditve povežejo s kontrolami in kontrole z dokazi. Trditev pravi, da odločitve z velikimi posledicami dobijo smiseln pregled. Kontrola pravi, da vmesnik zahteva dokaze o viru in razloge za preglasitev. Dokazi pravijo, da vzorčenje pokaže, da pregledovalci uporabljajo dokaze, in da se vzorci preglasitev pregledujejo mesečno. Ta veriga je manj privlačna kot besedna zveza odgovorna umetna inteligenca. A veliko težje jo je ponarediti.
Upravljanje sprememb je varnostno delo
Sistemi umetne inteligence se spreminjajo na načine, ki jih je prelahko podceniti. Spremeni se različica modela. Osveži se indeks pridobivanja. Uredi se predloga poziva. Premakne se prag. Dobavitelj spremeni nadrejeno taksonomijo. Ekipa doda nov vir dokumentov. Vodja razširi delovni tok s priporočila na odločitev, ker je pilot uspel in so bili koledarji polni. Vsaka sprememba je lahko videti majhna. Skupaj lahko sistem premaknejo izven njegovega varnostnega primera.
Varnostni inženiring obravnava spremembo kot trenutek tveganja. Ne zato, ker je sprememba slaba, ampak zato, ker sprememba poruši predpostavke. Resna umetna inteligenca potrebuje isto navado. Na katero trditev vpliva ta sprememba. Katere nevarnosti postanejo verjetnejše. Katere teste je treba ponoviti. Katere uporabnike je treba obvestiti. Kateri zapisi ohranjajo prejšnje stanje. Katera pot za vračanje nazaj obstaja. Katere metrike je treba spremljati po izdaji. Če je odgovor, da nihče ne ve, sprememba ni majhna. Je le nedokumentirana.
Različičenje je del te discipline. Odločitve bi morale vedeti, katera različica modela, poziva, vira podatkov, politike, praga in vmesnika je bila aktivna. Brez zapisov o različicah organizacije sodijo včerajšnje dejanje z današnjim nevidnim kontekstom. To ni odgovornost. To je potovanje skozi čas s preglednico, preglednice pa imajo že tako dovolj bremen.
Nadzor sprememb ščiti tudi inovativnost. Ekipe lahko hitreje napredujejo, če vedo, kako obvladati izboljavo. Poskusna izvajanja, postopna uvajanja, kanarske skupine, merila za umik spremembe in pregled po spremembi organizaciji omogočajo učenje brez stave celotnega poteka dela na en sam upajoč popravek. Varnostno inženirstvo ni sovražnik ponavljanja. Je razlog, da lahko ponavljanje poteka ob resničnih ljudeh, ne da bi z njimi ravnali kot s preskusnimi napravami.
Bližnji dogodki so darilo, če niso kaznovani
V varnostnih kulturah je bližnji dogodek dragocen. Gre za dogodek, ki bi lahko povzročil škodo, pa je ni, pogosto zaradi naključja, človeške presoje ali posredovanja nadzora. Tudi umetna inteligenca ima bližnje dogodke. Pregledovalec opazi napačno priporočilo. Uporabnik opazi manjkajoči vir. Model zavrne nalogo, ki bi jo nekoč morda opravil. Pritožba razkrije, da se je prag zaupanja pri eni vrsti primerov obnašal slabo. To niso nadloge, ki bi jih bilo treba skrivati. To so najcenejše lekcije, ki jih sistem sploh lahko ponudi.
Organizacije pogosto zapravijo bližnje dogodke, ker z njimi ravnajo kot s posameznimi odstopanji. Delavec je bil previden. Uporabnik je bil zmeden. Model je imel nenavaden dan. Čakalna vrsta je bila nenavadno polna. Mogoče. Toda boljše vprašanje je, kaj bližnji dogodek razkrije o zasnovi sistema. Ali je bila plošča z dokazi prešibka. Ali je bil vir zastarel. Ali je bila pot za preglasitev nejasna. Ali je bil prag nastavljen na napačni populaciji. Ali je bil pregledovalec pod časovnim pritiskom. Ali je bil model uporabljen zunaj svojega področja.
Poročanje mora biti preprosto in varno. Če poročanje o bližnjem dogodku prinaša tveganje za kariero ali birokratske težave, bodo ljudje lekcijo obdržali zase. To ni zato, ker bi bili ljudje neodgovorni. To je zato, ker so razumni in imajo e-pošto. Dobra pot poročanja je blizu dela, hitra za uporabo, jasna glede odgovornosti in povezana z vidnimi spremembami. Ljudje poročajo več, ko poročila nekaj pomenijo.
Bližnji dogodki potrebujejo tudi analizo, ki presega povprečja. Nekaj resnih bližnjih dogodkov v eni podskupini lahko izgine znotraj splošne uspešnosti. Reden robni primer ima lahko velike posledice. Ponavljajoča se majhna napaka lahko kaže na odmik. Varnostno inženirstvo uči, da podatki o incidentih niso le številka. So zemljevid tega, kje se predpostavke srečajo z resničnostjo in se pritožujejo.
Človeški dejavniki niso mehkoba
Varnostno inženirstvo jemlje človeške dejavnike resno, ker se ljudje ne obnašajo kot politike dokumentov. Utrujeni so. Prilagajajo se. Hitijo. Preskakujejo korake, ki se zdijo neuporabni. Upoštevajo privzete nastavitve. Zaupajo dodelanim vmesnikom. Izogibajo se poročanju, kadar jih poročanje kaznuje. Ustvarjajo obvode, kadar je uradna pot nemogoča. To ni cinizem. To je operativna pismenost.
Umetna inteligenca povečuje človeške dejavnike, ker stroj pogosto zveni samozavestno. Priporočilo z zeleno značko, ustvarjena razlaga in privzeti gumb za sprejem lahko ustvarijo avtoriteto, še preden katera koli oseba sprejme resnično presojo. Če organizacija tesno meri pretočnost, se bo človek v zanki naučil, kaj zanka v resnici želi. Ljudje odlično beremo spodbude. Ne potrebujemo dopisa.
Zato mora načrtovanje vključevati dobro trenje. Dokazi morajo biti vidni tam, kjer poteka presoja. Negotovost mora biti konkretna, ne nejasna. Preglasitev mora biti mogoča in običajna. Dejanja z visokimi posledicami morajo zahtevati izrecno dejanje. Čakalne vrste za pregled morajo biti prilagojene dejanskemu delu, ne domišljiji, da je pozornost neskončna. Usposabljanje mora uporabljati resnične primere, vključno z neprijetnimi robnimi primeri, ne pa sončnih primerov, zaradi katerih se vsi počutijo sposobne za dvajset minut.
Človeški dejavniki pomenijo tudi, da je varno vedenje lažje kot nevarno. Če je pravilna pot počasna, skrita ali družbeno kaznovana, je organizacija načrtovala proti varnosti, medtem ko je o njej govorila. Varnostno inženirstvo ima tu ostro lekcijo: sistemi učijo vedenje. Vmesniki, metrike, čakalne vrste in spodbude učijo zanesljiveje kot plakati.
Neodvisnost je pomembna
Panoge, kjer je varnost ključna, pogosto ločujejo vloge. Oseba, ki gradi sistem, ni edina, ki sprejema tveganje. Ekipa, ki upravlja sistem, ni edina ekipa, ki preiskuje resne incidente. Trditev dobavitelja ni enaka neodvisnim dokazom. Umetna inteligenca potrebuje to ločitev prav tako, prilagojeno posledicam. Neodvisnost ni sumničavost. Je nadzor proti temu, da si vsi tako zelo želijo uspeha zagona, da začnejo šibki dokazi videti zadostni.
Neodvisen pregled ima lahko mnogo oblik. Druga ekipa pregleda analizo nevarnosti. Lastnik domene podpiše dovoljeno uporabo. Varnostna ekipa preizkusi poti dostopa. Lastnik podatkov preveri kakovost vira. Ekipa za skladnost preveri evidence dokazov. Zunanji revizor vzorči odločitve. Uporabniki sodelujejo pri testiranju uporabnosti. Bistvo ni dodajanje gledališča. Bistvo je dati varnostnemu primeru ljudi, ki smejo biti neprijetni.
Neodvisnost velja tudi za spremljanje. Nadzorna plošča dobavitelja je lahko uporabna, vendar kritični dokazi ne smejo biti v celoti odvisni od dobavitelja, ki se ocenjuje. Dnevniki, zapisi odločitev, rezultati vrednotenj in poročila o incidentih morajo biti pod nadzorom organizacije, kjer dolžnost to zahteva. Če je edini dokaz varnosti nadzorna plošča, ki je ni mogoče neodvisno ponoviti, sistem prosi za zaupanje tam, kjer bi moral zagotoviti dokaze.
Prava raven neodvisnosti je odvisna od tveganja. Pomočnik za osnutke ne potrebuje mehanizmov jedrske elektrarne, stavek, ki bi moral pomiriti vse, vključno z jedrskimi elektrarnami. Toda umetne inteligence z visokimi posledicami ne bi smel označiti za varno isti navdušenec, ki jo je poslal v svet. Varnostno inženirstvo to ve. Upravljanje umetne inteligence se še uči, včasih z zelo samozavestnimi predstavitvami.
Kaj resna umetna inteligenca prinese s seboj
Resna umetna inteligenca si sposodi navado varnostnega inženirstva, da napako opredeli konkretno. Poimenuj nevarnost. Postavi nadzore na več kot eno raven. Načrtuj varna stanja ob okvari. Zgradi varnostni primer z dokazi. Obravnavaj spremembo kot trenutek tveganja. Uči se iz bližnjih srečanj z napako. Spoštuj človeške dejavnike. Ohranjaj neodvisne zapise. Daj ljudem pooblastilo, da ustavijo, popravijo in izboljšajo sistem.
Nič od tega ne naredi tveganja umetne inteligence nevidnega. Varnostno inženirstvo ne obljublja sveta brez napak. Obljublja svet, kjer se predvidljive napake jemljejo resno, preden postanejo naslovi, kjer so nadzori preizkušeni, kjer dokazi preživijo in kjer se organizacija uči, namesto da se zgolj opravičuje z lepšo tipografijo.
Rumena črta na tovarniških tleh ni bila sofisticirana. Prav to je bilo bistvo. Naredila je mejo vidno, povezala mejo z nadzorom in stroju omogočila varnejši odziv, kot če bi upali, da se obiskovalec spomni informacij iz uvoda. AI potrebuje več te preproste discipline. Ne manj ambicij. Boljše meje za ambicije.
Vedno bodo obstajali sistemi, ki zvenijo varno, ker se znajo vljudno pojasniti. Resni sistemi so varnejši, ker vedo, kdaj vljudnost ni dovolj. Ustavijo se, preusmerijo, zabeležijo, obnovijo in se učijo. To ni slogan. To je mehanizem, ki ga varnostni inženiring ponuja že ves čas.