Što ozbiljna umjetna inteligencija preuzima od sigurnosnog inženjerstva
Žuta linija na tvorničkom podu
Prva korisna sigurnosna lekcija koju sam vidio nije bila u AI laboratoriju. Bila je naslikana na tvorničkom podu. Posjetitelj je prekoračio žutu liniju kako bi bolje vidio stroj koji je radio točno ono što je trebao raditi, a upravo zato nitko nije želio posjetitelja blizu njega. Ništa se strašno nije dogodilo. Promijenilo se svjetlo. Zaštita je zaustavila kretanje. Nadzornik je prišao s strpljivim izrazom lica čovjeka koji je isto pravilo već objašnjavao skupim cipelama.
Linija nije bila moralni argument. Nije tražila od posjetitelja da bude odgovoran. Nije se oslanjala na slajd s obuke zapamćen uz doručak. Stvorila je granicu, a stroj je bio dizajniran da primijeti kada je granica prekoračena. Organizacija je odlučila da neke pogreške treba učiniti teško izvedivima dizajnom, a ne samo obeshrabriti ih politikom. Zato je sigurnosno inženjerstvo toliko korisno za AI. Desetljećima je učilo da ljudska namjera, pisane upute i dobre vibracije nisu kontrole.
AI sustavi često se uvode sa suprotnim instinktom. Pokrenemo sposoban model, napišemo pravila prihvatljive uporabe, dodamo čovjeka u petlju i pretpostavimo da će petlja biti mudra, odmorna, informirana, ovlaštena i bez žurbe. To je optimistično na način na koji je kartonski kišobran optimističan. Ljudi su bitni, ali ljudi smješteni na kraj nesigurnog tijeka rada nisu sigurnosna arhitektura. Oni su isprika u zadnji čas s prijavom.
Ozbiljan AI posuđuje od sigurnosnog inženjerstva jer sigurnosno inženjerstvo počinje od neugodnog pitanja. Što može poći po zlu, kako bismo to znali, što to sprječava, što ograničava štetu, tko može zaustaviti sustav i koji dokaz potvrđuje da je kontrola djelovala. Odgovori rijetko kada su glamurozni. To su blokade, kontrolne liste, alarmi, zapisnici, vježbe, podjela dužnosti, rezervni načini rada, pregledi dizajna, izvješća o incidentima i obuka povezana s radom, a ne ona koja je laminirana i zaboravljena.
Opasnosti nisu loši ishodi s ljepšim memorandumom
Opasnost je stanje koje može dovesti do štete. To zvuči jednostavno sve dok organizacija ne pokuša zapisati jednu. Loš ishod može biti pogrešno uskraćivanje, propuštena dijagnoza, opasna uputa, pristrana rang lista, povreda privatnosti ili pogrešan sažetak. Opasnost može biti ranija i tiša: nepotpuni zapisi, nejasan autoritet, zastarjelo dohvaćanje, previše samouvjeren jezik sučelja, nedostajuća eskalacija, nejasan opseg ili red čekanja koji recenzentima daje devedeset sekundi za odluku koja zaslužuje devet minuta.
Ova razlika je važna. Ako timovi nabrajaju samo loše ishode, kontrole stižu prekasno. Kažu da ne želimo pogrešne odluke. U redu. Nitko nije došao na sastanak nadajući im se. Analiza opasnosti pita koje stanje sustava čini pogrešne odluke vjerojatnijima. To je pitanje korisnije i neugodnije. Ukazuje na kvalitetu podataka, dizajn tijeka rada, poticaje, osoblje, opseg modela, praćenje i operativne ovlasti. Također uništava nekoliko lijepih vremenskih planova lansiranja, po čemu znate da djeluje.
Analiza opasnosti umjetne inteligencije trebala bi biti utemeljena u domeni. Pomoćnik za trijažu u bolnici, model za usmjeravanje kredita, planer skladišta, alat za generiranje koda i tijek rada za javne naknade ne dijele jednu tablicu rizika. Dijele sigurnosne navike. Imenujte posao. Imenujte pogođene ljude. Imenujte radnju. Imenujte posljedicu. Imenujte pretpostavke. Imenujte mjesta na kojima sustav može biti pogrešan, zakašnjel, pretjerano korišten, nedovoljno objašnjen ili mu se vjeruje iz pogrešnog razloga.
Poanta nije postati prestrašen od svakog mogućeg kvara. Sigurnosno inženjerstvo nije profesionalna tjeskoba. To je selektivna ozbiljnost. Neke opasnosti zaslužuju upozorenje. Neke zaslužuju potpuni prekid. Neke zaslužuju redizajn. Neke zaslužuju prihvaćanje uz praćenje. Neke pokazuju da se sustav ne bi smio koristiti za tu radnju. Vrijednost je u tome da se ta prosudba učini eksplicitnom prije nego što sučelje učini posao normalnim.
Slojevi pobjeđuju herojski nadzor
Jedna kontrola rijetko je dovoljna. Zaštita može otkazati. Kontrolni popis može biti preskočen. Senzor može zanijeti. Recenzent može biti umoran. Model može biti pretjerano samouvjeren. Politika može biti pogrešno protumačena. Sigurnosno inženjerstvo stoga gradi slojeve: spriječi, otkrij, obuzdaj, oporavi, uči. Fraza obrana u dubini možda zvuči kao da je konzultant otkrio oklop, ali ideja je jednostavna. Ne oslanjajte se na jednu kontrolu da bude savršena u svijetu koji to nije.
AI sustavi trebaju isto slojevito djelovanje. Prevencija može uključivati ograničenja opsega, validaciju podataka, ograničene izlaze, dopuštenja za alate, granice pretraživanja i dizajn tijeka rada koji drži radnje s visokim posljedicama podalje od izlaza s niskom razinom dokaza. Otkrivanje može uključivati praćenje odstupanja, kalibraciju pouzdanosti, upozorenja na anomalije, praćenje zaobilaženja, obrasce žalbi i provjere svježine izvora. Obuzdavanje može uključivati ograničenja stope, postupno uvođenje, uzorkovanje, ljudski pregled i sigurne zadane postavke. Oporavak može uključivati vraćanje, ispravak, obavijest i naknadu štete.
Ljudski nadzor pripada unutar slojeva, ne na postolju iznad njih. Ljudski recenzent je moćan kada sučelje pokazuje dokaze, nesigurnost, svježinu izvora, kontekst politike i smislene opcije za zaobilaženje. Isti recenzent je dekorativan kada sustav skriva materijal potreban za prosudbu, gura gumb za prihvaćanje naprijed, mjeri brzinu kao vrlinu i tretira neslaganje kao neuspjeh prihvaćanja. Čovjek u petlji nije čarolija. To je problem dizajna posla.
Ovdje postoji suha istina: ako sigurnosni slučaj ovisi o tome da su svi pažljivi svaki put, sigurnosni slučaj je slab. Ljudi su promjenjivi po dizajnu. To je korisno kada je potrebna prosudba, a opasno kada se tijek rada oslanja na budnost kako bi nadoknadio nedostatak kontrola. Dobri sustavi poštuju ljudsku prosudbu tako što je ne tjeraju da upija svaku spriječivu slabost.
Sigurno otkazivanje nije isto što i pristojno otkazivanje
Mnogi AI sustavi otkazuju pristojno. Ispričavaju se, ublažavaju, nude ogradu ili preporučuju savjet stručnjaka. Ponekad je to primjereno. No sigurnosno inženjerstvo postavlja teže pitanje: kada je sustav nesiguran, pokvaren, izvan opsega ili mu nedostaju dokazi, u koje stanje prelazi. Zaustavlja li se. Prosljeđuje li čovjeku. Smanjuje li mogućnosti. Blokira li nizvodnu radnju. Čuva li dokaze. Obavještava li nekoga tko doista može djelovati.
Pristojan odgovor i dalje može biti nesiguran ako ga tijek rada tretira kao upotrebljiv. Pomoćnik može reći da nije liječnik, a istovremeno proizvesti detaljnu medicinsku preporuku unutar tijeka rada u kojem je korisnik pod pritiskom. Planer može upozoriti da su podaci nepotpuni, a istovremeno poslati rutu u dispečersku službu. Pomoćnik za usklađenost može ograditi svoj odgovor dok radnik kopira u konačno pismo. Upozorenja su slabe kontrole kada okolni sustav nagrađuje njihovo ignoriranje.
Sigurno otkazivanje znači oblikovati zadano stanje za nesigurnost. Ako je zapis nepotpun, sustav može odbiti konačnu radnju. Ako provjera svježine izvora ne uspije, može zahtijevati novi prolaz dohvaćanja. Ako ažuriranje modela nije validirano za tijek rada, može raditi u načinu sjene. Ako je kapacitet pregleda zasićen, može usporiti unos umjesto da tiho smanji kvalitetu pregleda. To može biti neugodno. Neugodnost je prihvatljiva kada je alternativa tiho nesigurna.
Trik je u proporcionalnosti. Ne zaslužuje svaka nesigurnost zaustavljanje. Nacrti niskih posljedica mogu podnijeti više mekoće nego odluke o podobnosti, sigurnosne upute ili medicinska trijaža. Ozbiljan AI posuđuje sigurnosnu naviku usklađivanja ponašanja sigurnog otkazivanja s posljedicama. Sustav koji zaustavlja sve postaje neupotrebljiv. Sustav koji ne zaustavlja ništa postaje odgovornost s izvrsnim radnim vremenom.
Sigurnosni slučajevi su argumenti s dokazima
Sigurnosni slučaj nije registrator koji dokazuje da su svi bili zauzeti. To je argument, potkrijepljen dokazima, da je sustav prihvatljivo siguran za definiranu uporabu u definiranom kontekstu. Riječi definirana uporaba su važne. Model može biti prihvatljiv za sažimanje internih bilješki, a neprihvatljiv za automatsko donošenje odluka. Sustav za usmjeravanje može biti siguran pri normalnom opterećenju, a nesiguran tijekom hitnog vala. Klasifikator može biti valjan za jednu populaciju, a netestiran za drugu. Sigurnost je kontekstualna, nije parfem.
AI treba sigurnosne slučajeve jer je sama izvedba modela preuska. Benchmark može pokazati da komponenta dobro radi na skupu podataka. No ne dokazuje da je podatkovni cjevovod svjež, da sučelje podržava prosudbu, da tijek rada ima oporavak, da su operateri obučeni, da je politika aktualna, da je ovisnost o dobavljaču ograničena ili da organizacija može ispraviti štetu. Ozbiljno osiguranje povezuje dokaze o komponentama s operativnim dokazima.
Dokazi mogu biti raznoliki: rezultati evaluacije, nalazi red-tima, provjere kalibracije, testovi kvalitete podataka, evidencije opasnosti, studije upotrebljivosti, vježbe incidenata, testovi oporavka, revizije pristupa, nadzorne ploče, analiza žalbi i revizijski zapisi. Nijedan od njih sam po sebi nije čaroban. Zajedno podupiru tvrdnju da je sustav prikladan za određeni posao. Ako se posao promijeni, sigurnosni slučaj mora se promijeniti. Ako se kontekst promijeni, mora se ponovno razmotriti. Ako ga nitko ne posjeduje, riječ je o artefaktu, a ne o osiguranju.
Upravo tu inženjerstvo sigurnosti unosi dobrodošlu disciplinu. Traži od timova da povežu tvrdnje s kontrolama i kontrole s dokazima. Tvrdnja kaže da odluke s visokim posljedicama dobivaju smislenu reviziju. Kontrola kaže da sučelje zahtijeva izvorne dokaze i razloge za nadjačavanje. Dokaz kaže da uzorkovanje pokazuje da recenzenti koriste dokaze i da se obrasci nadjačavanja revidiraju mjesečno. Taj lanac manje je uzbudljiv od fraze odgovorna umjetna inteligencija. No i mnogo ga je teže krivotvoriti.
Upravljanje promjenama sigurnosni je posao
AI sustavi mijenjaju se na načine koje je previše lako podcijeniti. Promijeni se verzija modela. Osvježi se indeks za pretraživanje. Uredi se predložak upita. Pomakne se prag. Dobavljač promijeni nadređenu taksonomiju. Tim doda novi izvor dokumenata. Voditelj proširi tijek rada s preporuke na odluku jer je pilot prošao dobro i kalendari su bili puni. Svaka promjena može izgledati mala. Zajedno mogu pomaknuti sustav izvan njegova sigurnosnog slučaja.
Inženjerstvo sigurnosti tretira promjenu kao trenutak rizika. Ne zato što je promjena loša, nego zato što promjena ruši pretpostavke. Ozbiljna umjetna inteligencija treba istu naviku. Na koju tvrdnju utječe ova promjena. Koje opasnosti postaju vjerojatnije. Koje se testove mora ponovno pokrenuti. Koje korisnike treba obavijestiti. Koji zapisi čuvaju prethodno stanje. Koji put vraćanja postoji. Koje metrike treba pratiti nakon objave. Ako je odgovor nitko ne zna, promjena nije mala. Samo je nedokumentirana.
Verzioniranje dio je te discipline. Odluke trebaju znati koja su verzija modela, upita, izvora podataka, politike, praga i sučelja bile aktivne. Bez zapisa o verzijama organizacije prosuđuju jučerašnje postupke koristeći današnji nevidljivi kontekst. To nije odgovornost. To je putovanje kroz vrijeme s proračunskom tablicom, a proračunske tablice već imaju dovoljno tereta.
Kontrola promjena također štiti inovacije. Timovi mogu brže napredovati kada znaju kako ograničiti poboljšanje. Probni radovi, postupna objava, kanarinske skupine, kriteriji za povratak na prethodno stanje i pregled nakon promjene omogućuju organizaciji učenje bez klađenja cijelog tijeka rada na jednu nadu punu izmjenu. Sigurnosno inženjerstvo nije neprijatelj iteracije. Ono je razlog zašto se iteracija može odvijati među stvarnim ljudima, a da ih se ne tretira kao ispitne objekte.
Bliski promašaji su darovi ako se ne kažnjavaju
U sigurnosnim kulturama bliski promašaj je dragocjen. To je događaj koji je mogao prouzročiti štetu, ali nije, često zbog slučaja, ljudske prosudbe ili intervencije kontrole. I operacije umjetne inteligencije imaju bliske promašaje. Recenzent uoči pogrešnu preporuku. Korisnik primijeti nedostajući izvor. Model odbije zadatak koji bi nekada možda odradio. Žalba otkrije da se prag pouzdanosti loše ponašao za jednu vrstu slučaja. To nisu smetnje koje treba skrivati. To su najjeftinije lekcije koje će sustav ponuditi.
Organizacije često traće bliske promašaje jer ih tretiraju kao pojedinačna odstupanja. Radnik je bio oprezan. Korisnik je bio zbunjen. Model je imao čudan dan. Red je bio neobično pun. Možda. Ali bolje je pitanje što bliski promašaj otkriva o dizajnu sustava. Je li ploča s dokazima bila preslaba. Je li izvor bio zastario. Je li put za nadjačavanje bio nejasan. Je li prag bio podešen na pogrešnoj populaciji. Je li recenzent bio pod vremenskim pritiskom. Je li se model koristio izvan opsega.
Prijavljivanje mora biti jednostavno i sigurno. Ako prijavljivanje bliskog promašaja stvara rizik za karijeru ili administrativnu muku, ljudi će lekciju zadržati za sebe. To nije zato što su ljudi neodgovorni. To je zato što su racionalni i imaju e-poštu. Dobar put za prijavljivanje blizu je posla, brz za korištenje, jasan glede vlasništva i povezan s vidljivom promjenom. Ljudi više prijavljuju kada izvješća imaju značaj.
Bliski promašaji također trebaju analizu izvan prosjeka. Nekoliko ozbiljnih bliskih promašaja u jednoj podskupini može nestati unutar ukupne izvedbe. Rijedak rubni slučaj može nositi visoke posljedice. Ponavljani mali kvar može upućivati na odstupanje. Sigurnosno inženjerstvo uči da podaci o incidentima nisu samo broj. Oni su karta mjesta gdje se pretpostavke susreću sa stvarnošću i prigovaraju.
Ljudski čimbenici nisu mekoća
Sigurnosno inženjerstvo ozbiljno shvaća ljudske čimbenike jer se ljudi ne ponašaju kao dokumenti s politikama. Umore se. Prilagođavaju se. Žure. Preskaču korake koji se čine beskorisnima. Slijede zadane postavke. Vjeruju uglađenim sučeljima. Izbjegavaju prijavljivanje kada ih ono kažnjava. Grade zaobilazna rješenja kada je službeni put nemoguć. To nije cinizam. To je operativna pismenost.
AI sustavi pojačavaju ljudske čimbenike jer stroj često zvuči uvjerljivo. Preporuka sa zelenom oznakom, generirano objašnjenje i zadani gumb za prihvaćanje mogu stvoriti autoritet prije nego što itko donese stvarnu prosudbu. Ako organizacija strogo mjeri propusnost, čovjek u petlji naučit će što petlja zapravo želi. Ljudi su izvrsni čitatelji poticaja. Ne trebaju im dopisi.
Dizajn stoga mora uključivati dobro trenje. Dokazi bi trebali biti vidljivi tamo gdje se donosi prosudba. Neizvjesnost bi trebala biti konkretna, a ne nejasna. Nadjačavanje bi trebalo biti moguće i normalno. Radnje s visokim posljedicama trebale bi zahtijevati izričit čin. Redovi za pregled trebali bi biti veličinom prilagođeni stvarnom poslu, a ne maštariji da je pažnja beskonačna. Obuka bi trebala koristiti stvarne slučajeve, uključujući neugodne rubne slučajeve, umjesto sunčanih primjera zbog kojih se svi osjećaju sposobnima dvadeset minuta.
Ljudski čimbenici također znače učiniti sigurno ponašanje lakšim od nesigurnog. Ako je ispravan put spor, skriven ili društveno kažnjen, organizacija je dizajnirala protiv sigurnosti dok o njoj govori. Sigurnosno inženjerstvo ovdje ima grubu lekciju: sustavi poučavaju ponašanje. Sučelja, metrike, redovi i poticaji poučavaju pouzdanije od plakata.
Neovisnost je važna
Industrije u kojima je sigurnost kritična često razdvajaju uloge. Osoba koja gradi sustav nije jedina koja prihvaća rizik. Tim koji upravlja sustavom nije jedini tim koji istražuje ozbiljne incidente. Tvrdnja dobavljača nije isto što i neovisni dokazi. AI-u je također potrebno to razdvajanje, razmjerno posljedicama. Neovisnost nije sumnjičavost. To je kontrola protiv toga da svi toliko žele uspjeh lansiranja da slabi dokazi počnu izgledati dostatnima.
Neovisni pregled može imati mnoge oblike. Drugi tim pregledava analizu opasnosti. Vlasnik domene odobrava dopuštenu uporabu. Sigurnosni tim testira putove pristupa. Vlasnik podataka provjerava kvalitetu izvora. Tim za usklađenost provjerava zapise o dokazima. Vanjski revizor uzorkuje odluke. Korisnici sudjeluju u testiranju upotrebljivosti. Poanta nije dodati kazalište. Poanta je dati sigurnosnom slučaju ljude kojima je dopušteno biti nezgodni.
Neovisnost se također odnosi na praćenje. Nadzorna ploča dobavljača može biti korisna, ali kritični dokazi ne bi trebali u potpunosti ovisiti o dobavljaču koji se procjenjuje. Zapisi, zapisnici odluka, rezultati evaluacije i izvješća o incidentima trebali bi biti pod kontrolom organizacije tamo gdje dužnost to zahtijeva. Ako je jedini dokaz sigurnosti nadzorna ploča koja se ne može neovisno reproducirati, sustav traži povjerenje na mjestu gdje bi trebao pružiti dokaze.
Odgovarajuća razina neovisnosti ovisi o riziku. Asistent za pisanje ne treba mehanizaciju nuklearne elektrane, rečenica koja bi trebala utješiti sve, uključujući nuklearne elektrane. Ali AI s visokim posljedicama ne bi trebao biti označen sigurnim od strane istog entuzijazma koji ga je isporučio. Sigurnosno inženjerstvo to zna. AI upravljanje još uvijek uči, ponekad s vrlo samouvjerenim prezentacijama.
Što ozbiljan AI nosi sa sobom
Ozbiljan AI posuđuje naviku sigurnosnog inženjerstva da neuspjeh učini konkretnim. Imenujte opasnost. Postavite kontrole na više od jedne razine. Dizajnirajte stanja sigurna od kvara. Izgradite sigurnosni slučaj s dokazima. Tretirajte promjenu kao trenutak rizika. Učite iz bliskih promašaja. Poštujte ljudske čimbenike. Čuvajte neovisne zapise. Dajte ljudima ovlast da zaustave, isprave i poboljšaju sustav.
Ništa od ovoga ne čini da rizik od AI-ja nestane. Sigurnosno inženjerstvo ne obećava svijet bez neuspjeha. Ono obećava svijet u kojem se predvidljivi neuspjeh shvaća ozbiljno prije nego što postane naslovnica, u kojem se kontrole testiraju, u kojem dokazi preživljavaju i u kojem organizacija uči, a ne samo ispričava se boljom tipografijom.
Žuta linija na podu tvornice nije bila sofisticirana. U tome je i bila poanta. Učinila je granicu vidljivom, povezala granicu s kontrolom i dala stroju sigurniji odgovor nego nadati se da se posjetitelj sjeća brifinga. AI treba više te jednostavne discipline. Ne manje ambicije. Bolje granice za ambiciju.
Uvijek će postojati sustavi koji zvuče sigurno jer se znaju pristojno objasniti. Ozbiljni sustavi sigurniji su jer znaju kada pristojnost nije dovoljna. Zaustavljaju se, preusmjeravaju, bilježe, oporavljaju se i uče. To nije slogan. To je strojarska sigurnosna tehnika koju inženjerstvo nudi cijelo vrijeme.