Sigurnost umjetne inteligencije uglavnom je dizajn sustava
Sastanak o sigurnosti nakon demonstracije
Demonstracija je prošla dobro, na uobičajen način. Model je pročitao hrpu internih dokumenata, odgovorio na pitanje o politici, predložio sljedeći korak i izradio uredan sažetak za spis predmeta. Prisutni su klimali glavom. Netko je pitao može li se povezati sa sustavom tijeka rada. Netko drugi pitao je koliko brzo. Zatim je službenik za sigurnost upitao što bi se dogodilo kada bi model bio u krivu, ali uvjerljiv. Prostorija je odjednom postala vrlo zainteresirana za kolače.
To je pitanje odakle počinje praktična sigurnost umjetne inteligencije. Ne u apstraktnom smislu i ne u sloganu. U obliku sustava oko modela koji će ponekad biti u krivu, ponekad zastario, ponekad pretjerano samouvjeren, ponekad nedovoljno samouvjeren, a ponekad točan iz pogrešnog razloga. Sigurnosno pitanje nije samo ponašanje modela. Riječ je o tome što sustav tom ponašanju dopušta da učini.
Model koji sastavlja rečenicu jedna je razina rizika. Model koji ažurira odluku o naknadi druga je. Model koji poziva alat s pravom pisanja treća je. Model koji usmjerava pacijenta, odbija zahtjev, mijenja kreditni limit ili upravlja opremom nalazi se u potpuno drugoj klasi opasnosti. Isti temeljni model može biti bezopasan, koristan, rizičan ili neprihvatljiv ovisno o granicama, stanju, dokazima, ovlastima, nadzoru i oporavku. Zato je sigurnost umjetne inteligencije uglavnom dizajn sustava.
Riječ uglavnom u toj rečenici ima svoju težinu. Istraživanje modela je važno. Kvaliteta podataka je važna. Metode usklađivanja su važne. Znanost o evaluaciji je važna. No kada organizacija uvede umjetnu inteligenciju u upotrebu, sigurnost postaje operativno pitanje. Tko smije pitati. Što model smije vidjeti. Što smije mijenjati. Kakav se dokaz zahtijeva. Koje se stanje čuva. Što se događa kada se izvori ne slažu. Kada čovjek mora odobriti. Kako se otkriva odstupanje. Kako se loše izdanje vraća unatrag. To su pitanja dizajna prije nego što postanu etičke izjave. Etička izjava može biti iskrena. Sustav ne izvršava iskrenost.
Sigurnost je problem upravljanja
Kada ljudi čuju riječ sigurnost, često pomisle na vrijednosti, podatke za obuku, politike odbijanja i usklađivanje modela. To je dio slike, ali sustav u upotrebi također treba kontrole. Kontrola je nešto što mijenja ono što se može dogoditi: provjera pristupa, shema, vremensko ograničenje, prag, ljudsko odobrenje, pješčanik, ograničenje brzine, verifikator, vraćanje unatrag, prekidač za isključivanje, zapis koji poslužiteljski put ne može mijenjati. Kontrole su dosadne sve dok ih ne nedostaje. Tada postanu jedina tema sastanka.
Siguran AI sustav pretpostavlja da model može pogriješiti te u skladu s time oblikuje okolne mehanizme. Odvaja prijedlog od djelovanja. Ograničava ovlasti alata. Provjerava dokaze prije promjene stanja. Čini nesigurnost vidljivom. Bilježi verziju modela i opseg izvora. Odbija zahtjev kada nedostaju obavezna polja. Operaterima daje način da pauziraju automatizaciju. Izlaz modela tretira kao kandidata, a ne kao dekret vrlo rječitog proračuna.
To je uobičajeno sigurnosno inženjerstvo s jezičnim modelom u središtu. Zrakoplovstvo, medicina, željeznica, industrijska kontrola i financije naučili su da važni sustavi trebaju višeslojne kontrole jer nijedna komponenta nije savršena. AI verzija djeluje novo jer komponenta govori. Govor čini neuspjeh društveno uvjerljivim. Pogrešan odgovor koji zvuči smireno može lakše proći pored umornog operatera nego crvena greška koja treperi. Dizajn kontrole stoga mora biti tvrdoglaviji od proze.
Dizajn kontrole počinje pitanjem na što sustav smije utjecati. Ako AI može samo izraditi nacrt, sigurnost se usredotočuje na kvalitetu izvora, provjeru halucinacija, jasnoću korisničkog sučelja i pregled. Ako može usmjeravati posao, sigurnost dodaje praćenje stanja, cjelovitost reda čekanja, razine usluge i putove žalbe. Ako može pozivati alate, sigurnost dodaje opsege dopuštenja, provjeru argumenata, zapise transakcija i kompenzacijske radnje. Ako može utjecati na prava ili fizičke sustave, sigurnost zahtijeva dokaze, formalni pregled, ograničenu autonomiju i ozbiljno planiranje incidenata. Model je jedan dio. Okvir ovlasti je drugi.
Granica je proizvod
Najvažnija linija u AI sustavu često nije vidljiva u sučelju. To je granica između čitanja i pisanja, preporučivanja i odlučivanja, sažimanja i bilježenja, pomaganja i djelovanja. Slabe granice način su na koji bezazleni prototipovi postaju nesigurne usluge. Model koji počinje kao pomoć pri izradi nacrta dobije gumb za primjenu nacrta. Zatim dobije alat za ažuriranje predmeta. Zatim dobije pravilo usmjeravanja jer je tim zauzet. Šest mjeseci kasnije nitko ne može objasniti koje su odluke automatizirane, a koje samo potpomognute. To nije zlonamjernost. To je širenje opsega u udobnim cipelama.
Dobre granice su eksplicitne i provjerljive. Model smije čitati ove izvore, a ne one. Smije predložiti ova polja, ali ih ne smije potvrditi. Smije pozvati ovaj alat s ovim argumentima, a ne s proizvoljnim tekstom. Smije usmjeravati niskorizične predmete, a ne sporne predmete. Smije odgovoriti samo kada su dokazi aktualni. Ne smije koristiti privatne bilješke za javna objašnjenja. Ne smije prijeći iz jednog najmoprimca, regije, računa ili pravne osnove u drugi samo zato što sljedeći odlomak djeluje korisno.
Granice se također moraju provoditi izvan modela. Uputa koja kaže ne piši u bazu podataka kupaca nije granica ako alat ima pristup za pisanje i nema pristupnik. Sistemska poruka koja kaže citiraj izvore nije granica ako se odgovori mogu pohraniti bez citata. Odlomak politike koji kaže da je potrebno ljudsko odobrenje nije granica ako tijek rada dopušta automatizaciji da označi odobreno. Sigurnosne upute unutar modela korisne su, ali nisu dovoljne. Sustav mora učiniti nesigurne putove teškima ili nemogućima.
To je neromantičan posao koji zapravo štiti ljude. Tipizirani pozivi alata. Uski opsezi. Zadane postavke samo za čitanje. Zasebne usluge odobrenja. Idempotentne operacije. Zapisi revizije. Verzionirane politike. Stanja reda čekanja. Eksplicitna stanja odbijanja. Vokabular zvuči kao da je backend inženjer proveo miran vikend s prijenosnom pločom. Dobro. Sigurnost u produkciji obično tako izgleda. Ne pokušava pobijediti na natječaju za slogane.
Stanje je mjesto gdje sigurnost postaje stvarna
Razgovori s umjetnom inteligencijom mogu ostaviti dojam da su sustavi bez stanja. Korisnik pita, model odgovara, zaslon se mijenja. Produkcija nije bez stanja. Predmeti se pomiču. Zahtjevi stare. Ovlasti istječu. Dokumenti se ispravljaju. Verzija modela se mijenja. Čovjek nadjača preporuku. Pristigne žalba. Korisnik pita zašto se nešto dogodilo prošlog mjeseca. Sigurnost ovisi o tome je li sustav sačuvao stanje potrebno za odgovor.
Stanje sustavu govori što se već dogodilo i što se može dogoditi sljedeće. Bez njega model vidi isječak i nagađa ostatak. Tako nastaju duplicirane radnje, rokovi nestaju, odobrenja se pretpostavljaju, a stari dokazi ponovno ulaze u novu odluku. Siguran tijek rada bilježi izričita stanja: nacrt, nedostaju dokazi, politika blokira, potreban pregled, odobreno, izvršeno, osporeno, ispravljeno, opozvano. Ta stanja nisu ukras. Ona sprječavaju model da prema važnom procesu postupa kao prema transkriptu razgovora s ambicijama.
Stanje također daje ljudima polugu. Operater može provjeriti zašto je predmet u pregledu. Voditelj može vidjeti stvara li automatizacija zaostatak. Revizor može ponovno pregledati koje su verzije izvora bile aktivne. Korisnik može osporiti ishod nečim konkretnijim od snimke zaslona. Programer može izmjeriti povećava li novi model odbijanja, eskalacije ili dorade. Bez stanja svaki razgovor o sigurnosti postaje kazalište. Ljudi govore o odgovornosti, a sustav je izgubio imenice.
Za umjetnu inteligenciju stanje bi trebalo uključivati verziju modela i politike, identifikator upita ili predloška, skup izvora, vremensku oznaku dohvaćanja, pozive alata, pouzdanost ili nesigurnost, razlog odbijanja, ljudsku radnju i učinak nizvodno. Ne pripada sve to u jedan redak dnevnika, i ne bi sve trebalo biti vidljivo svima. Privatnost i sigurnost su važni. No informacije moraju postojati pod kontroliranim pristupom. Inače sigurnost postaje ovisna o pamćenju, a pamćenje je poznato loša baza podataka s izvrsnim isprikama.
Dokazi su sigurnosna ograda
Odgovor modela sigurniji je kada je povezan s dokazima. To zvuči očito sve dok sustav nije pod pritiskom. Dokazi se preskaču jer dodaju latenciju. Citati se pohranjuju kao tekst umjesto kao identifikatori. Rezultati dohvaćanja ne čuvaju se. Verzije izvora se prepisuju. Model piše uvjerljivo objašnjenje iz dokumenta koji je u međuvremenu ispravljen. Kasnije svi pitaju zašto je odgovor bio pogrešan. Odgovor je da je ograda bila ukrasna.
Korisni dokazi nisu fusnota. Oni su lanac. Zahtjev je ušao s identitetom i svrhom. Izvori su odabrani uz dopuštenje. Pretraživanje je pronašlo određene dijelove ili zapise. Model je proizveo izlaz pod imenovanom verzijom. Provjeritelj je provjerio tvrdnje ili pragove. Čovjek je prihvatio, uredio ili odbio. Radnja je promijenila stanje. Sustav je pohranio dovoljno tog lanca da se može ponoviti ili osporiti. Ovo nije birokracija radi sebe same. Tako sigurnost preživljava vrijeme.
Dokazi također štite model od toga da ga se traži da obavi nemoguć posao. Ako sustav zahtijeva aktualne izvore, model može odbiti zastarjele podatke. Ako sustav zahtijeva dva podudarna zapisa, može označiti neslaganje. Ako sustav zahtijeva identifikatore izvora, može zaustaviti nepotkrijepljene tvrdnje. Model više ne mora pretvarati nedostatak dokaza u tečno upravljanje nesigurnošću. Može vratiti sigurno stanje. To je ljubaznije prema modelu i mnogo ljubaznije prema osobi na koju izlaz utječe.
Postoji ravnoteža. Prikupljanje dokaza ne smije postati nadzor. Osjetljiv sadržaj može se hashirati, redigirati, odvojiti ili čuvati ograničeno vrijeme. Poanta nije zabilježiti sve zauvijek. Poanta je sačuvati činjenice potrebne za ispitivanje važnog ponašanja. Sigurnost bez dokaza samo je povjerenje u ljepšem kaputu. Možda dobro izgleda u predvorju. Ne drži se u incidentu.
Ljudi trebaju osmišljeni autoritet
Čovjek u petlji često se koristi kao čarobna fraza. Nije magija. Umoran recenzent sa slabim dokazima, nejasnom politikom i redom od dvjesto predmeta nije sigurnosni sustav. To je osoba postavljena na kraj pokretne trake i zamoljena da bude upravljanje. Možda kratko funkcionira, osobito ako je osoba iskusna i uporna. To nije dizajn.
Ljudski autoritet mora biti specifičan. Koji predmeti zahtijevaju pregled. Koje dokaze recenzent vidi. Može li recenzent mijenjati strukturirana polja ili samo odobravati tekst. Zna li recenzent je li model bio nesiguran ili je li politika zahtijevala eskalaciju. Vraćaju li se neslaganja u evaluaciju. Jesu li recenzenti zaštićeni od pristranosti automatizacije. Mogu li pauzirati tijek rada. Mogu li eskalirati stručnjaku. Mogu li vidjeti slične prošle predmete. Mogu li objasniti odluku pogođenoj osobi. Ti detalji odlučuju je li ljudski nadzor stvaran ili ukrasan.
Dobar nadzor također odvaja prosudbu od administrativnog spašavanja. Ljudi ne bi trebali trošiti vrijeme na pronalaženje nedostajućih identifikatora izvora, dedupliciranje ponovnih pokušaja, prevođenje modelove proze u radne tokove ili pogađanje koja je verzija politike primijenjena. Sustav bi trebao upakirati slučaj. Čovjek bi trebao primijeniti prosudbu tamo gdje je prosudba potrebna: sporno značenje, iznimka, proporcionalnost, kontekst, empatija i odgovornost. Ako se čovjek uglavnom bavi čišćenjem infrastrukturnih praznina, organizacija je pobrkala osoblje sa sigurnošću.
Dizajn također mora omogućiti ljudima da se ne slažu s automatizacijom bez da trenje postane kazna. Ako nadjačavanje modela zahtijeva osam klikova, a prihvaćanje jedan, sučelje ima politiku. Ako eskalacija čini tim sporim, ljudi će izbjegavati eskalaciju. Ako metrika nagrađuje samo propusnost, sigurnosni pregledi postat će ceremonijalni. Dizajn sustava uključuje poticaje, zaslone, redove čekanja i zadane postavke. Model možda ne zna metriku, ali ljudi će je sigurno znati.
Lokalnost mijenja rizik
Mjesto gdje se AI rad odvija je važno. Sustav koji šalje svaki dokument udaljenom modelu ima drugačije rizike od onog koji izvlačenje obavlja blizu podataka i šalje samo izvedeno polje. Sustav koji pohranjuje tragove u servisnu uslugu ima drugačije rizike od onog koji vodi neovisne zapise revizije. Sustav koji se oslanja na jedan vanjski usmjerivač ima drugačije mogućnosti oporavka od onog koji može degradirati lokalno. Lokalnost nije nacionalizam s mrežnim dijagramom. To je praktično pitanje koji se rizici pomiču kada se podaci, računalstvo, politika i dokazi pomiču.
Neki posao trebao bi se odvijati blizu osjetljivih podataka jer pomicanje podataka stvara izloženost. Neki posao trebao bi se odvijati blizu korisnika jer latencija utječe na sigurnost. Neki posao trebao bi se odvijati u središnjoj usluzi jer je potreban specijalizirani pregled ili hardver. Neki dokazi trebali bi se pohranjivati dalje od putanje posluživanja modela jer putanja posluživanja može biti predmet istrage. Siguran dizajn rijetko je sve lokalno ili sve udaljeno. To je promišljen smještaj.
Lokalnost također utječe na pravnu i organizacijsku odgovornost. Ako poziv modela prelazi regije, koji zakon uređuje podatke. Ako se indeks gradi izvan izvornog sustava, kako se brisanja propagiraju. Ako dobavljač promijeni model, kako se prima obavijest i provodi testiranje. Ako zapisnici stoje na portalu dobavljača, može li ih organizacija izvesti tijekom incidenta. To nisu apstraktna pitanja suvereniteta. To su sigurnosna pitanja jer određuju može li organizacija kontrolirati i objasniti sustav pod pritiskom.
Pogrešan smještaj može sigurno ponašanje učiniti skupim. Ako svaki korak provjere zahtijeva udaljeni povratni put, timovi mogu uzorkovati umjesto provjeravati svaki slučaj. Ako je podatke revizije teško povezati, istrage postaju spore. Ako privatni podaci moraju putovati radi jednostavne klasifikacije, rizik se povećava bez koristi. Dobar dizajn lokalnosti smanjuje trošak činjenja sigurne stvari. To je važno jer će se kontrole koje su preskupe na kraju opisati kao neobvezne, što je način na koji počinju mnoge loše priče.
Vrednovanje mora pratiti sustav
Mnogi timovi vrednuju model, a zaborave vrednovati sustav. Testiraju jesu li odgovori točni na skupu upita, a zatim implementiraju u tijek rada s dozvolama, svježinom izvora, redovima čekanja, pozivima alata, ljudskim pregledom, ponavljanjima i promjenjivim pravilima. Mjerilo modela može i dalje biti korisno, ali više ne opisuje cjelokupni rizik. Sigurnosni propusti često žive na spojevima.
Vrednovanje sustava testira ponašanje od kraja do kraja. Pita je li pravi izvor dohvaćen za pravog korisnika. Provjerava odbija li se zastarjeli podatak. Provjerava jesu li pozivi alata blokirani bez dozvole. Mjeri stižu li slučajevi visokog rizika do ljudi. Testira povratak na prethodno stanje. Testira kašnjenje u redu. Testira putove nadogradnje modela. Testira čudne, ali obične slučajeve: nedostajući datum, duplikat korisnika, iznimka regije, žalba nakon ispravka, brisanje izvora, djelomični prekid rada, preopterećeni recenzent. Produkcija ima afinitet prema slučajevima za koje nitko nije mislio da su dovoljno dramatični.
Vrednovanje bi trebalo uključivati negativnu sposobnost. Sustav mora biti dobar u nečinjenju. Ne odgovarati bez dokaza. Ne prelaziti granice dozvola. Ne eskalirati na djelovanje kada je dopuštena samo izrada nacrta. Ne skrivati nesigurnost. Ne koristiti izvor nakon brisanja. Ne nastavljati kada alat vrati nedosljedno stanje. Sigurnost ovisi jednako o odbijanju i pauziranju koliko i o točnosti. Najvažniji rezultat sigurnog AI sustava može biti nedovoljno dokaza, što je rečenica koju nijedan demo tim nikada ne stavlja na transparent.
Vrednovanje sustava također mijenja upravljanje izdanjima. Promjena upita, promjena modela, ponovna izgradnja indeksa, ažuriranje pravila, promjena dozvola alata ili promjena sučelja recenzenta mogu promijeniti sigurnost. Svaka od njih zahtijeva opseg testiranja i plan povratka na prethodno stanje. Tim bi trebao znati koja su se ponašanja promijenila i koji su se rizici povećali. To je zamorno na način na koji su sigurnosni pojasevi zamorni. Postaje zanimljivo tek kada ih nema, što je prekasno za utjehu.
Pouka
Sigurnost AI-ja uglavnom je dizajn sustava jer šteta obično putuje kroz sustave. Izlaz modela postaje rizičan kada mu tijek rada previše vjeruje, kada je pristup alata preširok, kada dokazi nedostaju, kada je stanje nejasno, kada je pregled preopterećen, kada su zapisi slabi ili kada je povratak na prethodno stanje izmišljen. Model može biti vidljivi izvor rečenice, ali sustav odlučuje hoće li rečenica postati djelovanje.
Ovaj je pogled manje dramatičan od mnogih rasprava o sigurnosti umjetne inteligencije, a korisniji za organizacije koje sustave uvode već sada. Od timova traži da povuku granice, imenuju ovlasti, čuvaju dokaze, osmisle stanja, promišljeno rasporede posao, vrednuju od početka do kraja i daju ljudima stvarnu moć. Model tretira kao snažnu komponentu u sigurnosnom slučaju, a ne kao cijeli sigurnosni slučaj. To je zreo stav. Inženjerima također daje nešto što mogu izgraditi umjesto još jednog policy dokumenta u PDF-u, što je ljubazno prema svima.
Pitanje službenika za sigurnost nakon demonstracije bilo je posve točno. Što se dogodi ako je model u krivu, ali uvjerljiv? Siguran sustav trebao bi imati odgovor: ovdje može samo izraditi nacrt, tamo mora navesti aktualne izvore, taj alat ne smije pozivati, ovaj slučaj ide na reviziju, ova radnja ostavlja potvrdu, ovaj se tijek rada može pauzirati, ovo se izdanje može vratiti na prethodno stanje, ova se odluka može osporiti. Ti odgovori nisu puke vibracije. Oni su dizajn.
U umjetnoj inteligenciji uvijek će postojati nesigurnost. Praktičan je zadatak spriječiti da nesigurnost postane neograničena ovlast. To se postiže sučeljima, stanjima, kontrolama, dokazima, lokalnošću, vrednovanjem, oporavkom i ljudskom prosudbom koja je propisno opremljena. Drugim riječima, dizajnom sustava. Ne zato što vrijednosti nisu važne, nego zato što vrijednosti moraju postati izvedive prije nego što mogu zaštititi ikoga.