Varnost umetne inteligence je v glavnem oblikovanje sistemov
Varnostni sestanek po predstavitvi
Predstavitev je potekala dobro, kot običajno. Model je prebral kup notranjih dokumentov, odgovoril na vprašanje o politiki, predlagal naslednji korak in pripravil urejen povzetek za spis. Prostor je prikimaval. Nekdo je vprašal, ali bi ga lahko povezali s sistemom poteka dela. Nekdo drug je vprašal, kako kmalu. Nato je varnostni referent vprašal, kaj bi se zgodilo, če bi se model zmotil, a bi bil prepričljiv. Prostor je nenadoma postal zelo zainteresiran za piškote.
To vprašanje je tam, kjer se začne praktična varnost umetne inteligence. Ne v abstraktnem, ne v sloganu. V obliki sistema okoli modela, ki bo včasih napačen, včasih zastarel, včasih preveč samozavesten, včasih premalo samozavesten, včasih pa pravilen iz napačnega razloga. Varnostni problem ni samo vedenje modela. Je tudi to, kaj sistem temu vedenju dovoli.
Model, ki osnutek stavka, je eno tveganje. Model, ki posodobi odločitev o prejemkih, je drugo. Model, ki pokliče orodje s pravico pisanja, je tretje. Model, ki usmerja pacienta, zavrne zahtevek, spremeni kreditni limit ali nadzoruje opremo, je v povsem drugem razredu nevarnosti. Isti osnovni model je lahko neškodljiv, uporaben, tvegan ali nesprejemljiv, odvisno od meja, stanja, dokazov, pooblastil, nadzora in obnovitve. Zato je varnost umetne inteligence večinoma načrtovanje sistemov.
Beseda »večinoma« v tem stavku nosi težo. Raziskave modelov so pomembne. Kakovost podatkov je pomembna. Metode usklajevanja so pomembne. Znanost o vrednotenju je pomembna. Toda ko organizacija uvede umetno inteligenco, varnost postane operativna. Kdo sme vprašati. Kaj sme model videti. Kaj sme spremeniti. Kakšen dokaz je potreben. Kakšno stanje se ohrani. Kaj se zgodi, ko si viri nasprotujejo. Kdaj mora človek odobriti. Kako se zazna odmik. Kako se slaba izdaja umakne. To so vprašanja načrtovanja, preden postanejo izjave o etiki. Izjava o etiki je lahko iskrena. Sistem iskrenosti ne izvaja.
Varnost je problem nadzora
Ko ljudje slišijo besedo varnost, pogosto pomislijo na vrednote, učne podatke, politike zavračanja in usklajenost modela. To je del slike, vendar uveden sistem potrebuje tudi nadzor. Nadzor je nekaj, kar spremeni, kaj se lahko zgodi: preverjanje dostopa, shema, časovna omejitev, prag, človeška odobritev, peskovnik, omejitev hitrosti, preverjevalnik, umik, stikalo za izklop, zapis, ki ga strežna pot ne more urejati. Nadzor je dolgočasen, dokler ga ne zmanjka. Potem postane celoten sestanek.
Varen sistem umetne inteligence predpostavlja, da lahko model odpove, in okoliško mehaniko temu primerno načrtuje. Ločuje predlog od dejanja. Omejuje pooblastila orodij. Preverja dokaze pred spremembo stanja. Naredi negotovost vidno. Beleži različico modela in obseg vira. Zavrne zahtevo, kadar manjkajo obvezna polja. Operaterjem omogoča, da začasno ustavijo avtomatizacijo. Izhod modela obravnava kot kandidata, ne kot odlok iz zelo zgovorne preglednice.
To je običajno varnostno inženirstvo z jezikovnim modelom v središču. Letalstvo, medicina, železnica, industrijska regulacija in finance so se naučili, da pomembni sistemi potrebujejo večplastne nadzore, ker nobena komponenta ni popolna. Različica z umetno inteligenco se zdi nova, ker komponenta govori. Govor naredi napake družbeno prepričljive. Napačen odgovor, ki zveni umirjeno, lahko lažje spregleda utrujeni operater kot utripajoče rdeče sporočilo o napaki. Zato mora biti načrt nadzora bolj trmast kot proza.
Načrtovanje nadzora se začne z vprašanjem, na kaj sistem sme vplivati. Če lahko umetna inteligenca samo osnutkuje, se varnost osredotoča na kakovost virov, preverjanje halucinacij, jasnost uporabniškega vmesnika in pregled. Če lahko preusmerja delo, varnost doda sledenje stanju, celovitost čakalne vrste, ravni storitev in poti za pritožbe. Če lahko kliče orodja, varnost doda obseg dovoljenj, preverjanje argumentov, dnevnike transakcij in kompenzacijska dejanja. Če lahko vpliva na pravice ali fizične sisteme, varnost zahteva dokaze, formalni pregled, omejeno avtonomijo in resno načrtovanje incidentov. Model je en del. Okvir pooblastil je drugi.
Meja je izdelek
Najpomembnejša črta v sistemu umetne inteligence pogosto ni vidna v vmesniku. To je meja med branjem in pisanjem, priporočanjem in odločanjem, povzemanjem in beleženjem, pomočjo in delovanjem. Šibke meje so tisto, zaradi česar nedolžni prototipi postanejo nevarni servisi. Model, ki začne kot pripomoček za osnutke, dobi gumb za uporabo osnutka. Nato dobi orodje za posodobitev primera. Nato dobi pravilo za preusmerjanje, ker je ekipa zaposlena. Šest mesecev pozneje nihče ne more pojasniti, kateri odločitve so avtomatizirane in katere le podprte. To ni zlonamernost. To je širjenje obsega v udobnih čevljih.
Dobre meje so izrecne in preverljive. Model sme brati te vire, ne tistih. Sme predlagati ta polja, ne pa jih potrjevati. Sme klicati to orodje s temi argumenti, ne s poljubnim besedilom. Sme preusmerjati nizko tvegane primere, ne spornih. Sme odgovarjati le, kadar so dokazi aktualni. Ne sme uporabljati zasebnih zapiskov za javna pojasnila. Ne sme prehajati iz enega najemnika, regije, računa ali pravne podlage v drugega samo zato, ker je naslednji odstavek deloval koristno.
Meje je treba uveljavljati tudi zunaj modela. Poziv, ki pravi, da ne piši v bazo strank, ni meja, če ima orodje dostop za pisanje in ni prehoda. Sistemsko sporočilo, ki pravi, da navajaj vire, ni meja, če je odgovore mogoče shraniti brez navedb. Odstavek s politiko, ki pravi, da je potrebno človeško odobritev, ni meja, če delovni tok omogoča, da avtomatizacija označi odobritev. Varnostna navodila znotraj modela so uporabna, vendar niso dovolj. Sistem mora nevarnim potem otežiti ali onemogočiti dostop.
To je neromantično delo, ki ljudi dejansko varuje. Tipizirani klici orodij. Ozki obsegi. Privzeto samo za branje. Ločene storitve odobravanja. Idempotentne operacije. Revizijski dnevniki. Različice politik. Stanja čakalne vrste. Izrecna stanja zavrnitve. Besedišče zveni, kot da je inženir zalednih sistemov mirno preživel vikend s preglednico. Dobro. Varnost v produkciji običajno izgleda tako. Ne poskuša zmagati na natečaju za slogane.
Stanje je tam, kjer varnost postane resnična
Pogovori z umetno inteligenco lahko dajejo vtis, da so sistemi brez stanja. Uporabnik vpraša, model odgovori, zaslon se spremeni. Produkcija ni brez stanja. Zadeve se premikajo. Vloge zastarajo. Dovoljenja potečejo. Dokumenti se popravljajo. Različica modela se spremeni. Človek razveljavi priporočilo. Prispe pritožba. Uporabnik vpraša, zakaj se je nekaj zgodilo prejšnji mesec. Varnost je odvisna od tega, ali je sistem ohranil stanje, potrebno za odgovor.
Stanje sistemu pove, kaj se je že zgodilo in kaj se lahko zgodi naprej. Brez njega model vidi le izsek in ugiba o preostalem. Tako pride do podvojenih dejanj, roki izginejo, odobritve so domnevane in stari dokazi ponovno vstopijo v novo odločitev. Varen potek dela beleži izrecna stanja: osnutek, manjkajoči dokazi, politika blokira, potreben pregled, odobreno, izvedeno, izpodbijano, popravljeno, umaknjeno. Ta stanja niso zgolj okras. Preprečujejo, da bi model obravnaval pomemben proces kot klepetalni prepis z ambicijami.
Stanje daje ljudem tudi vzvod. Operater lahko preveri, zakaj je zadeva v pregledu. Vodja lahko vidi, ali avtomatizacija ustvarja zaostanek. Revizor lahko ponovno predvaja, katere različice virov so bile aktivne. Uporabnik lahko izpodbija izid z nečim bolj trdnim kot posnetek zaslona. Razvijalec lahko izmeri, ali nov model povečuje zavrnitve, eskalacije ali predelave. Brez stanja vsak pogovor o varnosti postane gledališče. Ljudje govorijo o odgovornosti, sistem pa je izgubil samostalnike.
Za umetno inteligenco bi moralo stanje vključevati različico modela in politike, identifikator poziva ali predloge, nabor virov, časovni žig pridobivanja, klice orodij, zaupanje ali negotovost, razlog za zavrnitev, človeško dejanje in učinek navzdol. Vse to ne sodi v eno vrstico dnevnika in vsega tudi ne bi smelo biti vidno vsem. Zasebnost in varnost sta pomembni. Toda informacije morajo obstajati pod nadzorovanim dostopom. Sicer varnost postane odvisna od spomina, spomin pa je znano slab podatkovni sistem z odličnimi izgovori.
Dokazi so varnostna ograja
Odgovor modela je varnejši, ko je povezan z dokazi. To se sliši očitno, dokler sistem ni pod pritiskom. Dokazi so izpuščeni, ker dodajajo zakasnitev. Citati so shranjeni kot besedilo namesto kot identifikatorji. Ocene pridobivanja niso ohranjene. Različice virov so prepisane. Model napiše samozavestno razlago iz dokumenta, ki je bil od takrat popravljen. Kasneje se vsi sprašujejo, zakaj je bil odgovor napačen. Odgovor je, da je bila ograja zgolj okrasna.
Uporabni dokazi niso opomba pod črto. So veriga. Zahteva je vstopila z identiteto in namenom. Viri so bili izbrani z dovoljenjem. Pridobivanje je našlo določene dele ali zapise. Model je ustvaril izid pod imenovano različico. Preverjevalnik je preveril trditve ali pragove. Človek je sprejel, uredil ali zavrnil. Dejanje je spremenilo stanje. Sistem je shranil dovolj te verige, da jo je mogoče ponoviti ali izpodbijati. To ni birokracija zaradi birokracije. Tako varnost preživi čas.
Dokazi tudi ščitijo model pred tem, da bi bil zaprošen za nemogoče delo. Če sistem zahteva aktualne vire, lahko model zavrne zastarele vnose. Če sistem zahteva dva ujemajoča se zapisa, lahko označi neskladje. Če sistem zahteva identifikatorje virov, lahko ustavi nepodprte trditve. Modelu ni več treba spreminjati manjkajočih dokazov v tekoče upravljanje negotovosti. Lahko vrne varno stanje. To je prijaznejše do modela in veliko prijaznejše do osebe, na katero izid vpliva.
Obstaja ravnovesje. Zbiranje dokazov ne sme postati nadzor. Občutljive vsebine so lahko zgoščene, prečiščene, ločene ali hranjene omejeno obdobje. Bistvo ni beležiti vsega za vedno. Bistvo je ohraniti dejstva, potrebna za pregled pomembnega vedenja. Varnost brez dokazov je le zaupanje v lepši suknjič. V preddverju je lahko videti v redu. Ob incidentu ne zdrži.
Ljudje potrebujejo oblikovano avtoriteto
Človek v zanki se pogosto uporablja kot čarobna beseda. Ni čarobna. Utrujen pregledovalec s šibkimi dokazi, nejasno politiko in čakalno vrsto dvesto primerov ni varnostni sistem. To je oseba, postavljena na konec tekočega traku in zaprošena, da je upravljanje. Morda deluje kratek čas, zlasti če je oseba izkušena in vztrajna. Ni zasnova.
Človeška avtoriteta mora biti natančna. Kateri primeri zahtevajo pregled. Katere dokaze pregledovalec vidi. Ali lahko pregledovalec spremeni strukturirana polja ali samo odobri prozo. Ali pregledovalec ve, ali je bil model negotov ali je politika zahtevala eskalacijo. Ali so nesoglasja vključena nazaj v vrednotenje. Ali so pregledovalci zaščiteni pred pristranskostjo avtomatizacije. Ali lahko začasno ustavijo potek dela. Ali lahko eskalirajo k strokovnjaku. Ali lahko vidijo podobne pretekle primere. Ali lahko razložijo odločitev prizadeti osebi. Te podrobnosti odločajo, ali je človeški nadzor resničen ali okrasen.
Dober nadzor prav tako loči presojo od administrativnega popravljanja. Ljudje ne bi smeli porabljati časa za iskanje manjkajočih identifikatorjev vira, odstranjevanje podvojenih poskusov, prevajanje modelove proze v delovna stanja ali ugibanje, katera različica pravilnika je veljala. Sistem bi moral pripraviti zadevo. Človek bi moral uporabiti presojo tam, kjer je presoja potrebna: sporno pomen, izjema, sorazmernost, kontekst, empatija in odgovornost. Če se človek večinoma ukvarja s čiščenjem infrastrukturnih vrzeli, je organizacija zamenjala kadrovanje z varnostjo.
Zasnova mora ljudem tudi omogočiti, da se z avtomatizacijo ne strinjajo, ne da bi trenje postalo kazen. Če za preglasitev modela potrebujete osem klikov, za sprejem pa enega, ima vmesnik pravilnik. Če eskalacija povzroči, da je ekipa videti počasna, se bodo ljudje eskalaciji izogibali. Če metrike nagrajujejo le pretočnost, bodo varnostni pregledi postali ceremonialni. Zasnova sistemov vključuje spodbude, zaslone, čakalne vrste in privzete nastavitve. Model morda ne pozna metrike, a ljudje jo zagotovo poznajo.
Lokalnost spreminja tveganje
Kje poteka delo z umetno inteligenco, je pomembno. Sistem, ki vsak dokument pošlje oddaljenemu modelu, ima drugačna tveganja kot sistem, ki izvaja ekstrakcijo blizu podatkov in pošlje le izpeljano polje. Sistem, ki shranjuje sledi v storitvi za serviranje, ima drugačna tveganja kot sistem, ki vodi neodvisne revizijske zapise. Sistem, ki je odvisen od enega samega zunanjega usmerjevalnika, ima drugačne možnosti obnovitve kot sistem, ki lahko deluje lokalno z zmanjšano zmogljivostjo. Lokalnost ni nacionalizem z diagramom omrežja. Je praktično vprašanje, katera tveganja se premaknejo, ko se premaknejo podatki, računalniška moč, pravilniki in dokazi.
Nekatera dela bi morala potekati blizu občutljivih podatkov, ker premikanje podatkov ustvarja izpostavljenost. Nekatera dela bi morala potekati blizu uporabnikov, ker zakasnitev vpliva na varnost. Nekatera dela bi morala potekati v osrednji storitvi, ker je potreben specializiran pregled ali strojna oprema. Nekateri dokazi bi morali biti shranjeni stran od poti serviranja modela, ker je pot serviranja morda tista, ki je predmet preiskave. Varna zasnova je redko vse lokalno ali vse oddaljeno. Je premišljena postavitev.
Lokalnost vpliva tudi na pravno in organizacijsko odgovornost. Če klic modela prečka regije, kateri zakon ureja podatke. Če je indeks zgrajen zunaj izvornega sistema, kako se širijo izbrisi. Če dobavitelj spremeni model, kako je zagotovljeno obvestilo in kako se izvede testiranje. Če so dnevniki v portalu prodajalca, ali jih lahko organizacija izvozi med incidentom. To niso abstraktna vprašanja suverenosti. So varnostna vprašanja, ker določajo, ali lahko organizacija nadzoruje in pojasni sistem v stresnih razmerah.
Napačna postavitev lahko naredi varno vedenje drago. Če vsak korak preverjanja zahteva oddaljeni povratni prenos, lahko ekipe vzorčijo namesto da preverijo vsak primer. Če je revizijske podatke težko povezati, preiskave postanejo počasne. Če morajo zasebni podatki potovati za preprosto klasifikacijo, se tveganje poveča brez koristi. Dobra zasnova lokalnosti zmanjša stroške varnega ravnanja. To je pomembno, ker bodo nadzori, ki so predragi, sčasoma opisani kot neobvezni, kar je pogosto začetek slabih zgodb.
Vrednotenje mora slediti sistemu
Številne ekipe vrednotijo model in pozabijo ovrednotiti sistem. Preizkušajo, ali so odgovori pravilni na nizu pozivov, nato pa rešitev uvedejo v potek dela s pooblastili, svežino virov, čakalnimi vrstami, klici orodij, človeškim pregledom, ponovnimi poskusi in spreminjajočimi se politikami. Merilo uspešnosti modela je lahko še vedno uporabno, vendar ne opisuje več celotnega tveganja. Varnostne napake pogosto živijo v stičiščih.
Vrednotenje sistema preizkuša obnašanje od konca do konca. Sprašuje se, ali je za pravega uporabnika pridobljen pravi vir. Preverja, ali so zastareli podatki zavrnjeni. Preverja, ali so klici orodij brez dovoljenja blokirani. Meri, ali visoko tvegani primeri dosežejo ljudi. Preizkuša vračanje na prejšnje stanje. Preizkuša zakasnitev v čakalni vrsti. Preizkuša poti nadgradnje modela. Preizkuša nenavadne, a običajne primere: manjkajoči datum, podvojeni kupec, izjema za regijo, pritožba po popravku, izbris vira, delni izpad, preobremenjeni pregledovalec. Produkcija ima okus po primerih, za katere nihče ni menil, da so dovolj dramatični.
Vrednotenje mora vključevati negativno zmožnost. Sistem mora biti dober v tem, da stvari ne počne. Da ne odgovarja brez dokazov. Da ne prestopa meja pooblastil. Da ne stopnjuje v dejanje, kadar je dovoljeno le osnutek. Da ne prikriva negotovosti. Da ne uporablja vira po izbrisu. Da ne nadaljuje, ko orodje vrne nedosledno stanje. Varnost je odvisna od zavrnitve in premora prav tako kot od točnosti. Najpomembnejši rezultat varnega sistema umetne inteligence je lahko premalo dokazov, kar je stavek, ki ga nobena predstavitvena ekipa nikoli ne da na transparent.
Vrednotenje sistema spreminja tudi upravljanje izdaj. Sprememba poziva, sprememba modela, ponovna izgradnja indeksa, posodobitev politike, sprememba dovoljenj za orodja ali sprememba vmesnika za pregledovalce lahko spremenijo varnost. Vsaka od teh potrebuje obseg preizkusa in načrt vračanja na prejšnje stanje. Ekipa mora vedeti, katera obnašanja so se spremenila in katera tveganja so se povečala. To je dolgočasno na način, kot so dolgočasni varnostni pasovi. Zanimivo postane šele, ko jih ni, kar je za udobje že prepozno.
Nauček
Varnost umetne inteligence je večinoma načrtovanje sistemov, ker škoda običajno potuje skozi sisteme. Izhod modela postane tvegan, kadar mu potek dela preveč zaupa, kadar so vrata za orodja preširoka, kadar dokazi manjkajo, kadar je stanje nejasno, kadar je pregled preobremenjen, kadar so dnevniki šibki ali kadar je vračanje na prejšnje stanje izmišljeno. Model je lahko vidni vir stavka, vendar sistem odloči, ali stavek postane dejanje.
Ta pogled je manj dramatičen kot mnoge razprave o varnosti umetne inteligence in bolj uporaben za organizacije, ki sisteme uvajajo zdaj. Ekipe poziva, naj začrtajo meje, poimenujejo avtoriteto, ohranjajo dokaze, načrtujejo stanja, delo razporejajo premišljeno, vrednotijo od konca do konca in dajo ljudem resnično moč. Model obravnava kot zmogljivo komponento v varnostnem primeru, ne kot celoten varnostni primer. To je odraslo stališče. Inženirjem pa daje tudi nekaj, kar lahko zgradijo, namesto še enega političnega dokumenta PDF, kar je prijazno do vseh.
Vprašanje varnostnega uradnika po predstavitvi je bilo povsem na mestu. Kaj se zgodi, če je model napačen, a prepričljiv. Varen sistem bi moral imeti odgovor: tukaj lahko samo pripravi osnutek, tam mora navesti trenutne vire, tega orodja ne sme poklicati, ta primer gre v pregled, to dejanje pusti sled, ta potek dela je mogoče začasno ustaviti, to izdajo je mogoče preklicati, tej odločitvi je mogoče ugovarjati. Ti odgovori niso občutki. So načrtovanje.
Pri umetni inteligenci bo vedno obstajala negotovost. Praktična naloga je preprečiti, da bi negotovost postala neomejena avtoriteta. To se doseže z vmesniki, stanji, nadzori, dokazi, lokalnostjo, vrednotenjem, obnovitvijo in človeško presojo, ki je ustrezno opremljena. Z drugimi besedami, z načrtovanjem sistemov. Ne zato, ker vrednote niso pomembne, ampak zato, ker morajo biti vrednote izvedljive, preden lahko kogar koli zaščitijo.