AI-turvalisus on peamiselt süsteemidisain
Ohutuskoosolek pärast demot
Demo oli läinud hästi, nagu tavaliselt. Mudel luges läbi virna sisedokumente, vastas poliitikaküsimusele, tegi ettepaneku järgmiseks sammuks ja koostas juhtumi toimiku jaoks korraliku kokkuvõtte. Ruum noogutas. Keegi küsis, kas seda saaks ühendada töövoo süsteemiga. Keegi teine küsis, kui kiiresti. Siis küsis ohutuse eest vastutav isik, mis juhtuks, kui mudel eksiks, kuid oleks veenev. Ruum hakkas küpsiste vastu väga suurt huvi tundma.
See küsimus on koht, kust praktiline tehisintellekti ohutus algab. Mitte abstraktselt ega loosungina. Süsteemi kujus ümber mudeli, mis mõnikord eksib, on mõnikord aegunud, mõnikord liiga enesekindel, mõnikord liiga ebakindel ja mõnikord õige valel põhjusel. Ohutusprobleem ei ole ainult mudeli käitumine. See on see, mida süsteem sellel käitumisel lubab teha.
Mudel, mis koostab lause, on üks risk. Mudel, mis uuendab hüvitise otsust, on teine. Mudel, mis kutsub välja tööriista kirjutamisõigusega, on kolmas. Mudel, mis suunab patsienti, lükkab tagasi nõude, muudab krediidilimiiti või juhib seadmeid, kuulub täiesti teise ohuklassi. Sama alusmudel võib olla kahjutu, kasulik, riskantne või vastuvõetamatu, sõltuvalt piiridest, olekust, tõenditest, volitustest, järelevalvest ja taastamisest. Seetõttu on tehisintellekti ohutus enamasti süsteemidisain.
Sõna „enamasti" teeb selles lauses tööd. Mudelite uurimine on oluline. Andmete kvaliteet on oluline. Vastavusse viimise meetodid on olulised. Hindamisteadus on oluline. Kuid kui organisatsioon võtab tehisintellekti kasutusele, muutub ohutus operatiivseks. Kes võib küsida. Mida mudel näha tohib. Mida ta muuta tohib. Millist tõendit nõutakse. Milline olek säilitatakse. Mis juhtub, kui allikad on eriarvamusel. Millal peab inimene heaks kiitma. Kuidas hälvet tuvastatakse. Kuidas halb väljalase tagasi võetakse. Need on ennekõike disainiküsimused, mitte eetikaväited. Eetikaväide võib olla siiras. Süsteem siirust ei täida.
Ohutus on juhtimisprobleem
Kui inimesed kuulevad sõna „ohutus", mõtlevad nad sageli väärtustele, treeningandmetele, keeldumispoliitikatele ja mudeli vastavusse viimisele. Need on pildi osa, kuid kasutusel olev süsteem vajab ka juhtimist. Juhtimine on midagi, mis muudab seda, mis juhtuda saab: juurdepääsukontroll, skeem, ajalõpp, lävi, inimese heakskiit, liivakast, päringulimiit, kontrollija, tagasivõtmine, hädaabiseiskamine, kanne, mida teenindustee muuta ei saa. Juhtimine on igav, kuni see puudub. Siis saab sellest kogu koosoleku teema.
Turvaline tehisintellektisüsteem eeldab, et mudel võib eksida, ja kujundab ümbritseva mehhanismi vastavalt. See eraldab soovituse tegevusest. See piirab tööriista õigusi. See kontrollib tõendeid enne oleku muutmist. See teeb ebakindluse nähtavaks. See salvestab mudeli versiooni ja allika ulatuse. See keeldub, kui nõutud väljad puuduvad. See annab operaatoritele võimaluse automatiseerimise peatada. See kohtleb mudeli väljundit kandidaadina, mitte dekreetena väga sõnaosavalt arvutustabelilt.
Tegemist on tavalise ohutustehnikaga, mille keskel on keelemudel. Lennundus, meditsiin, raudtee, tööstusjuhtimine ja rahandus on kõik õppinud, et olulised süsteemid vajavad mitmekihilisi kontrollimehhanisme, sest ükski komponent pole täiuslik. Tehisintellekti versioon tundub uus, sest komponent räägib. Kõne muudab vea sotsiaalselt veenvaks. Vale vastus, mis kõlab rahulikult, võib väsinud operaatorist libiseda kergemini mööda kui vilkuv punane veateade. Kontrollisüsteemi kujundus peab seetõttu olema kangekaelsem kui proosa.
Kontrollisüsteemi kujundus algab küsimusest, mida süsteemil lubatakse mõjutada. Kui tehisintellekt saab ainult mustandeid koostada, keskendub ohutus allika kvaliteedile, hallutsinatsioonikontrollile, kasutajaliidese selgusele ja ülevaatusele. Kui see saab tööd suunata, lisab ohutus olekujälgimise, järjekorra terviklikkuse, teenindustasemed ja edasikaebamise võimalused. Kui see saab tööriistu kutsuda, lisab ohutus õiguste ulatused, argumentide valideerimise, tehingulogid ja kompenseerivad toimingud. Kui see saab mõjutada õigusi või füüsilisi süsteeme, nõuab ohutus tõendusmaterjali, ametlikku ülevaatust, piiratud autonoomiat ja tõsist intsidentide planeerimist. Mudel on üks osa. Volituste piir on teine.
Piir on toode
Kõige olulisem joon tehisintellektisüsteemis pole sageli liideses nähtav. See on piir lugemise ja kirjutamise, soovitamise ja otsustamise, kokkuvõtte tegemise ja salvestamise, abistamise ja tegutsemise vahel. Nõrgad piirid on see, kuidas kahjututest prototüüpidest saavad ebaturvalised teenused. Mudel, mis algab mustandi abivahendina, saab nupu mustandi rakendamiseks. Siis saab see tööriista juhtumi uuendamiseks. Siis saab see suunamisreegli, sest meeskond on hõivatud. Kuus kuud hiljem ei oska keegi selgitada, millised otsused on automatiseeritud ja millised on ainult abistatud. See pole pahatahtlikkus. See on ulatuse hiilimine mugavates kingades.
Head piirid on selged ja kontrollitavad. Mudel võib lugeda neid allikaid, mitte neid. See võib neid välju pakkuda, mitte neid kinnitada. See võib seda tööriista kutsuda nende argumentidega, mitte suvalise tekstiga. See võib suunata madala riskiga juhtumeid, mitte vaidlustatud juhtumeid. See võib vastata ainult siis, kui tõendid on ajakohased. See ei tohi kasutada privaatseid märkmeid avalike selgituste jaoks. See ei tohi liikuda ühelt rentnikult, piirkonnalt, kontolt või õiguslikult aluselt teisele, sest järgmine lõik tundus abistav.
Piire tuleb jõustada ka väljaspool mudelit. Käsklus, mis ütleb, et ära kirjuta kliendiandmebaasi, pole piir, kui tööriistal on kirjutamisõigus ja puudub lüüs. Süsteemiteade, mis ütleb, et tsiteeri allikaid, pole piir, kui vastuseid saab salvestada ilma tsitaatideta. Poliitikalõik, mis ütleb, et inimese kinnitus on nõutav, pole piir, kui töövoog laseb automatiseerimisel kinnituse märkida. Ohutusjuhised mudeli sees on kasulikud, kuid neist ei piisa. Süsteem peab muutma ebaturvalised teed keeruliseks või võimatuks.
See on romantikatu töö, mis tegelikult inimesi kaitseb. Tüübitud tööriistakutsed. Kitsad ulatused. Ainult lugemiseks vaikimisi. Eraldi kinnitusteenused. Idempotentsed toimingud. Auditilogid. Versioonitud poliitikad. Järjekorra olekud. Selged keeldumisolekud. Sõnavara kõlab nagu oleks backend-inseneril olnud vaikne nädalavahetus märkmikuga. Hea. Ohutus tootmises näeb tavaliselt selline välja. See ei püüa loosungikonkurssi võita.
Olek on koht, kus ohutus muutub reaalseks
AI-vestlused võivad jätta mulje, et süsteemid on olekuta. Kasutaja küsib, mudel vastab, ekraan muutub. Tootmiskeskkond pole olekuta. Juhtumid liiguvad. Piletid vananevad. Õigused aeguvad. Dokumente parandatakse. Mudeliversioon muutub. Inimene tühistab soovituse. Apellatsioon saabub. Kasutaja küsib, miks midagi eelmisel kuul juhtus. Ohutus sõltub sellest, kas süsteem säilitas vastamiseks vajaliku oleku.
Olek ütleb süsteemile, mis on juba juhtunud ja mis võib edasi juhtuda. Ilma selleta näeb mudel vaid lõiku ja arvab ülejäänu ära. Nii juhtuvad dubleerivad toimingud, tähtajad kaovad, kinnitused eeldatakse ja vanad tõendid sisenevad uude otsusesse. Ohutu töövoog salvestab selgesõnalised olekud: mustand, tõendid puuduvad, poliitika blokeeris, ülevaatus vajalik, kinnitatud, täidetud, vaidlustatud, parandatud, tagasi kutsutud. Need olekud pole dekoratiivsed. Need takistavad mudelil kohelda olulist protsessi kui ambitsioonikat vestluslogi.
Olek annab ka inimestele võimenduse. Operaator saab uurida, miks juhtum on ülevaatusel. Juht näeb, kas automatiseerimine loob ootejärjekorda. Audiitor saab taasesitada, millised allikaversioonid olid aktiivsed. Kasutaja saab tulemuse vaidlustada millegi soliidsemaga kui ekraanipilt. Arendaja saab mõõta, kas uus mudel suurendab keeldumisi, eskaleerimisi või ümbertegemisi. Ilma olekuta muutub iga ohutusvestlus teatriks. Inimesed räägivad vastutusest, kuid süsteem on nimisõnad kaotanud.
AI puhul peaks olek hõlmama mudeli ja poliitika versiooni, viiba või malli identifikaatorit, allikakogumit, otsingu ajatemplit, tööriistakutseid, enesekindlust või määramatust, keeldumise põhjust, inimese toimingut ja mõju allavoolu. Mitte kõik see ei kuulu ühte logiritta ega peaks olema kõigile nähtav. Privaatsus ja turvalisus on olulised. Kuid teave peab olemas olema kontrollitud juurdepääsu all. Muidu muutub ohutus mälust sõltuvaks ja mälu on tuntud kehv andmebaas, millel on suurepärased vabandused.
Tõendid on ohutuse piire
Mudeli vastus on ohutum, kui see on seotud tõenditega. See kõlab ilmselgena, kuni süsteem on surve all. Tõendid jäetakse vahele, sest need lisavad latentsust. Tsitaate hoitakse tekstina, mitte identifikaatoritena. Otsingutulemuste skoore ei säilitata. Allikaversioonid kirjutatakse üle. Mudel kirjutab enesekindla selgituse dokumendi põhjal, mida on pärast parandatud. Hiljem küsivad kõik, miks vastus vale oli. Vastus on, et piire oli dekoratiivne.
Kasulik tõendusmaterjal ei ole joonealune märkus. See on ahel. Päring saabus identiteedi ja eesmärgiga. Allikad valiti loa alusel. Otsing leidis konkreetsed tükid või kirjed. Mudel koostas väljundi nimetatud versiooni all. Kontrollija kontrollis väiteid või lävesid. Inimene aktsepteeris, muutis või lükkas tagasi. Tegevus muutis olekut. Süsteem salvestas piisavalt sellest ahelast, et seda uuesti esitada või vaidlustada. See ei ole bürokraatia bürokraatia pärast. Nii jääb ohutus ajas püsima.
Tõendusmaterjal kaitseb ka mudelit võimatu töö eest. Kui süsteem nõuab ajakohaseid allikaid, saab mudel aegunud sisendist keelduda. Kui süsteem nõuab kahte kattuvat kirjet, saab see lahknevusele tähelepanu juhtida. Kui süsteem nõuab allikaidentifikaatoreid, saab see toetamata väited peatada. Mudel ei pea enam muutma puuduvat tõendit sujuvaks ebakindluse haldamiseks. See saab tagastada ohutu oleku. See on lahkem mudeli vastu ja palju lahkem inimese vastu, keda väljund mõjutab.
On olemas tasakaal. Tõendusmaterjali kogumine ei tohiks muutuda järelevalveks. Tundlikku sisu võib räsida, redigeerida, eraldada või säilitada piiratud aja jooksul. Asi ei ole kõige igaveseks salvestamises. Asi on olulise käitumise kontrollimiseks vajalike faktide säilitamises. Ohutus ilma tõendusmaterjalita on lihtsalt usaldus kenama kuuega. See võib fuajees hea välja näha. Intsidendi korral see vastu ei pea.
Inimesed vajavad kavandatud volitust
Inimene protsessis on sageli kasutatud maagiline väljend. See ei ole maagia. Väsinud hindaja nõrga tõendusmaterjali, ebaselge poliitika ja kahesaja juhtumiga järjekorraga ei ole ohutussüsteem. See on inimene, kes on paigutatud konveierilindi lõppu ja kellelt palutakse olla valitsemine. See võib lühikest aega töötada, eriti kui inimene on kogenud ja visa. See ei ole kavand.
Inimese volitus peab olema konkreetne. Millised juhtumid nõuavad läbivaatamist. Millist tõendusmaterjali hindaja näeb. Kas hindaja saab muuta struktureeritud välju või ainult proosat heaks kiita. Kas hindaja teab, kas mudel oli ebakindel või kas poliitika nõudis eskalatsiooni. Kas lahkarvamused suunatakse tagasi hindamisse. Kas hindajad on kaitstud automatiseerimise kallutatuse eest. Kas nad saavad töövoogu peatada. Kas nad saavad eskaleerida spetsialistile. Kas nad näevad sarnaseid varasemaid juhtumeid. Kas nad saavad mõjutatud inimesele otsust selgitada. Need üksikasjad otsustavad, kas inimjärelevalve on tõeline või dekoratiivne.
Hea järelevalve eraldab ka otsustamise administratiivsest koristustööst. Inimesed ei peaks kulutama aega puuduvate allikaidentifikaatorite otsimisele, korduskatsete deduplitseerimisele, mudeli proosa töövoo olekutesse tõlkimisele ega sellele, milline poliitikaversioon kehtis, arvamisele. Süsteem peaks juhtumi pakendama. Inimene peaks rakendama otsustusvõimet seal, kus seda vajatakse: vaidlustatud tähendus, erand, proportsionaalsus, kontekst, empaatia ja vastutus. Kui inimene tegeleb enamasti infrastruktuuri lünkade koristamisega, on organisatsioon ajanud segamini personali ja ohutuse.
Disain peab võimaldama ka inimestel automatiseerimisega mittenõustuda ilma, et hõõrdumisest saaks karistus. Kui mudeli ülekirjutamine nõuab kaheksa klõpsu ja aktsepteerimine ühte, on liidesel poliitika. Kui eskaleerimine paneb meeskonna aeglasena paistma, väldivad inimesed eskaleerimist. Kui mõõdikud premeerivad ainult läbilaskevõimet, muutuvad ohutusülevaated tseremoniaalseks. Süsteemidisain hõlmab stiimuleid, ekraane, järjekordi ja vaikeseadeid. Mudel ei pruugi mõõdikut teada, kuid inimesed teavad seda kindlasti.
Asukoht muudab riski
See, kus AI-töö toimub, on oluline. Süsteemil, mis saadab iga dokumendi kaugmudelile, on erinevad riskid kui süsteemil, mis teeb ekstraheerimise andmete lähedal ja saadab edasi ainult tuletatud välja. Süsteemil, mis salvestab jäljed teenindavas teenuses, on erinevad riskid kui süsteemil, mis peab sõltumatuid auditikirjeid. Süsteemil, mis tugineb ühele välisele ruuterile, on erinevad taastamisvõimalused kui süsteemil, mis suudab kohalikult degradeeruda. Asukoht ei ole natsionalism võrguskeemiga. See on praktiline küsimus, millised riskid liiguvad, kui andmed, arvutus, poliitika ja tõendid liiguvad.
Osa tööst peaks toimuma tundlike andmete lähedal, sest andmete liigutamine tekitab kokkupuute. Osa tööst peaks toimuma kasutajate lähedal, sest latentsus mõjutab ohutust. Osa tööst peaks toimuma keskses teenuses, sest vaja on spetsialiseeritud ülevaadet või riistvara. Osa tõendeid tuleks hoida mudeli teenindamise teest eemal, sest teenindamise tee võib olla just see, mida uuritakse. Ohutu disain on harva kõik kohalik või kõik kaugjuhtimisel. See on läbimõeldud paigutus.
Asukoht mõjutab ka õiguslikku ja organisatsioonilist vastutust. Kui mudelikutse ületab piirkondi, siis milline seadus andmeid reguleerib. Kui indeks on ehitatud väljapoole lähtesüsteemi, siis kuidas kustutamisi levitatakse. Kui tarnija muudab mudelit, siis kuidas teatist saadakse ja testimist tehakse. Kui logid on müüja portaalis, siis kas organisatsioon saab need intsidendi ajal eksportida. Need ei ole abstraktsed suveräänsuse küsimused. Need on ohutusküsimused, sest need määravad, kas organisatsioon suudab süsteemi surve all kontrollida ja selgitada.
Vale paigutus võib muuta ohutu käitumise kalliks. Kui iga kontrollimise samm nõuab kaugringi, võivad meeskonnad valimitega proovida selle asemel, et iga juhtumit kontrollida. Kui auditiandmeid on raske ühendada, muutuvad uurimised aeglaseks. Kui eraisiku andmed peavad liikuma lihtsa klassifitseerimise jaoks, suureneb risk ilma kasuta. Hea asukohadisain vähendab ohutu asja tegemise kulusid. See on oluline, sest kontrollid, mis on liiga kallid, hakatakse lõpuks kirjeldama valikulistena, mis on see, kuidas paljud halvad lood algavad.
Hindamine peab järgima süsteemi
Paljud meeskonnad hindavad mudelit ja unustavad hinnata süsteemi. Nad testivad, kas vastused on õiged teatud küsimuste komplektis, ja viivad seejärel kasutusele töövoo koos õiguste, allika värskuse, järjekordade, tööriistakutsete, inimese kontrolli, uuesti proovimise ja muutuvate poliitikatega. Mudeli võrdlusuuring võib endiselt kasulik olla, kuid see ei kirjelda enam kogu riski. Ohutusvead peituvad sageli liitekohtades.
Süsteemi hindamine testib otsast lõpuni käitumist. See küsib, kas õige allikas tuuakse õigele kasutajale. See kontrollib, kas aegunud andmetest keeldutakse. See veendub, et tööriistakutsed blokeeritakse ilma loata. See mõõdab, kas kõrge riskiga juhtumid jõuavad inimesteni. See testib tagasipööramist. See testib järjekorra viivitust. See testib mudeli uuendamise teid. See testib imelikke, kuid tavalisi juhtumeid: puuduv kuupäev, topeltklient, piirkonna erand, apellatsioon pärast parandust, allika kustutamine, osaline katkestus, ülekoormatud hindaja. Tootmises on maitse juhtumite järele, mida keegi ei pidanud piisavalt dramaatiliseks.
Hindamine peaks hõlmama negatiivset võimekust. Süsteem peab olema hea mitte-tegemises. Mitte vastama ilma tõenditeta. Mitte ületama õiguste piire. Mitte eskaleeruma tegevuseks, kui lubatud on ainult mustandi koostamine. Mitte varjama ebakindlust. Mitte kasutama allikat pärast selle kustutamist. Mitte jätkama, kui tööriist tagastab vastuolulise oleku. Ohutus sõltub sama palju keeldumisest ja peatamisest kui täpsusest. Turvalise tehisintellektisüsteemi kõige olulisem väljund võib olla mitte piisav tõendusmaterjal, mis on lause, mida ükski demomeeskond kunagi plakatile ei pane.
Süsteemi hindamine muudab ka väljalaske haldust. Väljakutse muudatus, mudeli muudatus, indeksi ümberehitus, poliitika uuendus, tööriista õiguste muudatus või hindaja liidese muudatus võivad ohutust muuta. Igaüks neist vajab testiulatust ja tagasipööramise plaani. Meeskond peaks teadma, millised käitumised muutusid ja millised riskid suurenesid. See on tüütu samamoodi nagu turvavööd. See muutub huvitavaks ainult siis, kui see puudub, mis on mugavuse jaoks liiga hilja.
Õppetund
Tehisintellekti ohutus on enamasti süsteemidisain, sest kahju liigub tavaliselt läbi süsteemide. Mudeli väljund muutub riskantseks, kui töövoog usaldab seda liiga palju, tööriistalüüs on liiga lai, tõendusmaterjal puudub, olek on ebamäärane, kontroll on ülekoormatud, logid on nõrgad või tagasipööramine on kujuteldav. Mudel võib olla lause nähtav allikas, kuid süsteem otsustab, kas lausest saab tegevus.
See vaade on vähem dramaatiline kui paljud AI-ohutuse arutelud ja organisatsioonidele, kes süsteeme praegu kasutusele võtavad, kasulikum. See palub meeskondadel piire tõmmata, volitusi nimetada, tõendeid säilitada, olekuid kujundada, tööd tahtlikult paigutada, lõpuni hinnata ja inimestele tõelist võimu anda. See kohtleb mudelit kui võimsat komponenti ohutusjuhtumis, mitte kui tervet ohutusjuhtumit. See on täiskasvanulik seisukoht. See annab ka inseneridele midagi, mida ehitada, lisaks veel ühele poliitika-PDF-ile, mis on kõigi vastu lahke.
Ohutusametniku küsimus pärast demot oli täpselt õige. Mis juhtub, kui mudel eksib, kuid on veenev. Turvalisel süsteemil peaks olema vastus: see saab siin ainult mustandit koostada, see peab seal tsiteerima praeguseid allikaid, see ei saa seda tööriista kutsuda, see juhtum läheb läbivaatamisse, see toiming jätab kviitungi, seda töövoogu saab peatada, seda väljalaset saab tagasi võtta, seda otsust saab vaidlustada. Need vastused ei ole meeleolud. Need on disain.
AI-s on alati ebakindlust. Praktiline ülesanne on takistada ebakindlusel muutumast piiramatuks volituseks. Seda tehakse liideste, olekute, juhtelementide, tõendite, lokaliseerituse, hindamise, taastamise ja nõuetekohaselt varustatud inimhinnanguga. Teisisõnu süsteemidisainiga. Mitte sellepärast, et väärtused ei loe, vaid sellepärast, et väärtused tuleb enne tehtavaks muuta, et nad kedagi kaitsta saaksid.