AI safety is mostly systems design
Saugumo susitikimas po demonstracijos
Demonstracija buvo pavyzdingai pavyko, kaip įprasta. Modelis perskaitė krūvą vidinių dokumentų, atsakė į politikos klausimą, pasiūlė kitą žingsnį ir parengė tvarkingą santrauką bylai. Kambaryje pritariamai linktelėta. Kažkas paklausė, ar jį būtų galima prijungti prie darbo eigos sistemos. Kažkas kitas paklausė, kaip greitai. Tada saugos pareigūnas paklausė, kas nutiktų, jei modelis klystų, bet skambėtų įtikinamai. Kambarys staiga labai susidomėjo sausainiais.
Būtent nuo šio klausimo prasideda praktinis dirbtinio intelekto saugumas. Ne abstrakčiai ir ne šūkiu. O sistemos, supančios modelį, pavidalu, kai modelis kartais klysta, kartais atsilieka nuo laiko, kartais pernelyg pasitiki savimi, kartais pernelyg abejoja, o kartais būna teisingas dėl netinkamų priežasčių. Saugumo problema yra ne tik modelio elgesys. Tai, ką sistema tam elgesiui leidžia padaryti.
Modelis, kuris parengia sakinio juodraštį, yra viena rizika. Modelis, kuris atnaujina išmokos sprendimą, yra kita. Modelis, kuris iškviečia įrankį su rašymo teisėmis, yra dar kita. Modelis, kuris nukreipia pacientą, atmeta pretenziją, keičia kredito limitą ar valdo įrangą, patenka į visai kitą pavojingumo klasę. Tas pats pagrindinis modelis gali būti nekenksmingas, naudingas, rizikingas ar nepriimtinas, priklausomai nuo ribų, būsenos, įrodymų, įgaliojimų, stebėsenos ir atkūrimo. Štai kodėl dirbtinio intelekto saugumas daugiausia yra sistemų projektavimas.
Žodis „daugiausia“ tame sakinyje nėra atsitiktinis. Modelių tyrimai svarbūs. Duomenų kokybė svarbi. Derinimo metodai svarbūs. Vertinimo mokslas svarbus. Tačiau kai organizacija diegia dirbtinį intelektą, saugumas tampa operaciniu klausimu. Kas gali klausti. Ką modelis gali matyti. Ką jis gali keisti. Kokie įrodymai reikalingi. Kokia būsena išsaugoma. Kas nutinka, kai šaltiniai nesutaria. Kada reikia žmogaus patvirtinimo. Kaip aptinkamas nuokrypis. Kaip atšaukiamas blogas leidimas. Tai projektavimo klausimai, o ne etikos deklaracijos. Etikos deklaracija gali būti nuoširdi. Sistema nevykdo nuoširdumo.
Saugumas yra valdymo problema
Išgirdę žodį „saugumas“, žmonės dažnai galvoja apie vertybes, mokymo duomenis, atsisakymo politiką ir modelio derinimą. Visa tai yra paveikslo dalis, tačiau diegiamai sistemai taip pat reikia valdiklių. Valdiklis yra tai, kas keičia, kas gali įvykti: prieigos patikra, schema, skirtasis laikas, riba, žmogaus patvirtinimas, smėlio dėžė, užklausų limitas, tikrintuvas, atšaukimas, avarinis jungiklis, įrašas, kurio aptarnavimo kelias negali redaguoti. Valdikliai nuobodūs, kol jų netrūksta. Tada jie tampa viso susitikimo tema.
Saugi dirbtinio intelekto sistema pripažįsta, kad modelis gali suklysti, ir atitinkamai suprojektuoja jį supančius mechanizmus. Ji atskiria pasiūlymą nuo veiksmo. Ji riboja įrankių įgaliojimus. Ji tikrina įrodymus prieš keisdama būseną. Ji daro neapibrėžtumą matomą. Ji įrašo modelio versiją ir šaltinių apimtį. Ji atsisako veikti, kai trūksta privalomų laukų. Ji suteikia operatoriams galimybę pristabdyti automatizavimą. Ji į modelio išvestį žiūri kaip į kandidatą, o ne kaip į įsakymą iš labai iškalbingos skaičiuoklės.
Tai įprasta saugos inžinerija, tik jos centre yra kalbos modelis. Aviacija, medicina, geležinkeliai, pramoninis valdymas ir finansai jau seniai išmoko, kad svarbioms sistemoms reikia daugiasluoksnių apsaugų, nes jokia sudedamoji dalis nėra tobula. Dirbtinio intelekto versija atrodo nauja, nes ši sudedamoji dalis kalba. Kalba daro klaidas socialiai įtikinamas. Neteisingas atsakymas, skambantis ramiai, pavargusiam operatoriui gali prasprūsti lengviau nei mirksintis raudonas klaidos pranešimas. Todėl valdymo dizainas turi būti atkaklesnis už pačią kalbą.
Kuriant valdymą pirmiausia klausiama, ką sistema apskritai gali paveikti. Jei dirbtinis intelektas gali tik rengti projektus, sauga sutelkiama į šaltinių kokybę, haliucinacijų tikrinimą, sąsajos aiškumą ir peržiūrą. Jei jis gali nukreipti darbą, sauga papildoma būsenos stebėjimu, eilės vientisumu, paslaugų lygiais ir apskundimo keliais. Jei jis gali kviesti įrankius, sauga papildoma leidimų apimtimis, argumentų tikrinimu, operacijų žurnalais ir kompensuojamaisiais veiksmais. Jei jis gali paveikti teises ar fizines sistemas, sauga reikalauja įrodymų, formalios peržiūros, riboto savarankiškumo ir rimto incidentų planavimo. Modelis yra viena dalis. Įgaliojimų apimtis yra kita.
Riba yra produktas
Svarbiausia dirbtinio intelekto sistemos linija dažnai nematoma sąsajoje. Tai riba tarp skaitymo ir rašymo, rekomendavimo ir sprendimo, apibendrinimo ir įrašymo, padėjimo ir veikimo. Silpnos ribos yra tai, kaip nekenksmingi prototipai tampa nesaugiomis paslaugomis. Modelis, pradėjęs kaip pagalbinė priemonė rengiant projektus, gauna mygtuką projektui pritaikyti. Tada jis gauna įrankį bylai atnaujinti. Tada jis gauna nukreipimo taisyklę, nes komanda užimta. Po šešių mėnesių niekas nebegali paaiškinti, kurie sprendimai yra automatizuoti, o kurie tik paremti. Tai ne pikti ketinimai. Tai laipsniškas apimties plėtimasis patogiais batais.
Geros ribos yra aiškios ir patikrinamos. Modelis gali skaityti šiuos šaltinius, o ne anuos. Jis gali siūlyti šiuos laukus, bet ne įrašyti jų. Jis gali kviesti šį įrankį su šiais argumentais, o ne su savavališku tekstu. Jis gali nukreipti mažos rizikos atvejus, o ne ginčytinus. Jis gali atsakyti tik tada, kai įrodymai yra aktualūs. Jis negali naudoti privačių pastabų viešiems paaiškinimams. Jis negali peržengti ribos iš vieno nuomininko, regiono, paskyros ar teisinio pagrindo į kitą vien todėl, kad kita pastraipa atrodė naudinga.
Ribos taip pat turi būti įgyvendinamos už modelio ribų. Užuomina, sako nedera į klientų duomenų bazę, nėra riba, jei įrankis turi rašymo prieigą ir nėra jokio vartų. Sisteminis pranešimas, reikalaujantis nurodyti šaltinius, nėra riba, jei atsakymus galima saugoti be nuorodų. Politikos pastraipa, reikalaujanti žmogaus patvirtinimo, nėra riba, jei darbo eiga leidžia automatizavimui pažymėti patvirtinimą. Saugos instrukcijos pačiame modelyje yra naudingos, bet jų nepakanka. Sistema turi padaryti nesaugius kelius sudėtingus arba neįmanomus.
Tai neromantiškas darbas, kuris iš tikrųjų saugo žmones. Tipizuoti įrankių iškvietimai. Siauros apimtys. Tik skaitymo numatytosios nuostatos. Atskiros patvirtinimo paslaugos. Idempotentinės operacijos. Audito žurnalai. Versijuojamos politikos. Eilių būsenos. Aiškios atsisakymo būsenos. Šis žodynas skamba taip, lyg backend inžinierius ramų savaitgalį praleido su planšete. Gerai. Sauga gamyboje paprastai taip ir atrodo. Ji nesistengia laimėti šūkių konkurso.
Būsena yra ten, kur saugumas tampa realus
Pokalbiai su dirbtiniu intelektu gali sudaryti įspūdį, kad sistemos yra be būsenos. Vartotojas paklausia, modelis atsako, ekranas pasikeičia. Gamyba nėra be būsenos. Bylos juda. Užduotys sensta. Leidimai baigiasi. Dokumentai taisomi. Keičiasi modelio versija. Žmogus atmeta rekomendaciją. Gaunamas skundas. Vartotojas klausia, kodėl kažkas įvyko praėjusį mėnesį. Saugumas priklauso nuo to, ar sistema išsaugojo būseną, reikalingą atsakymui.
Būsena pasako sistemai, kas jau įvyko ir kas gali įvykti toliau. Be jos modelis mato tik dalį ir spėja likusią. Taip atsiranda pasikartojantys veiksmai, dingsta terminai, laikoma, kad patvirtinta, o sena informacija vėl patenka į naują sprendimą. Saugus darbo srautas fiksuoja aiškias būsenas: juodraštis, trūksta įrodymų, politika blokuoja, reikia peržiūros, patvirtinta, įvykdyta, užginčyta, pataisyta, atšaukta. Šios būsenos nėra dekoratyvios. Jos neleidžia modeliui traktuoti svarbaus proceso kaip pokalbio įrašo su ambicijomis.
Būsena taip pat suteikia žmonėms svertų. Operatorius gali patikrinti, kodėl byla yra peržiūroje. Vadovas gali matyti, ar automatizavimas kuria atsilikimą. Auditorius gali atkurti, kurios šaltinio versijos buvo aktyvios. Vartotojas gali užginčyti rezultatą remdamasis kuo nors tvirtesniu nei ekrano kopija. Kūrėjas gali įvertinti, ar naujas modelis didina atsisakymų, eskalacijų ar perdirbimų skaičių. Be būsenos kiekvienas pokalbis apie saugumą tampa teatru. Žmonės kalba apie atsakomybę, bet sistema pametė daiktavardžius.
Dirbtiniam intelektui būsena turėtų apimti modelio ir politikos versiją, užklausos ar šablono identifikatorių, šaltinių rinkinį, gavimo laiko žymą, įrankio iškvietimus, pasitikėjimą ar neapibrėžtumą, atsisakymo priežastį, žmogaus veiksmą ir poveikį tolesniems žingsniams. Ne viskas turi patekti į vieną žurnalo eilutę ir ne viskas turi būti matoma visiems. Privatumas ir saugumas svarbūs. Tačiau informacija turi egzistuoti su kontroliuojama prieiga. Priešingu atveju saugumas tampa priklausomas nuo atminties, o atmintis yra gerai žinoma prasta duomenų bazė su puikiais pasiteisinimais.
Įrodymai yra saugumo apsauga
Modelio atsakymas yra saugesnis, kai jis susietas su įrodymais. Tai skamba akivaizdžiai, kol sistema nėra spaudžiama. Įrodymai praleidžiami, nes jie didina delsą. Citatos saugomos kaip tekstas, o ne kaip identifikatoriai. Paieškos balai neišsaugomi. Šaltinio versijos perrašomos. Modelis rašo įtikinamą paaiškinimą iš dokumento, kuris nuo to laiko buvo pataisytas. Vėliau visi klausia, kodėl atsakymas buvo neteisingas. Atsakymas toks: apsauga buvo dekoratyvi.
Naudinga įžvalga nėra išnaša. Tai grandinė. Užklausa atėjo su tapatybe ir tikslu. Šaltiniai buvo parinkti pagal leidimus. Paieška rado konkrečias ištraukas ar įrašus. Modelis pateikė rezultatą pagal įvardytą versiją. Tikrintojas patikrino teiginius ar ribines vertes. Žmogus priėmė, redagavo arba atmetė. Veiksmas pakeitė būseną. Sistema išsaugojo pakankamai šios grandinės, kad ją būtų galima atkurti ar užginčyti. Tai ne biurokratija dėl jos pačios. Taip saugumas išlieka laikui bėgant.
Įžvalgos taip pat apsaugo modelį nuo prašymų atlikti neįmanomą darbą. Jei sistemai reikia naujausių šaltinių, modelis gali atmesti pasenusią informaciją. Jei sistemai reikia dviejų sutampančių įrašų, ji gali pažymėti neatitikimą. Jei sistemai reikia šaltinių identifikatorių, ji gali sustabdyti nepagrįstus teiginius. Modeliui nebereikia trūkstamą įrodymą paversti sklandžiu neapibrėžtumo valdymu. Jis gali grąžinti saugią būseną. Tai švelniau modeliui ir gerokai švelniau žmogui, kuriam daro įtaką rezultatas.
Yra pusiausvyra. Įžvalgų fiksavimas neturi tapti stebėjimu. Neskelbtinas turinys gali būti maišomas, redaguojamas, atskiriamas arba saugomas ribotą laiką. Esmė ne įrašyti viską amžinai. Esmė išsaugoti faktus, reikalingus svarbiam elgesiui patikrinti. Saugumas be įžvalgų yra tik pasitikėjimas gražesniu apvalkalu. Jis gali gerai atrodyti vestibiulyje. Incidento metu jis neišlaiko.
Žmonėms reikia suprojektuoto autoriteto
Žmogaus dalyvavimas procese dažnai vartojamas kaip stebuklingas žodis. Tai ne magija. Pavargęs vertintojas, turintis silpnų įžvalgų, neaiškią politiką ir dviejų šimtų atvejų eilę, nėra saugumo sistema. Tai žmogus, pastatytas konvejerio gale ir paprašytas būti valdymu. Tai gali veikti trumpai, ypač jei žmogus patyręs ir atkaklus. Tai ne dizainas.
Žmogaus autoritetas turi būti konkretus. Kurie atvejai reikalauja peržiūros. Kokias įžvalgas mato vertintojas. Ar vertintojas gali keisti struktūrinius laukus ar tik tvirtinti tekstą. Ar vertintojas žino, ar modelis buvo neapibrėžtas, ar politika reikalavo eskalavimo. Ar nesutarimai grįžta į vertinimą. Ar vertintojai apsaugoti nuo automatizavimo šališkumo. Ar jie gali pristabdyti darbo eigą. Ar jie gali perduoti specialistui. Ar jie gali matyti panašius ankstesnius atvejus. Ar jie gali paaiškinti sprendimą paveiktam žmogui. Šios detalės lemia, ar žmogaus priežiūra yra reali, ar tik dekoratyvi.
Gera priežiūra taip pat atskiria sprendimų priėmimą nuo kanceliarinio gelbėjimo. Žmonės neturėtų gaišti laiko ieškodami trūkstamų šaltinio identifikatorių, išskirdami pasikartojančias užklausas, versdami modelio tekstą į darbo eigos būsenas ar spėliodami, kuri politikos versija buvo taikyta. Sistema turėtų supakuoti atvejį. Žmogus turėtų taikyti sprendimą ten, kur jo reikia: ginčijama reikšmė, išimtis, proporcingumas, kontekstas, empatija ir atsakomybė. Jei žmogus daugiausia užsiima infrastruktūros spragų taisymu, organizacija supainiojo personalą su sauga.
Projektavimas taip pat turi leisti žmonėms nesutikti su automatizavimu, kad trintis netaptų bausme. Jei modelio pakeitimui reikia aštuonių paspaudimų, o priėmimui užtenka vieno, sąsaja turi politiką. Jei eskalavimas verčia komandą atrodyti lėtą, žmonės vengs eskalavimo. Jei metrikos atlygina tik už našumą, saugos peržiūros taps ceremoninės. Sistemų projektavimas apima paskatas, ekranus, eiles ir numatytuosius nustatymus. Modelis gali nežinoti metrikos, bet žmonės tikrai žinos.
Vieta keičia riziką
Kur vyksta dirbtinio intelekto darbas, turi reikšmės. Sistema, siunčianti kiekvieną dokumentą nuotoliniam modeliui, turi kitokią riziką nei ta, kuri atlieka duomenų išgavimą prie duomenų ir siunčia tik išvestinį lauką. Sistema, sauganti pėdsakus aptarnavimo paslaugoje, turi kitokią riziką nei ta, kuri saugo nepriklausomus audito įrašus. Sistema, priklausoma nuo vieno išorinio maršrutizatoriaus, turi kitokias atkūrimo galimybes nei ta, kuri gali veikti vietoje. Vieta nėra nacionalizmas su tinklo schema. Tai praktinis klausimas, kokios rizikos persikelia, kai persikelia duomenys, skaičiavimai, politika ir įrodymai.
Dalis darbo turėtų vykti arti neskelbtinų duomenų, nes duomenų perkėlimas sukuria riziką. Dalis darbo turėtų vykti arti vartotojų, nes delsa veikia saugą. Dalis darbo turėtų vykti centrinėje paslaugoje, nes reikia specializuotos peržiūros ar aparatinės įrangos. Dalis įrodymų turėtų būti saugoma atokiau nuo modelio aptarnavimo kelio, nes aptarnavimo kelias gali būti tiriamas objektas. Saugus projektavimas retai būna viskas vietoje arba viskas nuotoliniu būdu. Tai apgalvotas išdėstymas.
Vieta taip pat veikia teisinę ir organizacinę atskaitomybę. Jei modelio užklausa kerta regionus, kuri šalies įstatymai reglamentuoja duomenis. Jei indeksas kuriamas už šaltinio sistemos ribų, kaip platinami ištrynimai. Jei tiekėjas pakeičia modelį, kaip gaunamas pranešimas ir atliekamas testavimas. Jei žurnalai saugomi tiekėjo portale, ar organizacija gali juos eksportuoti incidento metu. Tai ne abstraktūs suvereniteto klausimai. Tai saugos klausimai, nes jie lemia, ar organizacija gali kontroliuoti ir paaiškinti sistemą esant įtampai.
Netinkamas išdėstymas gali padaryti saugų elgesį brangų. Jei kiekvienas patikros žingsnis reikalauja nuotolinio ryšio, komandos gali imti imtis imčių, o ne tikrinti kiekvieno atvejo. Jei audito duomenis sunku sujungti, tyrimai tampa lėti. Jei privatūs duomenys turi keliauti dėl paprastos klasifikacijos, rizika didėja be jokios naudos. Geras vietos projektavimas sumažina saugaus elgesio kainą. Tai svarbu, nes per brangios kontrolės ilgainiui bus apibūdinamos kaip neprivalomos, o taip prasideda daug blogų istorijų.
Vertinimas turi sekti sistemą
Daug komandų įvertina modelį ir pamiršta įvertinti sistemą. Jos patikrina, ar atsakymai į užklausų rinkinį yra teisingi, o paskui diegia į darbo eigą su leidimais, šaltinių naujumu, eilėmis, įrankio iškvietimais, žmogiškąja peržiūra, bandymais iš naujo ir besikeičiančiomis politikomis. Modelio etalonas vis tiek gali būti naudingas, bet jis nebėra apibūdina visos rizikos. Saugumo nesėkmės dažnai slypi jungtyse.
Sistemos vertinimas tikrina elgseną nuo pradžios iki pabaigos. Jis klausia, ar tinkamam vartotojui gaunamas tinkamas šaltinis. Jis tikrina, ar pasenę duomenys atmetami. Jis patvirtina, kad įrankio iškvietimai be leidimo blokuojami. Jis matuoja, ar didelės rizikos atvejai pasiekia žmones. Jis tikrina atšaukimą. Jis tikrina eilės delsą. Jis tikrina modelio atnaujinimo kelius. Jis tikrina keistus, bet įprastus atvejus: trūkstamą datą, pasikartojantį klientą, regiono išimtį, apeliaciją po pataisymo, šaltinio ištrynimą, dalinį gedimą, perkrautą vertintoją. Gamyba mėgsta atvejus, kurių niekas nelaikė pakankamai dramatiškais.
Vertinimas turėtų apimti neigiamąją galią. Sistema turi gerai mokėti nedaryti dalykų. Neatsakyti be įrodymų. Nekirsti leidimų ribų. Neekskaloti iki veiksmo, kai leidžiamas tik juodraštis. Neslėpti neapibrėžtumo. Nenaudoti šaltinio po ištrynimo. Netęsti, kai įrankis grąžina nenuoseklią būseną. Saugumas priklauso tiek nuo atsisakymo ir pauzės, kiek nuo tikslumo. Svarbiausia saugios dirbtinio intelekto sistemos išvestis gali būti nepakankamai įrodymų, o tai yra sakinys, kurio jokia demonstracinė komanda niekada neužrašo ant plakato.
Sistemos vertinimas taip pat keičia leidimų valdymą. Užklausos pakeitimas, modelio pakeitimas, indekso atkūrimas, politikos atnaujinimas, įrankio leidimų pakeitimas ar vertintojo sąsajos pakeitimas gali pakeisti saugumą. Kiekvienam reikia bandymų apimties ir atšaukimo plano. Komanda turėtų žinoti, kurios elgsenos pasikeitė ir kurios rizikos padidėjo. Tai nuobodu taip, kaip nuobodūs saugos diržai. Įdomu tampa tik tada, kai jų nebėra, o tada jau per vėlu jaustis patogiai.
Pamoka
Dirbtinio intelekto saugumas daugiausia yra sistemų projektavimas, nes žala paprastai keliauja per sistemas. Modelio išvestis tampa rizikinga, kai darbo eiga ja pernelyg pasitiki, įrankio vartai per platūs, trūksta įrodymų, būsena neaiški, peržiūra perkrauta, žurnalai silpni arba atšaukimas yra įsivaizduojamas. Modelis gali būti matomas sakinio šaltinis, bet sistema nusprendžia, ar sakinys tampa veiksmu.
Šis požiūris ne toks dramatiškas kaip daugelis diskusijų apie dirbtinio intelekto saugą, bet naudingesnis organizacijoms, kurios sistemas diegia jau dabar. Jis reikalauja, kad komandos nubrėžtų ribas, įvardytų atsakomybę, išsaugotų įrodymus, suprojektuotų būsenas, apgalvotai paskirstytų darbą, vertintų nuo pradžios iki pabaigos ir suteiktų žmonėms realią galią. Modelis čia traktuojamas kaip galingas saugos argumento komponentas, o ne kaip visas saugos argumentas. Tai brandus požiūris. Jis taip pat suteikia inžinieriams ką kurti, be dar vieno politikos PDF, o tai palanku visiems.
Saugos pareigūno klausimas po demonstracijos buvo visiškai teisingas. Kas atsitinka, jei modelis klysta, bet skamba įtikinamai? Saugi sistema turėtų turėti atsakymą: čia jis gali tik rengti juodraštį, ten privalo remtis naujausiais šaltiniais, to įrankio jis negali iškviesti, šis atvejis perduodamas peržiūrai, šis veiksmas palieka kvitą, šį darbo eigą galima pristabdyti, šį leidimą galima atšaukti, šį sprendimą galima užginčyti. Tokie atsakymai nėra nuojautos. Tai dizainas.
Neaiškumų dirbtiniame intelekte visada bus. Praktinė užduotis yra neleisti neaiškumams virsti neribota valdžia. Tai pasiekiama sąsajomis, būsenomis, valdikliais, įrodymais, lokalumu, vertinimu, atkūrimu ir tinkamai parengtu žmogiškuoju sprendimu. Kitaip tariant, sistemų dizainu. Ne todėl, kad vertybės nesvarbios, o todėl, kad vertybės turi tapti įgyvendinamos, kol gali ką nors apsaugoti.