Drošība mākslīgajā intelektā galvenokārt ir sistēmu izstrāde
Drošības apspriede pēc demonstrācijas
Demonstrācija bija noritējusi labi, kā parasti. Modelis izlasīja iekšējo dokumentu kaudzi, atbildēja uz politikas jautājumu, ieteica nākamo soli un sagatavoja kārtīgu kopsavilkumu lietas materiāliem. Telpā visi pamāja. Kāds jautāja, vai to var pieslēgt darbplūsmas sistēmai. Kāds cits jautāja, cik drīz. Tad drošības atbildīgais jautāja, kas notiktu, ja modelis kļūdītos, bet izklausītos pārliecinoši. Telpā pēkšņi visi ļoti ieinteresējās par cepumiem.
Šis jautājums ir vieta, kur sākas praktiskā mākslīgā intelekta drošība. Ne abstrakcijās, ne saukļos. Bet gan sistēmas formā ap modeli, kas reizēm kļūdīsies, reizēm būs novecojis, reizēm pārlieku pašpārliecināts, reizēm par maz pašpārliecināts, un reizēm pareizs nepareizu iemeslu dēļ. Drošības problēma nav tikai modeļa uzvedība. Tā ir arī tas, ko sistēma šai uzvedībai ļauj izdarīt.
Modelis, kas uzraksta teikuma melnrakstu, ir viens risks. Modelis, kas atjaunina pabalsta lēmumu, ir cits. Modelis, kas izsauc rīku ar rakstīšanas tiesībām, ir vēl cits. Modelis, kas virza pacientu, noraida prasību, maina kredītlimitu vai vada iekārtas, atrodas pavisam citā bīstamības klasē. Viens un tas pats pamatā esošais modelis var būt nekaitīgs, noderīgs, riskants vai nepieņemams atkarībā no robežām, stāvokļa, pierādījumiem, pilnvarām, uzraudzības un atkopšanās. Tāpēc MI drošība lielākoties ir sistēmu projektēšana.
Vārds "lielākoties" šajā teikumā dara darbu. Modeļu izpēte ir svarīga. Datu kvalitāte ir svarīga. Saskaņošanas metodes ir svarīgas. Vērtēšanas zinātne ir svarīga. Bet, kad organizācija ievieš MI, drošība kļūst operacionāla. Kas drīkst jautāt. Ko modelis drīkst redzēt. Ko tas drīkst mainīt. Kādi pierādījumi ir nepieciešami. Kāds stāvoklis tiek saglabāts. Kas notiek, ja avoti ir pretrunā. Kad cilvēkam jāapstiprina. Kā tiek atklāta novirze. Kā slikta versija tiek atsaukta. Tie ir projektēšanas jautājumi, pirms tie kļūst par ētikas paziņojumiem. Ētikas paziņojums var būt patiess. Sistēma neizpilda sirsnību.
Drošība ir kontroles problēma
Kad cilvēki dzird vārdu "drošība", viņi bieži domā par vērtībām, apmācības datiem, atteikuma politikām un modeļa saskaņošanu. Tās ir daļa no ainas, bet ieviestai sistēmai ir nepieciešamas arī kontroles. Kontrole ir kaut kas tāds, kas maina to, kas var notikt: piekļuves pārbaude, shēma, taimauts, slieksnis, cilvēka apstiprinājums, smilškaste, pieprasījumu skaita ierobežojums, pārbaudītājs, atsaukšana, avārijas slēdzis, ieraksts, ko apkalpošanas ceļš nevar rediģēt. Kontroles ir garlaicīgas, līdz tās trūkst. Tad tās kļūst par visu sapulci.
Droša AI sistēma pieņem, ka modelis var kļūdīties, un attiecīgi veido apkārtējo mehānismu. Tā nošķir ieteikumu no darbības. Tā ierobežo rīku pilnvaras. Tā pārbauda pierādījumus pirms stāvokļa maiņas. Tā padara nenoteiktību redzamu. Tā reģistrē modeļa versiju un avotu tvērumu. Tā atsakās darboties, ja trūkst obligāto lauku. Tā operatoriem dod iespēju apturēt automatizāciju. Tā izturas pret modeļa izvadi kā pret kandidātu, nevis kā pret pavēli no ļoti runīgas izklājlapas.
Šī ir parasta drošības inženierija ar valodas modeli vidū. Aviācija, medicīna, dzelzceļš, rūpnieciskā vadība un finanses jau sen ir iemācījušās, ka svarīgām sistēmām nepieciešama daudzlīmeņu kontrole, jo neviens komponents nav ideāls. AI versija šķiet jauna tāpēc, ka komponents runā. Runa padara kļūmi sociāli pārliecinošu. Nepareiza atbilde, kas izklausās mierīgi, nogurušam operatoram var paslīdēt garām vieglāk nekā mirgojoša sarkana kļūda. Tāpēc kontroles dizainam jābūt spītīgākam par tekstu.
Kontroles dizains sākas ar jautājumu, ko sistēmai ir atļauts ietekmēt. Ja AI var tikai sagatavot melnrakstus, drošība koncentrējas uz avotu kvalitāti, halucināciju pārbaudēm, lietotāja saskarnes skaidrību un pārskatīšanu. Ja tā var novirzīt darbu, drošība pievieno stāvokļa izsekošanu, rindas integritāti, pakalpojumu līmeņus un pārsūdzības ceļus. Ja tā var izsaukt rīkus, drošība pievieno atļauju tvērumus, argumentu validāciju, darījumu žurnālus un kompensējošas darbības. Ja tā var ietekmēt tiesības vai fiziskas sistēmas, drošība prasa pierādījumus, formālu pārskatīšanu, ierobežotu autonomiju un nopietnu incidentu plānošanu. Modelis ir viena daļa. Pilnvaru aploksne ir otra.
Robeža ir produkts
Vissvarīgākā līnija AI sistēmā bieži vien nav redzama saskarnē. Tā ir robeža starp lasīšanu un rakstīšanu, ieteikšanu un lēmumu pieņemšanu, apkopošanu un ierakstīšanu, palīdzēšanu un rīcību. Vājas robežas ir tas, kā nekaitīgi prototipi kļūst par nedrošiem pakalpojumiem. Modelis, kas sākas kā melnrakstu palīgs, iegūst pogu melnraksta piemērošanai. Tad tas iegūst rīku lietas atjaunināšanai. Tad tas iegūst maršrutēšanas noteikumu, jo komanda ir aizņemta. Pēc sešiem mēnešiem neviens nevar izskaidrot, kuri lēmumi ir automatizēti un kuri tikai atbalstīti. Tā nav ļaunprātība. Tas ir tvēruma izplešanās ērtās kurpēs.
Labas robežas ir skaidras un pārbaudāmas. Modelis drīkst lasīt šos avotus, nevis citus. Tas drīkst ierosināt šos laukus, bet ne tos apstiprināt. Tas drīkst izsaukt šo rīku ar šiem argumentiem, nevis ar patvaļīgu tekstu. Tas drīkst maršrutēt zema riska lietas, nevis apstrīdētas lietas. Tas drīkst atbildēt tikai tad, ja pierādījumi ir aktuāli. Tas nedrīkst izmantot privātas piezīmes publiskiem paskaidrojumiem. Tas nedrīkst pāriet no viena nomnieka, reģiona, konta vai juridiskā pamata uz citu tikai tāpēc, ka nākamā rindkopa šķita noderīga.
Robežas ir jāīsteno arī ārpus modeļa. Uzvedne, kas saka nerakstīt klientu datubāzē, nav robeža, ja rīkam ir rakstīšanas piekļuve un nav vārtu. Sistēmas ziņojums, kas saka norādīt avotus, nav robeža, ja atbildes var saglabāt bez atsaucēm. Politikas rindkopa, kas saka, ka nepieciešams cilvēka apstiprinājums, nav robeža, ja darbplūsma ļauj automatizācijai atzīmēt apstiprinājumu. Drošības norādījumi modeļa iekšienē ir noderīgi, bet ar tiem nepietiek. Sistēmai ir jāpadara nedroši ceļi grūti vai neiespējami.
Šis ir neromantiskais darbs, kas patiesībā aizsargā cilvēkus. Tipizēti rīku izsaukumi. Šauri tvērumi. Tikai lasāmi noklusējumi. Atsevišķi apstiprināšanas pakalpojumi. Idempotentas darbības. Revīzijas žurnāli. Versētas politikas. Rindas stāvokļi. Skaidri atteikuma stāvokļi. Šī vārdnīca izklausās tā, it kā aizmugures sistēmu inženieris būtu pavadījis klusu nedēļas nogali ar pierakstu blociņu. Labi. Drošība ražošanā parasti izskatās tieši tā. Tai nav jāuzvar saukļu konkurss.
Stāvoklis ir vieta, kur drošība kļūst īsta
AI sarunas var likt sistēmām šķist bezstāvokļa. Lietotājs jautā, modelis atbild, ekrāns mainās. Ražošana nav bezstāvokļa. Lietas virzās. Biļetes noveco. Atļaujas beidzas. Dokumenti tiek laboti. Mainās modeļa versija. Cilvēks atceļ ieteikumu. Tiek saņemta apelācija. Lietotājs jautā, kāpēc kaut kas notika pagājušajā mēnesī. Drošība ir atkarīga no tā, vai sistēma saglabāja stāvokli, kas vajadzīgs atbildei.
Stāvoklis sistēmai pasaka, kas jau ir noticis un kas var notikt tālāk. Bez tā modelis redz šķēli un pārējo uzmin. Tā rodas dublētas darbības, pazūd termiņi, tiek pieņemtas atļaujas un vecie pierādījumi atkal ienāk jaunā lēmumā. Droša darbplūsma reģistrē skaidrus stāvokļus: melnraksts, trūkst pierādījumu, politika bloķē, nepieciešama pārskatīšana, apstiprināts, izpildīts, apstrīdēts, labots, atsaukts. Šie stāvokļi nav dekoratīvi. Tie neļauj modelim attiecināt uz nozīmīgu procesu tādu pašu attieksmi kā pret tērzēšanas sarunu ar ambīcijām.
Stāvoklis dod iespējas arī cilvēkiem. Operators var pārbaudīt, kāpēc lieta ir pārskatīšanā. Vadītājs var redzēt, vai automatizācija nerada darbu uzkrāšanos. Revidents var atskaņot, kuras avota versijas bija aktīvas. Lietotājs var apstrīdēt rezultātu ar kaut ko stabilāku par ekrānuzņēmumu. Izstrādātājs var izmērīt, vai jauns modelis palielina atteikumus, eskalāciju vai pārstrādi. Bez stāvokļa katra drošības saruna kļūst par teātri. Cilvēki runā par atbildību, bet sistēma ir pazaudējusi lietvārdus.
AI stāvoklī jāiekļauj modeļa un politikas versija, uzvednes vai veidnes identifikators, avotu kopa, izguves laikspiedols, rīku izsaukumi, pārliecība vai nenoteiktība, atteikuma iemesls, cilvēka darbība un ietekme uz lejupējiem procesiem. Ne viss tas pieder vienā žurnāla rindā, un ne visam jābūt redzamam visiem. Privātumam un drošībai ir nozīme. Bet informācijai jāpastāv kontrolētas piekļuves apstākļos. Citādi drošība kļūst atkarīga no atmiņas, un atmiņa ir visnotaļ slikta datubāze ar izciliem attaisnojumiem.
Pierādījumi ir drošības sliede
Modeļa atbilde ir drošāka, ja tā ir saistīta ar pierādījumiem. Tas izklausās pašsaprotami, līdz sistēma nonāk spiedienā. Pierādījumi tiek izlaisti, jo tie palielina latentumu. Citāti tiek glabāti kā teksts, nevis identifikatori. Izguves rādītāji netiek saglabāti. Avotu versijas tiek pārrakstītas. Modelis raksta pārliecinātu skaidrojumu no dokumenta, kas kopš tā laika ir labots. Vēlāk visi jautā, kāpēc atbilde bija nepareiza. Atbilde ir tāda, ka sliede bija dekoratīva.
Noderīgi pierādījumi nav zemsvītras piezīme. Tie ir ķēde. Pieprasījums ienāca ar identitāti un mērķi. Avoti tika atlasīti ar atļauju. Izguve atrada konkrētus fragmentus vai ierakstus. Modelis izveidoja izvadi ar nosauktu versiju. Verifikators pārbaudīja apgalvojumus vai sliekšņus. Cilvēks pieņēma, rediģēja vai noraidīja. Darbība mainīja stāvokli. Sistēma saglabāja pietiekami daudz no šīs ķēdes, lai to varētu atkārtot vai apstrīdēt. Tā nav birokrātija pašas dēļ. Tas ir veids, kā drošība izdzīvo laika gaitā.
Pierādījumi arī pasargā modeli no lūguma veikt neiespējamu darbu. Ja sistēma prasa aktuālus avotus, modelis var atteikties no novecojušas ievades. Ja sistēma prasa divus atbilstošus ierakstus, tā var norādīt uz neatbilstību. Ja sistēma prasa avotu identifikatorus, tā var apturēt nepamatotus apgalvojumus. Modelim vairs nav jāpārvērš trūkstošie pierādījumi par raitu nenoteiktības pārvaldību. Tas var atgriezties drošā stāvoklī. Tas ir laipnāk pret modeli un daudz laipnāk pret cilvēku, kuru skar izvade.
Ir līdzsvars. Pierādījumu vākšana nedrīkst kļūt par novērošanu. Jutīgu saturu var sašifrēt, rediģēt, atdalīt vai saglabāt ierobežotu laiku. Mērķis nav ierakstīt visu uz visiem laikiem. Mērķis ir saglabāt faktus, kas nepieciešami svarīgas uzvedības pārbaudei. Drošība bez pierādījumiem ir tikai uzticēšanās skaistākā apvalkā. Tā var izskatīties labi vestibilā. Tā neiztur incidenta gadījumā.
Cilvēkiem ir nepieciešama izstrādāta autoritāte
Cilvēks procesā bieži tiek izmantots kā maģiska frāze. Tā nav maģija. Noguris recenzents ar vājiem pierādījumiem, neskaidru politiku un rindu ar divsimt gadījumiem nav drošības sistēma. Tas ir cilvēks, kas novietots konveijera lentes galā un kuram lūgts būt pārvaldei. Tas var darboties īsu laiku, īpaši, ja cilvēks ir pieredzējis un neatlaidīgs. Tā nav izstrāde.
Cilvēka autoritātei jābūt konkrētai. Kuri gadījumi prasa pārskatīšanu. Kādus pierādījumus recenzents redz. Vai recenzents var mainīt strukturētus laukus vai tikai apstiprināt tekstu. Vai recenzents zina, vai modelis bija nenoteikts vai politika prasīja eskalāciju. Vai domstarpības tiek iekļautas novērtēšanā. Vai recenzenti ir aizsargāti no automatizācijas neobjektivitātes. Vai viņi var apturēt darbplūsmu. Vai viņi var eskalēt speciālistam. Vai viņi var redzēt līdzīgus iepriekšējos gadījumus. Vai viņi var izskaidrot lēmumu skartajai personai. Šīs detaļas nosaka, vai cilvēka uzraudzība ir reāla vai dekoratīva.
Laba pārraudzība arī nošķir spriedumu no birokrātiska glābšanas darba. Cilvēkiem nevajadzētu tērēt laiku, meklējot trūkstošus avota identifikatorus, atbrīvojoties no dublētiem atkārtojumiem, pārtulkojot modeļa prozu darbplūsmas stāvokļos vai minot, kura politikas versija tika piemērota. Sistēmai būtu jāsagatavo lieta. Cilvēkam būtu jāpiemēro spriedums tur, kur spriedums ir vajadzīgs: strīdīga nozīme, izņēmums, proporcionalitāte, konteksts, empātija un atbildība. Ja cilvēks galvenokārt novērš infrastruktūras nepilnības, organizācija ir sajaucusi personālu ar drošību.
Dizainam arī jāļauj cilvēkiem nepiekrist automatizācijai bez tā, ka berze kļūst par sodu. Ja modeļa atcelšanai vajag astoņus klikšķus un pieņemšanai vienu, saskarnei ir sava politika. Ja eskalācija liek komandai izskatīties lēnai, cilvēki no eskalācijas izvairīsies. Ja rādītāji atalgo tikai caurlaidību, drošības pārskati kļūs par formalitāti. Sistēmas dizains ietver stimulus, ekrānus, rindas un noklusējumus. Modelis, iespējams, nezina rādītāju, bet cilvēki to noteikti zinās.
Lokalitāte maina risku
Tam, kur notiek mākslīgā intelekta darbs, ir nozīme. Sistēmai, kas nosūta katru dokumentu attālinātam modelim, ir citi riski nekā sistēmai, kas veic datu izguvi datu tuvumā un nosūta tikai atvasinātu lauku. Sistēmai, kas glabā izsekošanas datus apkalpošanas pakalpojumā, ir citi riski nekā sistēmai, kas glabā neatkarīgus revīzijas ierakstus. Sistēmai, kas paļaujas uz vienu ārēju maršrutētāju, ir citas atkopšanās iespējas nekā sistēmai, kas var darboties samazinātā režīmā lokāli. Lokalitāte nav nacionālisms ar tīkla shēmu. Tas ir praktisks jautājums par to, kuri riski pārvietojas, kad pārvietojas dati, skaitļošana, politika un pierādījumi.
Dažiem darbiem būtu jānotiek jutīgu datu tuvumā, jo datu pārvietošana rada ekspozīciju. Dažiem darbiem būtu jānotiek lietotāju tuvumā, jo latentums ietekmē drošību. Dažiem darbiem būtu jānotiek centrālā pakalpojumā, jo ir nepieciešams specializēts pārskats vai aparatūra. Daži pierādījumi būtu jāglabā prom no modeļa apkalpošanas ceļa, jo apkalpošanas ceļš var būt tas, kas tiek izmeklēts. Drošs dizains reti ir pilnībā lokāls vai pilnībā attālināts. Tas ir apzināts izvietojums.
Lokalitāte ietekmē arī juridisko un organizatorisko atbildību. Ja modeļa izsaukums šķērso reģionus, kura likums reglamentē datus. Ja indekss tiek veidots ārpus avota sistēmas, kā tiek izplatīta dzēšana. Ja piegādātājs maina modeli, kā tiek saņemts paziņojums un veikta testēšana. Ja žurnāli atrodas piegādātāja portālā, vai organizācija var tos eksportēt incidenta laikā. Tie nav abstrakti suverenitātes jautājumi. Tie ir drošības jautājumi, jo tie nosaka, vai organizācija var kontrolēt un izskaidrot sistēmu stresa apstākļos.
Nepareizs izvietojums var padarīt drošu rīcību dārgu. Ja katrs verifikācijas solis prasa attālinātu datu apmaiņu, komandas var izvēlēties izlases pārbaudi, nevis pārbaudīt katru gadījumu. Ja revīzijas datus ir grūti savienot, izmeklēšana kļūst lēna. Ja privātiem datiem vienkāršas klasifikācijas dēļ ir jāceļo, risks palielinās bez ieguvuma. Labs lokalitātes dizains samazina drošas rīcības izmaksas. Tam ir nozīme, jo kontroles, kas ir pārāk dārgas, galu galā tiks aprakstītas kā neobligātas, un tā sākas daudzi slikti stāsti.
Novērtēšanai jāseko sistēmai
Daudzas komandas novērtē modeli un aizmirst novērtēt sistēmu. Viņi pārbauda, vai atbildes uz noteiktu jautājumu kopu ir pareizas, un pēc tam izvieto darbplūsmā ar atļaujām, datu aktualitāti, rindām, rīku izsaukumiem, cilvēku pārskatīšanu, atkārtotiem mēģinājumiem un mainīgām politikām. Modeļa etalons var joprojām būt noderīgs, bet tas vairs neapraksta visu risku. Drošības kļūmes bieži mīt savienojumos.
Sistēmas novērtējums pārbauda uzvedību no gala līdz galam. Tas jautā, vai pareizais avots tiek izgūts pareizajam lietotājam. Tas pārbauda, vai novecojuši dati tiek atteikti. Tas pārliecinās, ka rīku izsaukumi tiek bloķēti bez atļaujas. Tas mēra, vai augsta riska gadījumi sasniedz cilvēkus. Tas testē atgriešanos iepriekšējā stāvoklī. Tas testē rindas aizkavi. Tas testē modeļa jaunināšanas ceļus. Tas testē dīvainus, bet ikdienišķus gadījumus: trūkstošs datums, dublikāts klients, reģiona izņēmums, pārsūdzība pēc labojuma, avota dzēšana, daļējs pārtraukums, pārslogots pārskatītājs. Ražošanai ir garša pēc gadījumiem, kurus neviens neuzskatīja par pietiekami dramatiskiem.
Novērtējumā jāiekļauj negatīvā spēja. Sistēmai jābūt labai nedarīšanā. Neatbildēt bez pierādījumiem. Nešķērsot atļauju robežas. Nekāpināt līdz darbībai, ja atļauta tikai melnraksta sagatavošana. Neslēpt nenoteiktību. Neizmantot avotu pēc tā dzēšanas. Neturpināt, kad rīks atgriež nekonsekventu stāvokli. Drošība tikpat lielā mērā ir atkarīga no atteikuma un pauzes, cik no precizitātes. Vissvarīgākā drošas mākslīgā intelekta sistēmas izvade var būt nepietiekami pierādījumi, kas ir teikums, ko neviena demonstrāciju komanda nekad neuzliek uz reklāmas karoga.
Sistēmas novērtējums maina arī laidienu pārvaldību. Uzaicinājuma izmaiņas, modeļa izmaiņas, indeksa pārbūve, politikas atjauninājums, rīku atļauju izmaiņas vai pārskatītāja saskarnes izmaiņas var mainīt drošību. Katrai no tām nepieciešams testa apjoms un atgriešanās plāns. Komandai jāzina, kura uzvedība mainījās un kuri riski pieauga. Tas ir garlaicīgi tā, kā drošības jostas ir garlaicīgas. Tas kļūst interesanti tikai tad, kad tā nav, un tad ir par vēlu mierinājumam.
Mācība
Mākslīgā intelekta drošība lielākoties ir sistēmu projektēšana, jo kaitējums parasti ceļo caur sistēmām. Modeļa izvade kļūst riskanta, kad darbplūsma tai pārāk uzticas, rīku vārti ir pārāk plaši, pierādījumu trūkst, stāvoklis ir neskaidrs, pārskatīšana ir pārslogota, žurnāli ir vāji vai atgriešanās ir iedomāta. Modelis var būt redzamais teikuma avots, bet sistēma izlemj, vai teikums kļūst par darbību.
Šis skatījums ir mazāk dramatisks nekā daudzas debates par AI drošību, un tas ir noderīgāks organizācijām, kas sistēmas ievieš jau tagad. Tas aicina komandas novilkt robežas, nosaukt atbildīgos, saglabāt pierādījumus, izveidot stāvokļus, apzināti sadalīt darbu, izvērtēt visu procesu no gala līdz galam un dot cilvēkiem reālu varu. Modelis tajā tiek uztverts kā spēcīga sastāvdaļa drošības pamatojumā, nevis kā pats drošības pamatojums. Tā ir pieauguša cilvēka nostāja. Tā arī dod inženieriem ko būvēt bez vēl viena politikas dokumenta, kas ir laipni pret visiem.
Drošības atbildīgās personas jautājums pēc demonstrācijas bija pilnīgi pareizs. Kas notiek, ja modelis kļūdās, bet izklausās pārliecinoši. Drošai sistēmai uz to būtu jābūt atbildei: šeit tas drīkst tikai sagatavot melnrakstu, tur tam jāatsaucas uz aktuāliem avotiem, šo rīku tas nevar izsaukt, šī lieta tiek nodota izskatīšanai, šī darbība atstāj apliecinājumu, šo darbplūsmu var apturēt, šo laidienu var atsaukt, šo lēmumu var apstrīdēt. Šīs atbildes nav tikai sajūtas. Tās ir dizains.
AI jomā vienmēr būs nenoteiktība. Praktiskais uzdevums ir neļaut nenoteiktībai pārvērsties neierobežotā varā. To panāk ar saskarnēm, stāvokļiem, vadības mehānismiem, pierādījumiem, lokalizāciju, izvērtēšanu, atkopšanos un cilvēka spriedumu, kas ir pienācīgi aprīkots. Citiem vārdiem, ar sistēmu dizainu. Ne tāpēc, ka vērtībām nebūtu nozīmes, bet tāpēc, ka vērtībām ir jābūt īstenojamām, pirms tās var kādu aizsargāt.