Is-sigurtà tal-AI hija l-aktar dwar id-disinn tas-sistemi.
Il-laqgħa dwar is-sigurtà wara d-dimostrazzjoni
Id-dimostrazzjoni kienet marret tajjeb bl-istess mod tas-soltu. Il-mudell qara munzell ta' dokumenti interni, wieġeb mistoqsija dwar politika, issuġġerixxa pass li jmiss, u pproduċa sommarju pulit għall-fajl tal-każ. Il-kamra ħaddmet rasha. Xi ħadd staqsa jekk setax jitqabbad mas-sistema tax-xogħol. Xi ħadd ieħor staqsa kemm dalwaqt. Imbagħad l-uffiċjal tas-sigurtà staqsa x'jiġri kieku l-mudell kien żbaljat imma konvinċenti. Il-kamra saret interessata ħafna fil-gallettini.
Dik il-mistoqsija hi fejn tibda s-sigurtà prattika tal-AI. Mhux fl-astratt, u mhux fi slogan. Fil-għamla tas-sistema madwar mudell li kultant ikun żbaljat, kultant skadut, kultant b'wisq kunfidenza, kultant b'inqas kunfidenza, u kultant korrett għar-raġuni ħażina. Il-kwistjoni tas-sigurtà mhix biss l-imġiba tal-mudell. Hija dak li s-sistema tħalli lil dik l-imġiba tagħmel.
Mudell li jabbozza sentenza huwa riskju wieħed. Mudell li jaġġorna deċiżjoni ta' benefiċċju huwa ieħor. Mudell li jsejjaħ għodda b'aċċess ta' kitba huwa ieħor. Mudell li jidderieġi pazjent, jirrifjuta talba, ibiddel limitu ta' kreditu, jew jikkontrolla tagħmir joqgħod fi klassi ta' periklu differenti għal kollox. L-istess mudell bażiku jista' jkun bla ħsara, utli, riskjuż, jew inaċċettabbli skont il-konfini, l-istat, l-evidenza, l-awtorità, il-monitoraġġ, u l-irkupru. Għalhekk is-sigurtà tal-AI hija l-aktar disinn ta' sistemi.
L-aktar qed jagħmel xogħol f'dik is-sentenza. Ir-riċerka dwar il-mudelli importanti. Il-kwalità tad-dejta importanti. Il-metodi ta' allinjament importanti. Ix-xjenza tal-evalwazzjoni importanti. Imma meta organizzazzjoni tqiegħed l-AI fis-seħħ, is-sigurtà ssir operazzjonali. Min jista' jistaqsi. X'jista' jara l-mudell. X'jista' jibdel. Liema prova hija meħtieġa. Liema stat jinżamm. X'jiġri meta s-sorsi ma jaqblux. Meta jrid japprova bniedem. Kif tinstab id-devjazzjoni. Kif tiġi rkuprata rilaxx ħażin. Dawn huma mistoqsijiet ta' disinn qabel ma jkunu dikjarazzjonijiet ta' etika. Id-dikjarazzjoni tal-etika tista' tkun sinċiera. Is-sistema ma tesegwix is-sinċerità.
Is-sigurtà hija problema ta' kontroll
Meta n-nies jisimgħu sigurtà, spiss jaħsbu f'valuri, dejta ta' taħriġ, politiki ta' rifjut, u allinjament tal-mudell. Dawk huma parti mill-istampa, imma sistema fis-seħħ teħtieġ ukoll kontrolli. Kontroll huwa xi ħaġa li tbiddel x'jista' jseħħ: kontroll ta' aċċess, skema, timeout, limitu, approvazzjoni umana, sandbox, limitu ta' rata, verifikatur, rollback, swiċċ ta' qtugħ, rekord li ma jistax jinkiteb fuqu mill-mogħdija tas-servizz. Il-kontrolli huma ta' dwejjaq sakemm ma jkunux nieqsa. Imbagħad isiru l-laqgħa kollha.
Sistema AI sigura tassumi li l-mudell jista' jonqos u tfassal il-makkinarju tal-madwar skont dan. Hija tifred is-suġġeriment mill-azzjoni. Tillimita l-awtorità tal-għodod. Tiċċekkja l-evidenza qabel ma jinbidlu l-istati. Tagħmel l-inċertezza viżibbli. Tirreġistra l-verżjoni tal-mudell u l-ambitu tas-sors. Tirrifjuta meta jonqsu l-oqsma meħtieġa. Tagħti lill-operaturi mod biex jieqfu l-awtomazzjoni. Tittratta l-output tal-mudell bħala kandidat, mhux bħala digriet minn spreadsheet elokwenti ħafna.
Dan huwa inġinerija tas-sikurezza ordinarja b'mudell tal-lingwa fin-nofs. L-avjazzjoni, il-mediċina, il-ferroviji, il-kontroll industrijali, u l-finanzi tgħallmu li sistemi importanti jeħtieġu kontrolli f'saffi għax l-ebda komponent mhu perfett. Il-verżjoni tal-AI tħossha ġdida għax il-komponent jitkellem. Id-diskors jagħmel il-falliment soċjalment konvinċenti. Tweġiba ħażina li tinstema' kalm tista' tgħaddi aktar faċilment minn operatur għajjien milli dwal ħomor li jteptpu. Id-disinn tal-kontroll għalhekk irid ikun aktar iebes mill-proża.
Id-disinn tal-kontroll jibda billi tistaqsi x'jista' jaffettwa s-sistema. Jekk l-AI tista' biss tabbozza, is-sigurtà tiffoka fuq il-kwalità tas-sors, il-kontrolli għall-alluċinazzjonijiet, iċ-ċarezza tal-interface tal-utent, u r-reviżjoni. Jekk tista' tidderieġi x-xogħol, is-sigurtà żżid it-traċċar tal-istat, l-integrità tal-kju, il-livelli tas-servizz, u l-mogħdijiet ta' appell. Jekk tista' ssejjaħ għodod, is-sigurtà żżid l-ambiti tal-permessi, il-validazzjoni tal-argumenti, ir-reġistri tat-tranżazzjonijiet, u l-azzjonijiet ta' kumpens. Jekk tista' taffettwa d-drittijiet jew is-sistemi fiżiċi, is-sigurtà teħtieġ prova, reviżjoni formali, awtonomija ristretta, u ppjanar serju għall-inċidenti. Il-mudell huwa parti waħda. L-envelop tal-awtorità huwa l-oħra.
Il-konfini hija l-prodott
L-iktar linja importanti f'sistema tal-AI spiss ma tidhirx fl-interface. Hija l-konfini bejn il-qari u l-kitba, bejn li tirrakkomanda u li tiddeċiedi, bejn li tagħmel sommarju u li tirrekordja, bejn li tgħin u li taġixxi. Konfini dgħajfa huma kif prototipi li ma jagħmlux ħsara jsiru servizzi mhux sikuri. Mudell li jibda bħala għajnuna għall-abbozzar jikseb buttuna biex japplika l-abbozz. Imbagħad jikseb għodda biex jaġġorna l-każ. Imbagħad jikseb regola ta' routing għaliex it-tim huwa okkupat. Sitt xhur wara ħadd ma jista' jispjega liema deċiżjonijiet huma awtomatizzati u liema huma biss assistiti. Dan mhuwiex malizzja. Huwa tkabbir tal-ambitu liebes żraben komdi.
Il-konfini tajbin huma espliċiti u jistgħu jiġu eżaminati. Il-mudell jista’ jaqra dawn is-sorsi, mhux dawk. Jista’ jipproponi dawn l-oqsma, mhux jikkommettihom. Jista’ jsejjaħ din l-għodda b’dawn l-argumenti, mhux b’test arbitrarju. Jista’ jirrotta każijiet ta’ riskju baxx, mhux każijiet ikkontestati. Jista’ jwieġeb biss meta l-evidenza tkun attwali. Ma jistax juża noti privati għal spjegazzjonijiet pubbliċi. Ma jistax jaqsam minn tenant, reġjun, kont, jew bażi legali għal ieħor għax il-paragrafu li jmiss jidher utli.
Il-konfini jeħtieġ li jiġu infurzati wkoll barra l-mudell. Istruzzjoni li tgħid tiktebx fid-database tal-klijenti mhijiex konfini jekk l-għodda jkollha aċċess għall-kitba u ma jkunx hemm gateway. Messaġġ tas-sistema li jgħid ikkwota s-sorsi mhuwiex konfini jekk it-tweġibiet jistgħu jinħażnu mingħajr kwotazzjonijiet. Paragrafu ta' politika li jgħid li l-approvazzjoni umana hija meħtieġa mhuwiex konfini jekk il-fluss tax-xogħol jippermetti li l-awtomazzjoni timmarka bħala approvat. L-istruzzjonijiet tas-sigurtà ġewwa l-mudell huma utli, iżda mhumiex biżżejjed. Is-sistema trid tagħmel il-passi mhux sikuri diffiċli jew impossibbli.
Dan huwa x-xogħol mhux romantiku li fil-fatt jipproteġi lin-nies. Sejħiet ta' għodda ttajpjati. Ambjenti ristretti. Defaults li jinqraw biss. Servizzi ta' approvazzjoni separati. Operazzjonijiet idempotenti. Reġistri ta' verifika. Politiki b'verżjonijiet. Stati ta' kju. Stati ta' rifjut espliċiti. Il-vokabularju jinstema' bħal inġinier tal-backend li kellu weekend kwiet b'clipboard. Tajjeb. Is-sigurtà fil-produzzjoni ġeneralment tidher hekk. Mhux qed jipprova jirbaħ konkors ta' slogans.
L-istat huwa fejn is-sigurtà ssir realtà
Il-konversazzjonijiet tal-AI jistgħu jġiegħlu lis-sistemi jidhru bla stat. Utent jistaqsi, mudell iwieġeb, l-iskrin jinbidel. Il-produzzjoni mhijiex bla stat. Il-każijiet jimxu. Il-tikketti jixjieħu. Il-permessi jiskadu. Id-dokumenti jiġu kkoreġuti. Verżjoni ta’ mudell tinbidel. Bniedem jissostitwixxi rakkomandazzjoni. Jasal appell. Utent jistaqsi għaliex ġara xi ħaġa x-xahar li għadda. Is-sigurtà tiddependi fuq jekk is-sistema żammitx l-istat meħtieġ biex twieġeb.
L-istat jgħid lis-sistema x’ġa ġara u x’jista’ jiġri wara. Mingħajru, il-mudell jara biċċa u jaħseb il-bqija. Hekk jiġru azzjonijiet duplikati, jisparixxu l-iskadenzi, jitqiesu approvazzjonijiet li ma sarux, u evidenza qadima terġa’ tidħol f’deċiżjoni ġdida. Fluss tax-xogħol sikur jirreġistra stati espliċiti: abbozz, evidenza nieqsa, politika mblukkata, reviżjoni meħtieġa, approvat, eżegwit, ikkontestat, ikkoreġut, irtirat. Dawn l-istati mhumiex dekorattivi. Huma jipprevjenu lill-mudell milli jittratta proċess konsegwenzjali bħal traskrizzjoni ta’ chat b’ambizzjonijiet.
L-istat jagħti wkoll qawwa lill-bnedmin. Operatur jista’ jispezzjona għaliex każ qiegħed f’reviżjoni. Maniġer jista’ jara jekk l-awtomazzjoni hijiex qed toħloq arretrat. Awditur jista’ jirriproduċi liema verżjonijiet tas-sorsi kienu attivi. Utent jista’ jikkontesta riżultat b’xi ħaġa aktar solida minn screenshot. Żviluppatur jista’ jkejjel jekk mudell ġdid iżidx ir-rifjut, l-eskalazzjoni, jew ix-xogħol mill-ġdid. Mingħajr stat, kull konversazzjoni dwar is-sigurtà ssir teatru. In-nies jitkellmu dwar ir-responsabbiltà, iżda s-sistema tilfet is-sustantivi.
Għall-AI, l-istat għandu jinkludi l-verżjoni tal-mudell u tal-politika, l-identifikatur tal-prompt jew tat-template, is-sett tas-sorsi, it-timestamp tal-irkupru, is-sejħiet tal-għodod, il-kunfidenza jew l-inċertezza, ir-raġuni tar-rifjut, l-azzjoni umana, u l-effett downstream. Mhux dan kollu jappartjeni f’linja waħda ta’ log, u mhux kollu għandu jkun viżibbli għal kulħadd. Il-privatezza u s-sigurtà jgħoddu. Iżda l-informazzjoni trid teżisti taħt aċċess ikkontrollat. Inkella, is-sigurtà ssir dipendenti fuq il-memorja, u l-memorja hija bażi ta’ dejta famużament ħażina b’skużi eċċellenti.
L-evidenza hija l-binarju tas-sigurtà
Tweġiba ta’ mudell hija aktar sigura meta tkun marbuta mal-evidenza. Dan jinstema’ ovvju sakemm is-sistema tkun taħt pressjoni. L-evidenza titħalla barra għaliex iżżid il-latenza. Iċ-ċitazzjonijiet jinħażnu bħala test minflok identifikaturi. Il-punteġġi tal-irkupru ma jiġux ippreservati. Il-verżjonijiet tas-sorsi jinkitbu fuq xulxin. Il-mudell jikteb spjegazzjoni kunfidenti minn dokument li minn dakinhar ġie kkoreġut. Aktar tard, kulħadd jistaqsi għaliex it-tweġiba kienet ħażina. It-tweġiba hija li l-binarju kien dekorattiv.
L-evidenza utli mhijiex nota f’qiegħ il-paġna. Hija katina. It-talba daħlet b’identità u skop. Is-sorsi ntgħażlu taħt permess. L-irkupru sab biċċiet jew rekords speċifiċi. Il-mudell ipproduċa riżultat taħt verżjoni msemmija. Verifikatur iċċekkja l-allegazzjonijiet jew il-limiti. Bniedem aċċetta, editja, jew ċaħad. L-azzjoni biddlet l-istat. Is-sistema ħażnet biżżejjed minn dik il-katina biex terġa’ tilgħabha jew tisfidaha. Dan mhuwiex burokrazija għal fini tagħha stess. Hekk is-sigurtà tibqa’ ħajja maż-żmien.
L-evidenza tipproteġi wkoll lill-mudell milli jintalab jagħmel xogħol impossibbli. Jekk is-sistema teħtieġ sorsi kurrenti, il-mudell jista’ jirrifjuta input skadut. Jekk is-sistema teħtieġ żewġ rekords li jaqblu, tista’ tindika nuqqas ta’ qbil. Jekk is-sistema teħtieġ identifikaturi tas-sorsi, tista’ twaqqaf allegazzjonijiet mhux sostnuti. Il-mudell m’għadux irid ibiddel nuqqas ta’ prova f’ġestjoni fluwenti tal-inċertezza. Jista’ jirritorna stat sikur. Dan huwa aktar ġentili mal-mudell u ferm aktar ġentili mal-persuna milquta mir-riżultat.
Hemm bilanċ. Il-qbid tal-evidenza m’għandux isir sorveljanza. Kontenut sensittiv jista’ jiġi hashed, imnaqqas, separat, jew miżmum għal perjodi limitati. Il-punt mhuwiex li jiġi rreġistrat kollox għal dejjem. Il-punt huwa li jinżammu l-fatti meħtieġa biex tiġi eżaminata mġiba importanti. Is-sigurtà mingħajr evidenza hija biss fiduċja b’ġakketta isbaħ. Tista’ tidher tajba fil-lobby. Ma żżommx f’inċident.
Il-bnedmin jeħtieġu awtorità mfassla
Human in the loop spiss jintuża bħala frażi maġika. Mhijiex maġija. Reviżur għajjien b’evidenza dgħajfa, politika mhux ċara, u kju ta’ mitejn każ mhuwiex sistema ta’ sigurtà. Dik hija persuna mqiegħda fit-tarf ta’ conveyor belt u mitluba tkun governanza. Tista’ taħdem għal żmien qasir, speċjalment jekk il-persuna tkun esperjenzata u stinata. Mhuwiex disinn.
L-awtorità tal-bniedem trid tkun speċifika. Liema każijiet jeħtieġu reviżjoni. Liema evidenza jara r-reviżur. Jista’ r-reviżur ibiddel oqsma strutturati jew biss japprova proża. Jaf ir-reviżur jekk il-mudell kienx inċert jew jekk il-politika kinitx teħtieġ eskalaZZjoni. In-nuqqas ta’ qbil jitmiegħu lura fl-evalwazzjoni. Ir-reviżuri huma protetti mill-bias tal-awtomazzjoni. Jistgħu jwaqqfu workflow. Jistgħu jeskalaw lil speċjalista. Jistgħu jaraw każijiet simili tal-passat. Jistgħu jispjegaw deċiżjoni lill-persuna milquta. Dawn id-dettalji jiddeċiedu jekk is-sorveljanza tal-bniedem hijiex reali jew ornamentali.
Superviżjoni tajba tifred ukoll il-ġudizzju mill-ħidma amministrattiva. In-nies m’għandhomx iqattgħu l-ħin tagħhom ifittxu identifikaturi tas-sors nieqsa, ineħħu d-duplikazzjonijiet mill-provi mill-ġdid, jittraduċu l-proża tal-mudell fi stati tax-xogħol, jew jaħsbu liema verżjoni tal-politika kienet applikata. Is-sistema għandha tippakkja l-każ. Il-bniedem għandu japplika l-ġudizzju fejn il-ġudizzju jkun meħtieġ: tifsira kkontestata, eċċezzjoni, proporzjonalità, kuntest, empatija, u responsabbiltà. Jekk il-bniedem ikun l-aktar qed inaddaf lakuni fl-infrastruttura, l-organizzazzjoni ħawdet l-istaff mas-sigurtà.
Id-disinn irid jippermetti wkoll lill-bnedmin ma jaqblux mal-awtomazzjoni mingħajr ma l-frizzjoni ssir kastig. Jekk biex tegħleb il-mudell tieħu tmien klikks u biex taċċetta tieħu waħda, l-interface għandha politika. Jekk l-eskalazzjoni tagħmel tim jidher bil-mod, in-nies jevitaw l-eskalazzjoni. Jekk il-metriċi jippremjaw biss il-produttività, ir-reviżjonijiet tas-sigurtà jsiru ċerimonjali. Id-disinn tas-sistemi jinkludi inċentivi, skrins, kjuwijiet, u għażliet awtomatiċi. Il-mudell jista’ ma jkunx jaf il-metrika, imma n-nies żgur li jafuha.
Il-lokalità tbiddel ir-riskju
Fejn isseħħ ix-xogħol tal-AI jimpurta. Sistema li tibgħat kull dokument lil mudell remot għandha riskji differenti minn waħda li twettaq l-estrazzjoni qrib id-dejta u tibgħat biss qasam derivat. Sistema li taħżen it-traċċi fis-servizz li jservi għandha riskji differenti minn waħda li żżomm rekords ta’ awditjar indipendenti. Sistema li tiddependi fuq router estern wieħed għandha għażliet ta’ rkupru differenti minn waħda li tista’ tiddegrada lokalment. Il-lokalità mhijiex nazzjonaliżmu b’dijagramma tan-netwerk. Hija l-mistoqsija prattika ta’ liema riskji jiċċaqilqu meta d-dejta, il-kompjutazzjoni, il-politika, u l-evidenza jiċċaqilqu.
Xi xogħol għandu jseħħ qrib dejta sensittiva għax iċ-ċaqliq tad-dejta joħloq espożizzjoni. Xi xogħol għandu jseħħ qrib l-utenti għax il-latenza taffettwa s-sigurtà. Xi xogħol għandu jseħħ f’servizz ċentrali għax hemm bżonn ta’ reviżjoni speċjalizzata jew hardware. Xi evidenza għandha tinħażen ’il bogħod mill-mogħdija tas-servizz tal-mudell għax il-mogħdija tas-servizz tista’ tkun il-ħaġa taħt investigazzjoni. Id-disinn sikur rari jkun kollox lokali jew kollox remot. Huwa tqegħid deliberat.
Il-lokalità taffettwa wkoll ir-responsabbiltà legali u organizzattiva. Jekk sejħa tal-mudell taqsam reġjuni, liema liġi tirregola d-dejta. Jekk indiċi jinbena barra mis-sistema tas-sors, kif jitxerrdu t-tħassiriet. Jekk fornitur ibiddel mudell, kif jintlaqa’ l-avviż u titwettaq l-ittestjar. Jekk il-logs ikunu fil-portal tal-venditur, l-organizzazzjoni tistax tesportahom waqt inċident. Dawn mhumiex mistoqsijiet astratti ta’ sovranità. Huma mistoqsijiet ta’ sigurtà għax jiddeterminaw jekk l-organizzazzjoni tistax tikkontrolla u tispjega s-sistema taħt stress.
It-tqegħid ħażin jista’ jagħmel l-imġiba sikura għalja. Jekk kull pass ta’ verifikazzjoni jeħtieġ vjaġġ bir-ritorn remot, it-timijiet jistgħu jieħdu kampjuni minflok jiċċekkjaw kull każ. Jekk id-dejta tal-awditjar tkun diffiċli biex tingħaqad, l-investigazzjonijiet isiru bil-mod. Jekk dejta privata trid tivvjaġġa għal klassifikazzjoni sempliċi, ir-riskju jiżdied mingħajr ebda qligħ. Disinn tajjeb tal-lokalità jnaqqas l-ispiża li tagħmel il-ħaġa sikura. Dan jimpurta għax il-kontrolli li huma għaljin wisq eventwalment jiddeskrivu bħala fakultattivi, u hekk jibdew ħafna stejjer ħżiena.
L-evalwazzjoni trid issegwi s-sistema
Ħafna timijiet jevalwaw il-mudell u jinsiew jevalwaw is-sistema. Huma jittestjaw jekk it-tweġibiet humiex korretti fuq sett ta' prompts, imbagħad jiskjeraw f'workflow b'permessi, freskezza tas-sors, kjuwijiet, sejħiet ta' għodod, reviżjoni umana, retries, u politiki li jinbidlu. Il-benchmark tal-mudell jista' jibqa' utli, iżda ma jiddeskrivix aktar ir-riskju kollu. Il-fallimenti tas-sikurezza spiss jgħixu fil-ġogi.
Evalwazzjoni tas-sistema tittestja l-imġiba minn tarf sa tarf. Tistaqsi jekk is-sors it-tajjeb huwiex irkuprat għall-utent it-tajjeb. Tiċċekkja jekk dejta skaduta tiġix rifjutata. Tivverifika jekk is-sejħiet ta' għodod humiex imblukkati mingħajr permess. Tkejjel jekk il-każijiet ta' riskju għoli jilħqux lill-bnedmin. Tittestja r-rollback. Tittestja d-dewmien fil-kju. Tittestja l-mogħdijiet ta' aġġornament tal-mudell. Tittestja każijiet strambi iżda ordinarji: data nieqsa, klijent duplikat, eċċezzjoni reġjonali, appell wara korrezzjoni, tħassir tas-sors, interruzzjoni parzjali, reviżur mgħobbi żżejjed. Il-produzzjoni għandha togħma għall-każijiet li ħadd ma ħaseb li kienu drammatiċi biżżejjed.
L-evalwazzjoni għandha tinkludi l-kapaċità negattiva. Is-sistema trid tkun tajba biex ma tagħmilx affarijiet. Li ma twieġibx mingħajr evidenza. Li ma taqsamx il-konfini tal-permessi. Li ma teskalawx għal azzjoni meta jkun permess biss l-abbozzar. Li ma taħbix l-inċertezza. Li ma tużax sors wara t-tħassir. Li ma tkomplix meta għodda tirritorna stat inkonsistenti. Is-sikurezza tiddependi daqstant fuq ir-rifjut u l-waqfien daqs kemm fuq l-eżattezza. L-aktar output importanti ta' sistema AI sikura jista' jkun evidenza mhux biżżejjed, li hija sentenza li l-ebda tim ta' dimostrazzjoni qatt ma jpoġġi fuq banner.
L-evalwazzjoni tas-sistema tbiddel ukoll il-ġestjoni tar-rilaxx. Bidla fil-prompt, bidla fil-mudell, rebuild tal-indiċi, aġġornament tal-politika, bidla fil-permessi tal-għodod, jew bidla fl-interface tar-reviżur jistgħu jbiddlu s-sikurezza. Kull waħda teħtieġ skop ta' ttestjar u pjan ta' rollback. It-tim għandu jkun jaf liema imġibiet inbidlu u liema riskji żdiedu. Dan huwa tedjanti bl-istess mod li ċ-ċinturini tas-sigurtà huma tedjanti. Isir interessanti biss meta jkun nieqes, li huwa tard wisq għall-kumdità.
Il-lezzjoni
Is-sikurezza tal-AI hija l-aktar disinn ta' sistemi għax il-ħsara ġeneralment tivvjaġġa permezz tas-sistemi. Output ta' mudell isir riskjuż meta workflow jafdah wisq, gateway ta' għodod ikun wiesa' wisq, l-evidenza tkun nieqsa, l-istat ikun vag, ir-reviżjoni tkun mgħobbija żżejjed, il-logs ikunu dgħajfa, jew ir-rollback ikun immaġinarju. Il-mudell jista' jkun is-sors viżibbli tas-sentenza, iżda s-sistema tiddeċiedi jekk is-sentenza ssirx azzjoni.
Din il-ħarsa hija inqas drammatika minn ħafna dibattiti dwar is-sikurezza tal-AI, u aktar utli għal organizzazzjonijiet li qed jimplimentaw sistemi issa. Titlob lit-timijiet biex jistabbilixxu konfini, jinnominaw l-awtorità, jippreservaw l-evidenza, jiddisinjaw l-istati, ipoġġu x-xogħol b'mod deliberat, jevalwaw minn tarf sa tarf, u jagħtu lill-bnedmin poter reali. Tittratta l-mudell bħala komponent qawwi f'każ ta' sikurezza, mhux bħala l-każ ta' sikurezza kollu. Dik hija l-pożizzjoni matura. Tagħti wkoll lill-inġiniera xi ħaġa x'jibnu minbarra PDF ieħor ta' politika, li huwa ġentili għal kulħadd.
Il-mistoqsija tal-uffiċjal tas-sikurezza wara d-dimostrazzjoni kienet eżattament tajba. X'jiġri jekk il-mudell ikun żbaljat iżda konvinċenti. Sistema sikura għandu jkollha tweġiba: hawn jista' jfassal biss abbozz, hemmhekk irid jikkwota sorsi attwali, ma jistax juża dik l-għodda, dan il-każ imur għal reviżjoni, din l-azzjoni tħalli rċevuta, dan il-fluss tax-xogħol jista' jitwaqqaf, din il-verżjoni tista' tiġi rkuprata, din id-deċiżjoni tista' tiġi kkontestata. Dawk it-tweġibiet mhumiex sentimenti. Huma disinn.
Dejjem se jkun hemm inċertezza fl-AI. Il-kompitu prattiku huwa li twaqqaf l-inċertezza milli ssir awtorità mingħajr limiti. Dan isir permezz ta' interfaces, stati, kontrolli, evidenza, lokalità, evalwazzjoni, rkupru, u ġudizzju uman li jkun ġie mgħammar kif suppost. Fi kliem ieħor, disinn tas-sistemi. Mhux għax il-valuri ma jgħoddux, iżda għax il-valuri jridu jsiru eżegwibbli qabel ma jkunu jistgħu jipproteġu lil xi ħadd.