Dweve

Ką rimtas dirbtinis intelektas perima iš saugos inžinerijos

Rimtas DI netampa saugus vien todėl, kad skamba atsargiai. Jis remiasi saugos inžinerija: pavojais, kontrolės lygiais, gedimų pratybomis, įrodymais, pokyčių...

Ką rimtas dirbtinis intelektas perima iš saugos inžinerijos

Geltona linija gamyklos grindyse

Pirmą naudingą saugos pamoką, kurią mačiau, nebuvo dirbtinio intelekto laboratorijoje. Ji buvo nutapyta ant gamyklos grindų. Lankytojas buvo peržengęs geltoną liniją, kad geriau pamatytų mašiną, kuri darė tiksliai tai, ką turėjo daryti, ir būtent todėl niekas nenorėjo, kad lankytojas būtų šalia jos. Nieko baisaus neįvyko. Užsidegė šviesa. Apsauga sustabdė judesį. Priėjo prižiūrėtojas su kantria išraiška žmogaus, kuris tą pačią taisyklę jau yra aiškinęs brangiems batams.

Linija nebuvo moralinis argumentas. Ji neprašė lankytojo būti atsakingam. Ji nesirėmė mokymų skaidre, prisiminta nuo pusryčių. Ji sukūrė ribą, o mašina buvo sukurta taip, kad pastebėtų, kai riba peržengiama. Organizacija buvo nusprendusi, kad kai kurias nesėkmes reikia padaryti sunkiai įmanomas dizainu, o ne tik atgrasyti nuo jų politika. Štai kodėl saugos inžinerija tokia naudinga dirbtiniam intelektui. Ji dešimtmečius mokėsi, kad žmogaus ketinimai, rašytinės gairės ir geros emocijos nėra kontrolės priemonės.

Dirbtinio intelekto sistemos dažnai diegiamos vadovaujantis priešingu instinktu. Paleidžiame pajėgų modelį, surašome priimtino naudojimo taisykles, įtraukiame žmogų į procesą ir manome, kad tas procesas bus išmintingas, pailsėjęs, informuotas, įgaliotas ir neskubantis. Tai optimistiška taip, kaip optimistiškas kartoninis skėtis. Žmonės yra būtini, bet žmonės, pastatyti nesaugaus darbo eigos gale, nėra saugos architektūra. Jie yra paskutinės minutės atsiprašymas su prisijungimu.

Rimtas dirbtinis intelektas semiasi iš saugos inžinerijos, nes saugos inžinerija prasideda nuo nepatogaus klausimo. Kas gali suklysti, kaip mes sužinotume, kas to išvengia, kas riboja žalą, kas gali sustabdyti sistemą ir kokie įrodymai patvirtina, kad kontrolė veikė. Atsakymai retai būna patrauklūs. Tai blokavimo įtaisai, kontroliniai sąrašai, signalizacijos, žurnalai, pratybos, pareigų atskyrimas, atsarginiai režimai, dizaino peržiūros, incidentų ataskaitos ir mokymai, susieti su darbu, o ne laminuoti ir pamiršti.

Saugos inžinerija prasideda prieš incidento ataskaitą. Ji klausia, kuriems gedimų režimams reikia kontrolės, kol dizainą dar galima keisti.

Pavojai nėra blogos pasekmės su gražesniais blankais

Pavojus yra būklė, galinti sukelti žalą. Tai skamba paprastai, kol organizacija bando vieną tokį aprašyti. Bloga pasekmė gali būti klaidingas atsisakymas, nepastebėta diagnozė, pavojinga instrukcija, šališkas reitingavimas, privatumo pažeidimas ar klaidinanti santrauka. Pavojus gali būti ankstesnis ir tylesnis: neišsamūs įrašai, dviprasmiški įgaliojimai, pasenę paieškos rezultatai, pernelyg pasitikintys sąsajos tekstai, trūkstamas eskalavimas, neaiški apimtis ar eilė, kuri recenzentams skiria devyniasdešimt sekundžių sprendimui, kuriam reikia devynių minučių.

Šis skirtumas svarbus. Jei komandos išvardija tik blogus rezultatus, kontrolės priemonės įdiegiamos per vėlai. Jos sako, kad nenorime klaidingų sprendimų. Gerai. Niekas į susitikimą neatėjo jų tikėdamasis. Pavojų analizė klausia, kokia sistemos būklė padidina klaidingų sprendimų tikimybę. Šis klausimas yra naudingesnis ir erzinantis. Jis nukreipia į duomenų kokybę, darbo eigos dizainą, paskatas, personalą, modelio apimtį, stebėjimą ir veiklos įgaliojimus. Jis taip pat sugadina kelis gražius paleidimo grafikus, ir taip žinote, kad jis veikia.

AI pavojų analizė turi remtis sritimi. Ligoninės skirstymo asistentas, paskolų maršrutizavimo modelis, sandėlio planuotojas, kodo generavimo įrankis ir viešųjų išmokų darbo eiga neturi vienos bendros rizikų lentelės. Juos vienija saugumo įpročiai. Įvardykite darbą. Įvardykite paveiktus žmones. Įvardykite veiksmą. Įvardykite pasekmę. Įvardykite prielaidas. Įvardykite vietas, kuriose sistema gali klysti, vėluoti, būti per daug naudojama, per mažai paaiškinama ar jai pasitikima dėl netinkamos priežasties.

Esmė nėra išsigąsti kiekvienos galimos nesėkmės. Saugos inžinerija nėra profesinis nerimas. Tai atrankinis rimtumas. Vieni pavojai nusipelno įspėjimo. Kiti - griežto sustabdymo. Dar kiti - pertvarkymo. Kai kurie - priėmimo su stebėsena. Kai kurie rodo, kad sistema neturėtų būti naudojama tam veiksmui. Vertė yra tame, kad šis sprendimas būtų aiškiai priimtas, kol sąsaja dar nepadarė darbo įprasto.

Sluoksniai pranoksta herojišką priežiūrą

Vienos kontrolės retai kada pakanka. Apsauga gali sugesti. Kontrolinis sąrašas gali būti praleistas. Jutiklis gali nukrypti. Recenzentas gali būti pavargęs. Modelis gali būti pernelyg įsitikinęs. Politika gali būti klaidingai suprasta. Todėl saugos inžinerija kuria sluoksnius: užkirsti kelią, aptikti, sulaikyti, atkurti, mokytis. Frazė „gynyba į gylį“ gali skambėti taip, lyg konsultantas būtų atradęs šarvus, bet idėja paprasta. Nepasikliaukite, kad viena kontrolė bus tobula pasaulyje, kuris toks nėra.

Dirbtinio intelekto sistemoms reikia tokio paties sluoksniavimo. Prevencija gali apimti apimties ribas, duomenų tikrinimą, apribotus rezultatus, įrankių leidimus, paieškos ribas ir darbo eigos dizainą, kuris didelės pasekmės veiksmus atskiria nuo mažai įrodymų turinčių rezultatų. Aptikimas gali apimti nuokrypių stebėjimą, pasitikėjimo kalibravimą, anomalijų įspėjimus, pakeitimų sekimą, skundų modelius ir šaltinio naujumo patikras. Sulaikymas gali apimti spartos ribas, etapinį diegimą, atranką, žmogiškąją peržiūrą ir saugius numatytuosius nustatymus. Atkūrimas gali apimti atšaukimą, taisymą, pranešimą ir kompensaciją.

Žmogaus priežiūra turi būti įdiegta į sluoksnius, o ne iškelta virš jų. Žmogaus vertintojas yra galingas, kai sąsaja rodo įrodymus, neapibrėžtumą, šaltinio naujumą, politikos kontekstą ir prasmingas perrašymo galimybes. Tas pats vertintojas tampa dekoratyvus, kai sistema slepia sprendimui reikalingą medžiagą, stumia priėmimo mygtuką į priekį, matuoja greitį kaip dorybę ir vertina nesutarimą kaip įdiegimo nesėkmę. Žmogus sistemoje nėra burtažodis. Tai darbo dizaino problema.

Čia slypi atvira tiesa: jei saugos argumentas priklauso nuo to, kad kiekvienas kiekvieną kartą būtų dėmesingas, toks saugos argumentas yra silpnas. Žmonės iš prigimties yra nepastovūs. Tai naudinga, kai reikia sprendimo, ir pavojinga, kai darbo eiga remiasi budrumu, siekiant kompensuoti trūkstamas kontrolės priemones. Geros sistemos gerbia žmogaus sprendimą, neversdamos jo prisiimti kiekvieno išvengiamo trūkumo.

Sluoksniuota kontrolė saugumą iš šūkio paverčia veikimo paviršių rinkiniu, kurį galima išbandyti ir tobulinti.

Saugus gedimas skiriasi nuo mandagaus gedimo

Daugelis dirbtinio intelekto sistemų gedi mandagiai. Jos atsiprašo, vengia tiesioginio atsakymo, siūlo atsargumo išlygas ar pataria kreiptis į specialistą. Kartais tai tinkama. Tačiau saugos inžinerija kelia griežtesnį klausimą: kai sistema yra neapibrėžta, sugedusi, už savo taikymo ribų arba jai trūksta įrodymų, į kokią būseną ji pereina. Ar ji sustoja. Ar nukreipia užklausą žmogui. Ar sumažina savo galimybes. Ar blokuoja tolesnį veiksmą. Ar išsaugo įrodymus. Ar praneša tam, kas iš tikrųjų gali imtis veiksmų.

Mandagus atsakymas vis tiek gali būti nesaugus, jei darbo eiga jį traktuoja kaip tinkamą naudoti. Asistentas gali sakyti, kad nėra gydytojas, ir vis tiek pateikti išsamią medicininę rekomendaciją darbo eigoje, kai vartotojas patiria spaudimą. Planuoklis gali įspėti, kad duomenys neišsamūs, ir vis tiek išsiųsti maršrutą dispečerinei tarnybai. Atitikties asistentas gali pateikti atsakymą su išlygomis, o darbuotojas jį nukopijuoja į galutinį laišką. Įspėjimai yra silpnos kontrolės priemonės, kai aplinkinė sistema skatina jų nepaisyti.

Saugus gedimas reiškia, kad numatytoji būsena neapibrėžtumui yra suprojektuota. Jei įrašas neišsamus, sistema gali atsisakyti atlikti galutinį veiksmą. Jei šaltinio duomenų naujumas nepakankamas, ji gali reikalauti naujo gavimo etapo. Jei modelio atnaujinimas nebuvo patvirtintas konkrečiai darbo eigai, jis gali veikti šešėliniu režimu. Jei peržiūros pajėgumas išsekęs, sistema gali sulėtinti užklausų priėmimą, o ne tyliai sumažinti peržiūros kokybę. Tai gali erzinti. Erzinimas yra priimtinas, kai alternatyva yra tyliai nesaugu.

Esmė proporcingumas. Ne kiekvienas neapibrėžtumas nusipelno sustojimo. Mažos pasekmės tekstų rengimas gali toleruoti daugiau lankstumo nei sprendimai dėl tinkamumo, saugos instrukcijos ar medicininė triaža. Rimtas dirbtinis intelektas perima saugos įprotį derinti saugaus gedimo elgseną prie pasekmių. Sistema, kuri sustabdo viską, tampa nenaudojama. Sistema, kuri nieko nestabdo, tampa įsipareigojimu su puikiu veikimo laiku.

Saugos atvejai yra argumentai su įrodymais

Saugos atvejis nėra aplankas, įrodantis, kad visi buvo užsiėmę. Tai argumentas, paremtas įrodymais, kad sistema yra priimtinai saugi apibrėžtam naudojimui apibrėžtame kontekste. Žodžiai apibrėžtas naudojimas yra svarbūs. Modelis gali būti priimtinas vidinių pastabų santraukoms rengti ir nepriimtinas priimant automatinius sprendimus. Maršrutizavimo sistema gali būti saugi esant įprastai apkrovai ir nesaugi ekstremaliosios situacijos metu. Klasifikatorius gali būti tinkamas vienai populiacijai ir neišbandytas kitai. Saugumas yra kontekstinis, o ne dekoratyvus.

Dirbtinio intelekto sistemoms reikia saugos pagrindimo, nes vien modelio veikimo rezultatai yra per siauras pagrindas. Etaloninis testas gali parodyti, kad komponentas gerai veikia su konkrečiu duomenų rinkiniu. Tačiau jis neįrodo, kad duomenų kanalas yra atnaujintas, sąsaja palaiko sprendimų priėmimą, darbo eiga turi atkūrimo mechanizmus, operatoriai yra apmokyti, politika yra aktuali, priklausomybė nuo tiekėjo yra apribota arba organizacija gali ištaisyti padarytą žalą. Rimtas užtikrinimas susieja komponentų įrodymus su veiklos įrodymais.

Įrodymai gali būti įvairūs: vertinimo rezultatai, raudonosios komandos išvados, kalibravimo patikros, duomenų kokybės testai, pavojų žurnalai, naudojamumo tyrimai, incidentų pratybos, atkūrimo testai, prieigos peržiūros, stebėsenos skydeliai, skundų analizė ir audito įrašai. Nė vienas iš jų atskirai nėra stebuklingas. Kartu jie pagrindžia teiginį, kad sistema tinka konkrečiai užduočiai. Jei užduotis pasikeičia, saugos pagrindimas turi pasikeisti. Jei kontekstas pasikeičia, jį reikia peržiūrėti. Jei niekas už jį neatsako, tai yra artefaktas, o ne užtikrinimas.

Čia saugos inžinerija įneša laukiamos disciplinos. Ji reikalauja, kad komandos susietų teiginius su kontrolės priemonėmis, o kontrolės priemones su įrodymais. Teiginys sako, kad didelės reikšmės sprendimai sulaukia prasmingos peržiūros. Kontrolės priemonė sako, kad sąsaja reikalauja šaltinio įrodymų ir aplinkybės priežasčių. Įrodymai sako, kad atrankinė patikra rodo, jog peržiūrintieji naudoja įrodymus, o aplinkybių modeliai peržiūrimi kas mėnesį. Ši grandinė nėra tokia įspūdinga kaip atsakingo DI deklaracija. Tačiau ją daug sunkiau suklastoti.

Naudingas saugos pagrindimas yra pakankamai konkretus, kad jį būtų galima ginčyti ir palaikyti sistemai bei kontekstui keičiantis.

Pakeitimų kontrolė yra saugos darbas

DI sistemos keičiasi taip, kad pokyčius per lengva nuvertinti. Pasikeičia modelio versija. Atnaujinamas paieškos indeksas. Redaguojamas raginimo šablonas. Paslenkama ribinė reikšmė. Tiekėjas pakeičia aukštesnio lygio taksonomiją. Komanda prideda naują dokumentų šaltinį. Vadovas išplečia darbo eigą nuo rekomendacijos iki sprendimo, nes bandomasis etapas pavyko ir kalendoriai buvo pilni. Kiekvienas pakeitimas gali atrodyti mažas. Kartu jie gali išstumti sistemą už jos saugos pagrindimo ribų.

Saugos inžinerija į pakeitimą žiūri kaip į rizikos momentą. Ne todėl, kad pakeitimas yra blogas, o todėl, kad pakeitimas sugriauna prielaidas. Rimtam DI reikia to paties įpročio. Kokį teiginį paveikia šis pakeitimas. Kurie pavojai tampa labiau tikėtini. Kuriuos testus reikia pakartoti. Kuriems naudotojams reikia pranešti. Kurie įrašai išsaugo ankstesnę būseną. Kuris atšaukimo kelias egzistuoja. Kurias metrikas reikia stebėti po išleidimo. Jei atsakymas yra niekas nežino, pakeitimas nėra mažas. Jis tiesiog nedokumentuotas.

Versijavimas yra šios disciplinos dalis. Sprendimai turėtų žinoti, kuri modelio, raginimo, duomenų šaltinio, politikos, ribinės reikšmės ir sąsajos versija buvo aktyvi. Be versijų įrašų organizacijos vertina vakarykščius veiksmus naudodamosi šiandieniniu nematomu kontekstu. Tai nėra atskaitomybė. Tai kelionė laiku su skaičiuokle, o skaičiuoklės ir taip turi pakankamai naštos.

Pokyčių valdymas taip pat saugo inovacijas. Komandos gali tobulėti greičiau, kai žino, kaip apriboti patobulinimą. Bandomieji paleidimai, etapinis diegimas, kanarėlių grupės, atšaukimo kriterijai ir pokyčių peržiūra po įdiegimo leidžia organizacijai mokytis nesistatant viso darbo srauto ant vienos viltimi paremtos korekcijos. Saugos inžinerija nėra iteracijų priešas. Ji yra priežastis, kodėl iteracijos gali vykti tarp realių žmonių, nelaikant jų bandymų subjektais.

Beveik įvykę incidentai yra dovana, jei jie nebaudžiami

Saugos kultūrose beveik įvykęs incidentas yra brangus. Tai įvykis, kuris galėjo sukelti žalą, bet jos nesukėlė, dažnai dėl atsitiktinumo, žmogiškojo sprendimo ar įsikišusios kontrolės. Dirbtinio intelekto operacijose taip pat pasitaiko beveik įvykusių incidentų. Recenzentas pastebi klaidingą rekomendaciją. Vartotojas pastebi trūkstamą šaltinį. Modelis atsisako atlikti užduotį, į kurią kadaise būtų atsakęs. Apeliacija atskleidžia, kad pasitikėjimo slenkstis vienam atvejų tipui elgėsi netinkamai. Tai ne erzinantys dalykai, kuriuos reikia slėpti. Tai pigiausios pamokos, kurias sistema gali pasiūlyti.

Organizacijos dažnai švaisto beveik įvykusius incidentus, nes traktuoja juos kaip atskirus nukrypimus. Darbuotojas buvo neatsargus. Vartotojas buvo sutrikęs. Modelis turėjo keistą dieną. Eilė buvo neįprastai pilna. Galbūt. Tačiau geresnis klausimas yra, ką beveik įvykęs incidentas atskleidžia apie sistemos dizainą. Ar įrodymų skydelis buvo per silpnas. Ar šaltinis buvo pasenęs. Ar perėmimo kelias buvo neaiškus. Ar slenkstis buvo suderintas pagal netinkamą populiaciją. Ar recenzentas buvo veikiamas laiko spaudimo. Ar modelis buvo naudojamas už numatytos apimties ribų.

Pranešimas turi būti lengvas ir saugus. Jei pranešimas apie beveik įvykusį incidentą kelia karjeros riziką ar administracinį vargą, žmonės pasiliks pamoką sau. Taip yra ne todėl, kad žmonės neatsakingi. Taip yra todėl, kad jie racionalūs ir turi el. paštą. Gera pranešimo sistema yra arti darbo, greitai naudojama, aiškiai apibrėžia atsakomybę ir yra susieta su matomais pokyčiais. Žmonės praneša daugiau, kai pranešimai turi reikšmės.

Beveik įvykusius incidentus taip pat reikia analizuoti ne tik pagal vidurkius. Keli rimti beveik įvykę incidentai viename pogrupyje gali išnykti bendruose rezultatuose. Retas ribinis atvejis gali turėti didelių pasekmių. Pasikartojantis nedidelis gedimas gali signalizuoti apie nuokrypį. Saugos inžinerija moko, kad incidentų duomenys yra ne tik skaičius. Tai žemėlapis, kuriame prielaidos susiduria su realybe ir skundžiasi.

Mokymasis iš beveik įvykusių incidentų silpnus signalus paverčia stipresnėmis kontrolėmis, kol mokymosi kaina dar maža.

Žmogiškasis veiksnys nėra minkštumas

Saugos inžinerija į žmogiškąjį veiksnį žiūri rimtai, nes žmonės nesielgia kaip politikos dokumentai. Jie pavargsta. Jie prisitaiko. Jie skuba. Jie praleidžia žingsnius, kurie atrodo nenaudingi. Jie laikosi numatytųjų nustatymų. Jie pasitiki poliruotomis sąsajomis. Jie vengia pranešti, kai pranešimas juos baudžia. Jie kuria aplinkkelius, kai oficialus kelias neįmanomas. Tai ne cinizmas. Tai operacinis raštingumas.

Dirbtinio intelekto sistemos sustiprina žmogiškuosius veiksnius, nes mašina dažnai skamba įtikinamai. Rekomendacija su žaliu ženkleliu, sugeneruotas paaiškinimas ir iš anksto pažymėtas mygtukas „priimti“ gali sukurti autoritetą dar prieš kam nors priimant tikrą sprendimą. Jei organizacija griežtai matuoja pralaidumą, žmogus, dalyvaujantis procese, greitai supras, ko iš tikrųjų nori sistema. Žmonės puikiai skaito paskatas. Jiems nereikia atmintinių.

Dėl to dizainas turi apimti gerą trintį. Įrodymai turi būti matomi ten, kur priimami sprendimai. Neapibrėžtumas turi būti konkretus, o ne miglotas. Galimybė perimti sprendimą turi būti įmanoma ir įprasta. Veiksmai, turintys didelių pasekmių, turi reikalauti aiškaus patvirtinimo. Peržiūros eilės turi atitikti realų darbo kiekį, o ne fantaziją, kad dėmesys yra beribis. Mokymams reikia naudoti realius atvejus, įskaitant nepatogius kraštinius atvejus, o ne rožinius pavyzdžius, kurie dvidešimčiai minučių sukuria visiems kompetencijos iliuziją.

Žmogiškieji veiksniai taip pat reiškia, kad saugų elgesį reikia padaryti lengvesnį nei nesaugų. Jei teisingas kelias yra lėtas, paslėptas ar socialiai smerkiamas, organizacija kalba apie saugą, bet kuria prieš jį. Saugos inžinerija čia turi tiesų pamokymą: sistemos moko elgesio. Sąsajos, metrika, eilės ir paskatos moko patikimiau nei plakatai.

Nepriklausomybė svarbi

Srityse, kuriose sauga yra kritiškai svarbi, vaidmenys dažnai atskiriami. Žmogus, kuriantis sistemą, nėra vienintelis, prisiimantis riziką. Komanda, eksploatuojanti sistemą, nėra vienintelė, tirianti rimtus incidentus. Tiekėjo teiginys nėra tas pats, kas nepriklausomi įrodymai. Dirbtiniam intelektui taip pat reikia tokio atskyrimo, pritaikyto prie pasekmių masto. Nepriklausomybė nėra įtarumas. Tai apsaugos priemonė nuo situacijos, kai visi taip nori, kad paleidimas pavyktų, jog silpni įrodymai ima atrodyti pakankami.

Nepriklausoma peržiūra gali įgauti įvairias formas. Antra komanda peržiūri pavojų analizę. Domeno savininkas patvirtina leistiną naudojimą. Saugumo komanda tikrina prieigos kelius. Duomenų savininkas patvirtina šaltinio kokybę. Atitikties komanda tikrina įrodymų įrašus. Išorės auditorius atrenka sprendimus imčiai. Vartotojai dalyvauja naudojamumo testavime. Tikslas nėra pridėti teatro. Tikslas yra suteikti saugos argumentui žmonių, kuriems leista būti nepatogiems.

Nepriklausomybė taip pat taikoma stebėsenai. Tiekėjo valdymo skydelis gali būti naudingas, tačiau kritiniai įrodymai neturėtų visiškai priklausyti nuo vertinamo tiekėjo. Žurnalai, sprendimų įrašai, vertinimo rezultatai ir incidentų ataskaitos turi būti organizacijos kontrolėje ten, kur to reikalauja pareigos. Jei vienintelis saugos įrodymas yra skydelis, kurio neįmanoma nepriklausomai atkurti, sistema prašo pasitikėjimo ten, kur turėtų pateikti įrodymus.

Tinkamas nepriklausomybės lygis priklauso nuo rizikos. Teksto rengimo asistentui nereikia branduolinės jėgainės mechanizmų, sakinys, kuris turėtų nuraminti visus, įskaitant branduolines jėgaines. Tačiau didelių pasekmių dirbtinis intelektas neturėtų būti pažymėtas kaip saugus dėl to paties entuziazmo, kuris jį išleido. Saugos inžinerija tai žino. Dirbtinio intelekto valdysena vis dar mokosi, kartais su labai įtikinamomis skaidrių prezentacijomis.

Ką rimtas dirbtinis intelektas pasiima su savimi

Rimtas dirbtinis intelektas perima saugos inžinerijos įprotį konkretizuoti nesėkmes. Įvardykite pavojų. Išdėstykite apsaugos priemones daugiau nei viename lygmenyje. Sukurkite saugias gedimo būsenas. Parengkite saugos argumentą su įrodymais. Laikykite pokyčius rizikos momentu. Mokykitės iš beveik įvykusių incidentų. Gerbkite žmogiškuosius veiksnius. Saugokite nepriklausomus įrašus. Suteikite žmonėms įgaliojimus sustabdyti, taisyti ir tobulinti sistemą.

Nė vienas iš šių dalykų nepriverčia dirbtinio intelekto rizikos išnykti. Saugos inžinerija nežada pasaulio be nesėkmių. Ji žada pasaulį, kuriame į numatomas nesėkmes rimtai atsižvelgiama dar prieš joms tampant antraštėmis, kuriame apsaugos priemonės yra išbandomos, įrodymai išlieka, o organizacija mokosi, o ne tik atsiprašo gražesniu šriftu.

Geltona linija ant gamyklos grindų nebuvo sudėtinga. Būtent tai ir buvo esmė. Ji padarė ribą matomą, susiejo ribą su valdymu ir suteikė mašinai saugesnį atsaką nei viltis, kad lankytojas prisimins instruktažą. Dirbtiniam intelektui reikia daugiau tokios paprastos disciplinos. Ne mažiau ambicijų. Geresnių ribų ambicijoms.

Visada bus sistemų, kurios skamba saugiai, nes geba mandagiai paaiškinti save. Rimtos sistemos yra saugesnės, nes žino, kada mandagumo nepakanka. Jos sustoja, nukreipia, įrašo, atsigauna ir mokosi. Tai ne šūkis. Tai mechanizmas, kurį saugos inžinerija siūlė visą laiką.