Vakava tekoäly ammentaa turvatekniikasta
Keltainen viiva tehdaslattialla
Ensimmäinen hyödyllinen turvallisuusoppi, jonka näin, ei ollut tekoälylaboratoriossa. Se oli maalattu tehdaslattiaan. Vierailija oli astunut keltaisen viivan yli nähdäkseen paremmin koneen, joka teki täsmälleen sen, mitä sen piti tehdä, ja juuri siksi kukaan ei halunnut vierailijaa sen lähelle. Mitään kamalaa ei tapahtunut. Valo vaihtui. Suoja pysäytti liikkeen. Valvoja käveli paikalle kärsivällisellä ilmeellä sellaisen ihmisen, joka on selittänyt saman säännön aiemminkin kalliille kengille.
Viiva ei ollut moraalinen argumentti. Se ei pyytänyt vierailijaa olemaan vastuullinen. Se ei luottanut aamiaiselta muistettuun koulutuskalvoon. Se loi rajan, ja kone oli suunniteltu huomaamaan, kun raja ylitettiin. Organisaatio oli päättänyt, että jotkut epäonnistumiset pitää tehdä vaikeiksi suunnittelulla, ei vain vähemmän houkutteleviksi politiikalla. Siksi turvallisuustekniikka on niin hyödyllistä tekoälylle. Se on käyttänyt vuosikymmeniä oppiakseen, että ihmisen tarkoitus, kirjalliset ohjeet ja hyvä tahto eivät ole kontrolleja.
Tekoälyjärjestelmät esitellään usein päinvastaisella vaistolla. Julkaisemme kyvykkään mallin, kirjoitamme hyväksyttävän käytön säännöt, lisäämme ihmisen silmukkaan ja oletamme, että silmukka on viisas, levännyt, informoitu, valtuutettu ja kiireetön. Tämä on optimistista samalla tavalla kuin pahvinen sateenvarjo on optimistinen. Ihmiset ovat välttämättömiä, mutta ihmiset turvattoman työnkulun päässä eivät ole turvallisuusarkkitehtuuri. He ovat viime hetken anteeksipyyntö, jolla on kirjautumistunnus.
Vakava tekoäly lainaa turvallisuustekniikasta, koska turvallisuustekniikka alkaa hankalasta kysymyksestä. Mikä voi mennä pieleen, miten sen tietäisimme, mikä estää sen, mikä rajoittaa haittaa, kuka voi pysäyttää järjestelmän ja mikä näyttö todistaa, että kontrolli toimi. Vastaukset ovat harvoin loistokkaita. Ne ovat lukituksia, tarkistuslistoja, hälytyksiä, lokitietoja, harjoituksia, tehtävien eriyttämistä, varatiloja, suunnittelukatselmuksia, poikkeamaraportteja ja koulutusta, joka on sidottu työhön eikä laminoitu ja unohdettu.
Vaarat eivät ole huonoja lopputuloksia hienommilla kirjelomakkeilla
Vaara on tila, joka voi johtaa haittaan. Se kuulostaa yksinkertaiselta, kunnes organisaatio yrittää kirjoittaa sellaisen ylös. Huono lopputulos voi olla virheellinen kielto, huomaamatta jäänyt diagnoosi, vaarallinen ohje, puolueellinen järjestys, tietosuojaloukkaus tai harhaanjohtava yhteenveto. Vaara voi olla aiempi ja hiljaisempi: puutteelliset tiedot, epäselvä toimivalta, vanhentunut haku, liian itsevarma käyttöliittymän kieli, puuttuva eskalointi, epäselvä soveltamisala tai jono, joka antaa arvioijille yhdeksänkymmentä sekuntia päätökseen, joka ansaitsisi yhdeksän minuuttia.
Tämä ero on merkityksellinen. Jos tiimit listaavat vain huonoja lopputuloksia, kontrollit tulevat liian myöhään. He sanovat, että emme halua vääriä päätöksiä. Selvä. Kukaan ei tullut kokoukseen toivoen niitä. Vaara-analyysi kysyy, mikä järjestelmän tila tekee vääristä päätöksistä todennäköisempiä. Tämä kysymys on hyödyllisempi ja ärsyttävämpi. Se osoittaa datan laatuun, työnkulun suunnitteluun, kannustimiin, henkilöstöön, mallin laajuuteen, seurantaan ja operatiiviseen toimivaltaan. Se myös pilaa useita kauniita julkaisuaikatauluja, mistä tiedät sen toimivan.
AI-vaara-analyysin tulisi perustua toimialaan. Sairaalan luokitteluavustaja, lainanohjausmalli, varastosuunnittelija, koodin generointityökalu ja julkisten etuuksien työnkulku eivät jaa yhtä riskitaulukkoa. Ne jakavat turvallisuustottumukset. Nimeä työ. Nimeä vaikutuksen kohteena olevat ihmiset. Nimeä toiminta. Nimeä seuraus. Nimeä oletukset. Nimeä paikat, joissa järjestelmä voi olla väärässä, myöhässä, ylikäytetty, aliselitetty tai luotettu väärästä syystä.
Tarkoitus ei ole pelästyä jokaista mahdollista vikaa. Turvatekniikka ei ole ammatillista ahdistusta. Se on valikoivaa vakavuutta. Jotkut vaarat ansaitsevat varoituksen. Jotkut ansaitsevat kovan pysäytyksen. Jotkut ansaitsevat uudelleensuunnittelun. Jotkut ansaitsevat hyväksynnän seurannan kanssa. Jotkut osoittavat, että järjestelmää ei pitäisi käyttää kyseiseen toimintaan. Arvo on siinä, että tämä arviointi tehdään näkyväksi ennen kuin käyttöliittymä saa työn tuntumaan normaalilta.
Kerrokset voittavat sankarillisen valvonnan
Yksi kontrolli harvoin riittää. Suoja voi pettää. Tarkistuslista voidaan ohittaa. Anturi voi ajautua. Arvioija voi olla väsynyt. Malli voi olla yli-itsevarma. Käytäntö voidaan lukea väärin. Turvatekniikka rakentaakin kerroksia: estä, havaitse, rajaa, palaudu, opi. Ilmaus puolustus syvyyksittäin voi kuulostaa siltä, että konsultti on löytänyt haarniskan, mutta ajatus on yksinkertainen. Älä luota siihen, että yksi kontrolli on täydellinen maailmassa, joka ei ole.
AI-järjestelmät tarvitsevat saman kerrostuksen. Ennaltaehkäisy voi sisältää laajuusrajoja, datan validointia, rajoitettuja tulosteita, työkaluoikeuksia, hakurajoja ja työnkulun suunnittelua, joka pitää korkean seurauksen toiminnot erillään matalan näytön tulosteista. Havaitseminen voi sisältää ajautumisen seurantaa, luottamuksen kalibrointia, poikkeamahälytyksiä, ohitusten seurantaa, valitusmalleja ja lähteen tuoreuden tarkistuksia. Rajaaminen voi sisältää nopeusrajoja, vaiheittaisen käyttöönoton, otannan, ihmistarkistuksen ja turvalliset oletusarvot. Palautuminen voi sisältää palautuksen, korjauksen, ilmoituksen ja hyvityksen.
Ihmisen valvonta kuuluu kerrosten sisään, ei jalustalle niiden yläpuolelle. Ihmisarvioija on vahva, kun käyttöliittymä näyttää todisteet, epävarmuuden, lähteen tuoreuden, käytäntökontekstin ja merkitykselliset ohitusvaihtoehdot. Sama arvioija on koristeellinen, kun järjestelmä piilottaa arviointiin tarvittavan materiaalin, työntää hyväksy-painiketta eteenpäin, mittaa nopeutta hyveenä ja kohtelee erimielisyyttä käyttöönoton epäonnistumisena. Ihminen silmukassa ei ole loitsu. Se on työn suunnittelun ongelma.
Tässä on kuiva totuus: jos turvallisuusperustelu riippuu siitä, että kaikki ovat tarkkaavaisia joka kerta, turvallisuusperustelu on heikko. Ihmiset ovat vaihtelevia luonnostaan. Tämä on hyödyllistä, kun arviointia tarvitaan, ja vaarallista, kun työnkulku luottaa valppauteen kompensoimaan puuttuvia kontrolleja. Hyvät järjestelmät kunnioittavat ihmisen arviointia olemalla vaatimatta sen imevän jokaista estettävissä olevaa heikkoutta.
Vikasietoinen on eri asia kuin kohtelias epäonnistuminen
Monet tekoälyjärjestelmät epäonnistuvat kohteliaasti. Ne pyytävät anteeksi, välttelevät, esittävät varauksen tai ehdottavat ammattilaisen konsultointia. Joskus se on asianmukaista. Mutta turvatekniikka kysyy vaikeamman kysymyksen: kun järjestelmä on epävarma, rikki, toimialueensa ulkopuolella tai siltä puuttuu näyttöä, mihin tilaan se siirtyy. Pysähtyykö se. Ohjaako se ihmiselle. Vähentääkö se toimintakykyä. Estääkö se seuraavan toimenpiteen. Säilyttääkö se todisteet. Ilmoittaako se jollekin, joka voi todella toimia.
Kohtelias vastaus voi silti olla turvaton, jos työnkulku kohtelee sitä käyttökelpoisena. Avustaja voi sanoa, ettei se ole lääkäri, mutta tuottaa silti yksityiskohtaisen lääketieteellisen suosituksen työnkulussa, jossa käyttäjä on paineen alla. Suunnittelija voi varoittaa, että aineisto on puutteellista, mutta lähettää silti reitin hälytysajoon. Vaatimustenmukaisuusavustaja voi varustaa vastauksensa varauksella, kun työntekijä kopioi sen lopulliseen kirjeeseen. Varoitukset ovat heikkoja kontrolleja, kun ympäröivä järjestelmä palkitsee niiden huomiotta jättämisestä.
Vikasietoinen tarkoittaa oletustilan suunnittelua epävarmuutta varten. Jos tietue on puutteellinen, järjestelmä voi kieltäytyä lopullisesta toimenpiteestä. Jos lähteen tuoreus pettää, se voi vaatia uuden hakukierroksen. Jos mallipäivitystä ei ole validoitu työnkulkua varten, se voi toimia varjotilassa. Jos arviointikapasiteetti on kyllästynyt, se voi hidastaa sisäänottoa sen sijaan, että se hiljaa heikentäisi arvioinnin laatua. Tämä voi olla ärsyttävää. Ärsyttävyys on hyväksyttävää, kun vaihtoehto on hiljaa turvaton.
Temppu on oikeasuhtaisuus. Jokainen epävarmuus ei ansaitse pysäytystä. Vähäriskisessä luonnostelussa voidaan sietää enemmän pehmeyttä kuin kelpoisuuspäätöksissä, turvallisuusohjeissa tai lääketieteellisessä seulonnassa. Vakava tekoäly lainaa turvallisuuden tapaa sovittaa vikasietoinen käyttäytyminen seurauksiin. Järjestelmä, joka pysäyttää kaiken, muuttuu käyttökelvottomaksi. Järjestelmä, joka ei pysäytä mitään, on vastuu, jolla on erinomainen käytettävyys.
Turvallisuusperustelut ovat väitteitä, joilla on näyttöä
Turvallisuusperustelu ei ole kansio, joka osoittaa, että kaikki olivat kiireisiä. Se on väite, jota näyttö tukee, siitä että järjestelmä on hyväksyttävän turvallinen määriteltyyn käyttöön määritellyssä yhteydessä. Sanoilla määritelty käyttö on merkitystä. Malli voi olla hyväksyttävä sisäisten muistiinpanojen tiivistämiseen ja hyväksymätön automaattisten päätösten tekemiseen. Reititysjärjestelmä voi olla turvallinen normaalissa kuormituksessa ja turvaton hätätilanteen ruuhkassa. Luokittelija voi olla pätevä yhdelle väestöryhmälle ja testaamaton toiselle. Turvallisuus on kontekstisidonnaista, ei koristetta.
AI tarvitsee turvallisuusperusteluja, koska pelkkä mallin suorituskyky on liian kapea mittari. Vertailutesti voi osoittaa, että komponentti toimii hyvin tietyllä aineistolla. Se ei todista, että data-putki on ajan tasalla, että käyttöliittymä tukee harkintaa, että työnkulussa on palautumismekanismeja, että käyttäjät on koulutettu, että toimintatapa on ajantasainen, että toimittajariippuvuus on rajattu tai että organisaatio pystyy korjaamaan aiheutuneen haitan. Vakava varmennus yhdistää komponenttitason näytön toiminnalliseen näyttöön.
Näyttö voi olla monenlaista: arviointituloksia, punaisen joukkueen löydöksiä, kalibrointitarkistuksia, datan laadun testejä, vaaralokeja, käytettävyystutkimuksia, häiriöharjoituksia, palautumistestejä, käyttöoikeustarkastuksia, seurantanäkymiä, valitusten analyysejä ja auditointitietoja. Mikään näistä ei yksinään ole taikaa. Yhdessä ne tukevat väitettä, että järjestelmä soveltuu tiettyyn tehtävään. Jos tehtävä muuttuu, turvallisuusperustelun on muututtava. Jos toimintaympäristö muuttuu, se on tarkistettava uudelleen. Jos kukaan ei omista sitä, se on artefakti, ei varmennus.
Tässä turvallisuustekniikka tuo tervetullutta kurinalaisuutta. Se pyytää tiimejä yhdistämään väitteet hallintakeinoihin ja hallintakeinot näyttöön. Väite sanoo, että merkittävät päätökset saavat asianmukaisen tarkastelun. Hallintakeino sanoo, että käyttöliittymä edellyttää lähdenäytön ja perustelut ohitukselle. Näyttö sanoo, että otanta osoittaa käyttäjien hyödyntävän näyttöä ja että ohituskäytäntöjä tarkastellaan kuukausittain. Tämä ketju on vähemmän jännittävä kuin vastuullinen tekoäly. Sitä on myös paljon vaikeampi väärentää.
Muutostenhallinta on turvallisuustyötä
AI-järjestelmät muuttuvat tavoilla, jotka on helppo aliarvioida. Mallin versio vaihtuu. Hakemisto päivitetään. Kehote-pohjaa muokataan. Kynnysarvo siirtyy. Toimittaja muuttaa ylemmän tason luokitusta. Tiimi lisää uuden dokumenttilähteen. Esimies laajentaa työnkulun suosituksesta päätökseksi, koska pilotti sujui hyvin ja kalenterit olivat täynnä. Jokainen muutos voi näyttää pieneltä. Yhdessä ne voivat siirtää järjestelmän turvallisuusperustelun ulkopuolelle.
Turvallisuustekniikka kohtelee muutosta riskihetkenä. Ei siksi, että muutos olisi huono asia, vaan koska muutos rikkoo oletuksia. Vakava AI vaatii saman tavan. Mitä väitettä tämä muutos koskee. Mitkä vaarat tulevat todennäköisemmiksi. Mitkä testit on ajettava uudelleen. Keille käyttäjistä on ilmoitettava. Mitkä tietueet säilyttävät vanhan tilan. Mikä palautuspolku on olemassa. Mitä mittareita on seurattava julkaisun jälkeen. Jos vastaus on, että kukaan ei tiedä, muutos ei ole pieni. Se on vain dokumentoimaton.
Versiointi on osa tätä kurinalaisuutta. Päätösten tulisi tietää, mikä malli-, kehote-, datalähde-, toimintatapa-, kynnysarvo- ja käyttöliittymäversio oli voimassa. Ilman versiotietueita organisaatiot arvioivat eilisen toimintaa käyttäen näkymätöntä tämän päivän kontekstia. Se ei ole vastuullisuutta. Se on aikamatkustusta taulukkolaskennalla, ja taulukkolaskennalla on jo riittävästi taakkaa.
Muutoshallinta suojaa myös innovointia. Tiimit voivat kehittyä nopeammin, kun ne tietävät, miten muutos pidetään hallinnassa. Varjokäytöt, vaiheittaiset julkaisut, kanaaliryhmät, palautuskriteerit ja muutoksen jälkeinen arviointi antavat organisaatiolle mahdollisuuden oppia panematta koko työnkulkua yhden toiveikkaan muokkauksen varaan. Turvallisuustekniikka ei ole iteroinnin vihollinen. Se on syy siihen, miksi iterointi voi tapahtua oikeiden ihmisten ympärillä kohtelematta heitä testikalusteina.
Läheltä piti -tilanteet ovat lahjoja, jos niistä ei rangaista
Turvallisuuskulttuureissa läheltä piti -tilanne on arvokas. Se on tapahtuma, joka olisi voinut aiheuttaa vahinkoa mutta ei aiheuttanut, usein sattuman, inhimillisen harkinnan tai kontrollin puututtua. Tekoälytoiminnassa on myös läheltä piti -tilanteita. Arvioija huomaa väärän suosituksen. Käyttäjä huomaa puuttuvan lähteen. Malli kieltäytyy tehtävästä, johon se olisi aiemmin saattanut vastata. Valitus paljastaa, että luottamuskynnys toimi huonosti yhdessä tapaustyypissä. Nämä eivät ole harmeja, joita pitää piilotella. Ne ovat halvimpia oppitunteja, joita järjestelmä tarjoaa.
Organisaatiot usein hukkaavat läheltä piti -tilanteet, koska ne kohtelevat niitä yksittäisinä poikkeamina. Työntekijä oli huolellinen. Käyttäjä oli hämmentynyt. Mallilla oli outo päivä. Jono oli epätavallisen täynnä. Ehkä. Mutta parempi kysymys on, mitä läheltä piti -tilanne paljastaa järjestelmän suunnittelusta. Oliko näyttöpaneeli liian heikko. Oliko lähde vanhentunut. Oliko ohitusreitti epäselvä. Oliko kynnys viritetty väärällä populaatiolla. Oliko arvioija aikapaineen alla. Käytettiinkö mallia sen soveltamisalan ulkopuolella.
Raportoinnin on oltava helppoa ja turvallista. Jos läheltä piti -tilanteen raportointi luo uravaaran tai hallinnollista tuskaa, ihmiset pitävät oppitunnin omana tietonaan. Tämä ei johdu siitä, että ihmiset olisivat vastuuttomia. Se johtuu siitä, että he ovat rationaalisia ja heillä on sähköposti. Hyvä raportointipolku on lähellä työtä, nopea käyttää, selkeä omistajuudeltaan ja yhteydessä näkyvään muutokseen. Ihmiset raportoivat enemmän, kun raporteilla on merkitystä.
Läheltä piti -tilanteet tarvitsevat myös analyysia keskiarvojen tuolle puolen. Muutama vakava läheltä piti -tilanne yhdessä alaryhmässä voi kadota kokonaissuorituskyvyn sisään. Harvinainen reunatapaus voi kantaa suuria seurauksia. Toistuva pieni vika voi olla merkki ajautumisesta. Turvallisuustekniikka opettaa, että tapahtumatieto ei ole vain lukumäärä. Se on kartta siitä, missä oletukset kohtaavat todellisuuden ja valittavat.
Inhimilliset tekijät eivät ole pehmeyttä
Turvallisuustekniikka ottaa inhimilliset tekijät vakavasti, koska ihmiset eivät käyttäydy kuin politiikka-asiakirjat. He väsyvät. He sopeutuvat. He kiirehtivät. He ohittavat vaiheet, jotka näyttävät hyödyttömiltä. He noudattavat oletusarvoja. He luottavat viimeisteltyihin käyttöliittymiin. He välttävät raportointia, kun raportoinnista rangaistaan. He rakentavat kiertoteitä, kun virallinen polku on mahdoton. Tämä ei ole kyynisyyttä. Se on toiminnallista lukutaitoa.
AI-järjestelmät vahvistavat inhimillisiä tekijöitä, koska kone vaikuttaa usein varmalta. Suositus vihreällä merkillä, automaattisesti tuotettu selitys ja oletuksena valittu hyväksymispainike voivat luoda auktoriteettia ennen kuin kukaan on tehnyt todellista arviota. Jos organisaatio mittaa suorituskykyä tiukasti, järjestelmän kanssa työskentelevä ihminen oppii nopeasti, mitä järjestelmä todella haluaa. Ihmiset ovat erinomaisia kannustimien lukijoita. He eivät tarvitse muistiota.
Suunnittelun on siksi sisällettävä hyvää kitkaa. Todisteiden on oltava näkyvillä siellä, missä päätöksiä tehdään. Epävarmuuden on oltava täsmällistä, ei ympäripyöreää. Ohittamisen on oltava mahdollista ja normaalia. Suuren vaikutuksen toimista on vaadittava nimenomainen teko. Katselmointijonot on mitoitettava todellisen työn mukaan, ei sen fantasian mukaan, että huomio olisi rajaton. Koulutuksessa on käytettävä todellisia tapauksia, myös epämiellyttäviä reunatapauksia, sen sijaan että käytettäisiin aurinkoisia esimerkkejä, jotka saavat kaikki tuntemaan itsensä osaaviksi kahdeksikymmeneksi minuutiksi.
Inhimilliset tekijät tarkoittavat myös sitä, että turvallinen toiminta tehdään helpommaksi kuin turvaton toiminta. Jos oikea polku on hidas, piilotettu tai sosiaalisesti paheksuttu, organisaatio on suunnitellut turvallisuutta vastaan samalla kun se puhuu siitä. Turvallisuustekniikalla on tässä tyly opetus: järjestelmät opettavat käyttäytymistä. Käyttöliittymät, mittarit, jonot ja kannustimet opettavat luotettavammin kuin julisteet.
Riippumattomuudella on merkitystä
Turvallisuuskriittisillä aloilla roolit erotetaan usein toisistaan. Järjestelmän rakentaja ei ole ainoa, joka ottaa riskin vastaan. Järjestelmää käyttävä tiimi ei ole ainoa tiimi, joka tutkii vakavia poikkeamia. Toimittajan väite ei ole sama asia kuin riippumaton näyttö. Myös AI tarvitsee tämän erottelun, suhteutettuna seurauksiin. Riippumattomuus ei ole epäluuloa. Se on valvontakeino, joka estää sitä, että kaikki haluavat lanseerauksen onnistuvan niin kovasti, että heikko näyttö alkaa näyttää riittävältä.
Riippumaton arviointi voi ottaa monia muotoja. Toinen tiimi tarkistaa vaara-analyysin. Toimialueen omistaja hyväksyy sallitun käytön. Tietoturvatiimi testaa pääsypolut. Datan omistaja varmistaa lähdelaadun. Vaatimustenmukaisuustiimi tarkistaa näyttöasiakirjat. Ulkopuolinen auditoija ottaa otoksia päätöksistä. Käyttäjät osallistuvat käytettävyystestaukseen. Tarkoitus ei ole lisätä teatteria. Tarkoitus on antaa turvallisuusperustelulle ihmisiä, joilla on lupa olla hankalia.
Riippumattomuus koskee myös seurantaa. Toimittajan kojelauta voi olla hyödyllinen, mutta kriittinen näyttö ei saa riippua kokonaan arvioitavana olevasta toimittajasta. Lokit, päätöstietueet, arviointitulokset ja poikkeamaraportit on pidettävä organisaation hallinnassa silloin, kun velvollisuus sitä edellyttää. Jos ainoa turvallisuuden osoitus on kojelauta, jota ei voi itsenäisesti toistaa, järjestelmä pyytää luottamusta siinä kohdassa, jossa sen pitäisi tarjota näyttöä.
Sopiva riippumattomuuden taso riippuu riskistä. Luonnosteluavustaja ei tarvitse ydinvoimalan koneistoa, mikä on lause, jonka pitäisi lohduttaa kaikkia, myös ydinvoimaloita. Mutta suuren vaikutuksen AI:ta ei pitäisi merkitä turvalliseksi samalla innostuksella, joka sen toimitti. Turvallisuustekniikka tietää tämän. AI-hallinto on vielä oppimassa, joskus hyvin itsevarmojen diaesitysten kanssa.
Mitä vakava AI ottaa mukaansa
Vakava AI lainaa turvallisuustekniikan tavan tehdä epäonnistumisesta täsmällistä. Nimeä vaara. Aseta hallintakeinoja useammalle kuin yhdelle tasolle. Suunnittele vikatilanteessa turvalliset tilat. Rakenna turvallisuusperustelu näytön avulla. Kohtele muutosta riskin hetkenä. Opi läheltä piti -tilanteista. Kunnioita inhimillisiä tekijöitä. Säilytä riippumattomat tietueet. Anna ihmisille valtuudet pysäyttää, korjata ja parantaa järjestelmää.
Mikään tästä ei saa AI-riskiä katoamaan. Turvallisuustekniikka ei lupaa maailmaa ilman epäonnistumisia. Se lupaa maailman, jossa ennakoitava epäonnistuminen otetaan vakavasti ennen kuin siitä tulee otsikko, jossa hallintakeinoja testataan, jossa näyttö säilyy ja jossa organisaatio oppii sen sijaan, että se vain pyytää anteeksi paremmalla typografialla.
Keltainen viiva tehdaslattialla ei ollut hienostunut. Se oli tarkoitus. Se teki rajan näkyväksi, yhdisti rajan hallintaan ja antoi koneelle turvallisemman vastauksen kuin toivoa, että vierailija muistaisi perehdytyksen. Tekoäly tarvitsee enemmän tuota pelkkää kurinalaisuutta. Ei vähemmän kunnianhimoa. Parempia rajoja kunnianhimolle.
Tulee aina olemaan järjestelmiä, jotka kuulostavat turvallisilta, koska ne osaavat selittää itseään kohteliaasti. Vakavat järjestelmät ovat turvallisempia, koska ne tietävät, milloin kohteliaisuus ei riitä. Ne pysäyttävät, ohjaavat, tallentavat, palautuvat ja oppivat. Se ei ole iskulause. Se on koneiden turvallisuustekniikkaa, jota koneturvallisuus on tarjonnut koko ajan.