Serious AI draws from safety engineering
Kollane joon tehasepõrandal
Esimene kasulik ohutusõppetund, mida nägin, ei olnud AI-laboris. See oli maalitud tehasepõrandale. Külastaja oli astunud üle kollase joone, et saada parem vaade masinale, mis tegi täpselt seda, mida pidi, ja just seepärast ei tahtnud keegi külastajat selle lähedale. Midagi kohutavat ei juhtunud. Tuli vahetus. Kaitse peatas liikumise. Töödejuhataja astus juurde kannatliku näoga, nagu keegi, kes on sama reeglit juba varem kallitele kingadele selgitanud.
Joon ei olnud moraalne argument. See ei palunud külastajal olla vastutustundlik. See ei tuginenud hommikusöögilt meelde jäänud koolitusslaidile. See lõi piiri ja masin oli loodud märkama, kui piiri ületatakse. Organisatsioon oli otsustanud, et mõned tõrked tuleb teha disaini kaudu raskesti tekkivaks, mitte ainult poliitikaga heidutada. Seepärast on ohutustehnika AI-le nii kasulik. See on aastakümneid õppinud, et inimese kavatsus, kirjalikud juhised ja head tunded ei ole kontrollimeetmed.
AI-süsteeme tutvustatakse sageli vastupidise instinktiga. Me käivitame võimeka mudeli, kirjutame vastuvõetava kasutuse reeglid, lisame inimese protsessi ja eeldame, et see inimene on tark, puhanud, informeeritud, volitatud ja kiirustamata. See on optimistlik umbes nagu papist vihmavari. Inimesed on hädavajalikud, kuid inimesed, kes on paigutatud ebaturvalise töövoogu lõppu, ei ole ohutusarhitektuur. Nad on viimase hetke vabandus koos sisselogimisega.
Tõsine AI laenab ohutustehnikast, sest ohutustehnika algab ebamugavast küsimusest. Mis võib valesti minna, kuidas me seda teaksime, mis seda ennetab, mis piirab kahju, kes saab süsteemi peatada ja milline tõendus tõestab, et kontroll toimis. Vastused on harva glamuurne. Need on lukustused, kontrollnimekirjad, häired, logid, õppused, tööülesannete lahusus, varurežiimid, disainiülevaated, intsidentide aruanded ja koolitus, mis on seotud tööga, mitte lamineeritud ja unustatud.
Ohud ei ole halvad tulemused ilusama kirjaplangiga
Oht on seisund, mis võib viia kahjuni. See kõlab lihtsalt, kuni organisatsioon üritab seda kirja panna. Halb tulemus võib olla vale keeldumine, vahele jäänud diagnoos, ohtlik juhend, kallutatud järjestus, privaatsuse rikkumine või eksitav kokkuvõte. Oht võib olla varasem ja vaiksem: puudulikud andmed, ebaselge volitus, aegunud otsing, liiga enesekindel liidesekeel, puuduv eskalatsioon, ebaselge ulatus või järjekord, mis annab ülevaatajatele üheksakümmend sekundit otsuse jaoks, mis väärib üheksat minutit.
See erinevus on oluline. Kui meeskonnad loetlevad ainult halbu tulemusi, jõuavad tõkked kohale liiga hilja. Nad ütlevad, et me ei taha valesid otsuseid. Hästi. Keegi ei tulnud koosolekule lootusega, et neid tehakse. Ohuanalüüs küsib, milline süsteemi seisund muudab valed otsused tõenäolisemaks. See küsimus on kasulikum ja tüütum. See osutab andmekvaliteedile, töövoo kujundusele, stiimulitele, personalile, mudeli ulatusele, seirele ja operatiivsele volitusele. See rikub ka mitmeid ilusaid käivitusgraafikuid, mis on märk sellest, et see töötab.
AI ohuanalüüs peaks olema valdkonnapõhine. Haigla triaažiabiline, laenusuunamismudel, laoplaneerija, koodigeneraator ja avalike hüvitiste töövoog ei jaga ühte riskitabelit. Nad jagavad ohutusharjumusi. Nimetage töö. Nimetage mõjutatud inimesed. Nimetage tegevus. Nimetage tagajärg. Nimetage eeldused. Nimetage kohad, kus süsteem võib olla vale, hilinenud, ülekasutatud, alaseletatud või usaldatud valel põhjusel.
Eesmärk ei ole hakata kartma iga võimalikku tõrget. Ohutustehnika ei ole professionaalne ärevus. See on valikuline tõsidus. Mõned ohud väärivad hoiatus. Mõned väärivad karmi peatust. Mõned väärivad ümberkujundust. Mõned väärivad aktsepteerimist koos seirega. Mõned näitavad, et süsteemi ei tohiks selle tegevuse jaoks kasutada. Väärtus seisneb selle hinnangu selgesõnaliseks muutmises enne, kui liides muudab töö normaalseks.
Kihid võidavad kangelaslikust järelevalvest
Ühest tõkkest on harva piisav. Kaitse võib ebaõnnestuda. Kontrollnimekirja võidakse vahele jätta. Andur võib triivida. Ülevaataja võib olla väsinud. Mudel võib olla liiga enesekindel. Poliitikat võidakse valesti lugeda. Ohutustehnika ehitab seetõttu kihid: ennetamine, tuvastamine, ohjeldamine, taastamine, õppimine. Väljend kaitse sügavuti võib kõlada nagu oleks konsultant avastanud soomuse, kuid idee on lihtne. Ärge lootke, et üks tõke on täiuslik maailmas, mis seda ei ole.
AI-süsteemid vajavad sama kihistamist. Ennetamine võib hõlmata ulatuse piiranguid, andmete valideerimist, piiratud väljundeid, tööriista õigusi, otsingupiire ja töövoo kujundust, mis hoiab suure mõjuga tegevused eemal madala tõendusmaterjaliga väljunditest. Tuvastamine võib hõlmata triivi seiret, kalibreerimise usaldusväärsust, anomaaliate hoiatusi, ülekirjutamise jälgimist, apellatsioonimustreid ja allika värskuse kontrolle. Ohjeldamine võib hõlmata kiirusepiiranguid, järkjärgulist kasutuselevõttu, valimit, inimülevaadet ja ohutuid vaikeväärtusi. Taastamine võib hõlmata tagasipööramist, parandamist, teavitamist ja hüvitamist.
Inimjärelevalve kuulub kihtide sisse, mitte pjedestaalile nende kohal. Inimülevaataja on võimas, kui liides näitab tõendusmaterjali, ebakindlust, allika värskust, poliitika konteksti ja tähenduslikke ülekirjutamisvalikuid. Sama ülevaataja on dekoratiivne, kui süsteem peidab otsustamiseks vajaliku materjali, lükkab nuppu "nõustu" ettepoole, mõõdab kiirust voorusena ja kohtleb eriarvamust kasutuselevõtu ebaõnnestumisena. Inimene ahelas ei ole loits. See on töökujunduse probleem.
Siin on kuiv tõde: kui ohutusjuhtum sõltub sellest, et kõik on iga kord tähelepanelikud, on ohutusjuhtum nõrk. Inimesed on oma olemuselt varieeruvad. See on kasulik, kui vajatakse otsustusvõimet, ja ohtlik, kui töövoog toetub valvsusele, et kompenseerida puuduvaid tõkkeid. Head süsteemid austavad inimeste otsustusvõimet, mitte ei lase sellel neelata iga ennetatavat nõrkust.
Tõrkekindel on erinev viisakast tõrkumisest
Paljud AI-süsteemid tõrkuvad viisakalt. Nad vabandavad, kõhklevad, pakuvad reservatsiooni või soovitavad pöörduda spetsialisti poole. Mõnikord on see asjakohane. Kuid ohutustehnika küsib raskema küsimuse: kui süsteem on ebakindel, rikkis, väljaspool ulatust või ilma tõenditeta, millisesse olekusse see liigub. Kas see peatub. Kas see suunab inimese juurde. Kas see vähendab võimekust. Kas see blokeerib järgneva toimingu. Kas see säilitab tõendid. Kas see teavitab kedagi, kes saab tegelikult tegutseda.
Viisakas vastus võib siiski olla ebaturvaline, kui töövoog käsitleb seda kasutatavana. Assistendi võib öelda, et ta ei ole arst, kuid toodab samal ajal üksikasjaliku meditsiinilise soovituse töövoos, kus kasutaja on surve all. Planeerija võib hoiatada, et andmed on puudulikud, kuid saadab siiski marsruudi väljasaatmisele. Vastavusassistent võib oma vastusele lisada reservatsiooni, samal ajal kui töötaja kopeerib selle lõplikku kirja. Hoiatused on nõrgad kontrollid, kui ümbritsev süsteem premeerib nende ignoreerimist.
Tõrkekindel tähendab ebakindluse vaikimisi oleku kujundamist. Kui kirje on puudulik, võib süsteem keelduda lõplikust toimingust. Kui allika värskus ebaõnnestub, võib see nõuda uut otsingukäiku. Kui mudeliuuendust pole töövoo jaoks valideeritud, võib see töötada varjurežiimis. Kui ülevaatusvõimekus on küllastunud, võib see aeglustada vastuvõttu, mitte vaikselt langetada ülevaatuse kvaliteeti. See võib olla tüütu. Tüütus on vastuvõetav, kui alternatiiv on vaikselt ebaturvaline.
Nipp on proportsionaalsus. Mitte iga ebakindlus ei vääri peatust. Madala tagajärjega mustandite koostamine talub rohkem pehmust kui sobivusotsused, ohutusjuhised või meditsiiniline triaaž. Tõsine AI laenab ohutuse harjumuse sobitada tõrkekindel käitumine tagajärjega. Süsteem, mis peatab kõik, muutub kasutuskõlbmatuks. Süsteem, mis ei peata midagi, muutub kohustuseks suurepärase tööajaga.
Ohutusjuhud on argumendid tõenditega
Ohutusjuhtum ei ole kaust, mis tõestab, et kõik olid hõivatud. See on argument, mida toetavad tõendid, et süsteem on vastuvõetavalt ohutu kindlaks määratud kasutuseks kindlaks määratud kontekstis. Sõnad kindlaks määratud kasutus on olulised. Mudel võib olla vastuvõetav sisemiste märkmete kokkuvõtmiseks ja vastuvõetamatu automaatsete otsuste tegemiseks. Marsruutimissüsteem võib olla ohutu tavakoormuse korral ja ebaturvaline hädaolukorra tippkoormuse ajal. Klassifikaator võib olla kehtiv ühe populatsiooni jaoks ja testimata teise jaoks. Ohutus on kontekstipõhine, mitte parfüüm.
AI vajab ohutusjuhtumeid, sest ainult mudeli jõudlusest on liiga vähe. Võrdlusuuring võib näidata, et komponent töötab andmestikul hästi. See ei tõenda, et andmetorustik on värske, liides toetab otsustusvõimet, töövoog sisaldab taastumist, operaatorid on koolitatud, poliitika on ajakohane, tarnija sõltuvus on piiratud või organisatsioon suudab kahju heastada. Tõsine kinnitus ühendab komponendi tõendid tegevuse tõenditega.
Tõendid võivad olla mitmekesised: hindamistulemused, punase meeskonna leiud, kalibreerimiskontrollid, andmekvaliteedi testid, ohupäevikud, kasutatavusuuringud, intsidentide harjutused, taastumistestid, juurdepääsuülevaated, seirepaneelid, kaebuste analüüs ja auditidokumendid. Ükski neist ei ole üksi imevahend. Koos toetavad nad väidet, et süsteem sobib konkreetseks tööks. Kui töö muutub, peab muutuma ka ohutusjuhtum. Kui kontekst muutub, tuleb see uuesti läbi vaadata. Kui keegi seda ei oma, on see artefakt, mitte kinnitus.
Siin toob ohutustehnika teretulnud distsipliini. See palub meeskondadel ühendada väited kontrollidega ja kontrollid tõenditega. Väide ütleb, et suure mõjuga otsused saavad sisulise ülevaate. Kontroll ütleb, et liides nõuab allika tõendeid ja ülekirjutamise põhjuseid. Tõendid ütlevad, et valim näitab, et arvustajad kasutavad tõendeid ja et ülekirjutamise mustreid vaadatakse igakuiselt. See ahel on vähem põnev kui vastutustundliku AI mainimine. Seda on ka palju raskem võltsida.
Muudatuste haldamine on ohutustöö
AI-süsteemid muutuvad viisil, mida võib olla liiga lihtne alahinnata. Mudeli versioon muutub. Otsinguindeksit värskendatakse. Päringumalli muudetakse. Läviväärtus liigub. Tarnija muudab ülemist taksonoomiat. Meeskond lisab uue dokumendiallika. Juht laiendab töövoogu soovituselt otsusele, sest piloot läks hästi ja kalendrid olid täis. Iga muudatus võib tunduda väike. Koos võivad nad viia süsteemi väljapoole selle ohutusjuhtumit.
Ohutustehnika käsitleb muutust kui riskihetke. Mitte sellepärast, et muutus on halb, vaid sellepärast, et muutus rikub eeldusi. Tõsine AI vajab sama harjumust. Millist väidet see muudatus mõjutab. Millised ohud muutuvad tõenäolisemaks. Milliseid teste tuleb uuesti käivitada. Milliseid kasutajaid tuleb teavitada. Millised andmed säilitavad vana oleku. Milline tagasipööramise tee on olemas. Milliseid mõõdikuid tuleks pärast väljalaset jälgida. Kui vastus on, et keegi ei tea, pole muudatus väike. See on lihtsalt dokumenteerimata.
Versioonihaldus on selle distsipliini osa. Otsused peaksid teadma, milline mudel, päring, andmeallikas, poliitika, läviväärtus ja liidese versioon olid aktiivsed. Ilma versiooniandmeteta hindavad organisatsioonid eilset tegevust tänase nähtamatu konteksti põhjal. See ei ole vastutus. See on ajas rändamine tabeliga ja tabelitel on niigi piisavalt koormust.
Muudatuste haldamine kaitseb ka innovatsiooni. Meeskonnad saavad kiiremini areneda, kui nad teavad, kuidas muudatust ohjata. Variläbiviimine, astmeline kasutuselevõtt, kanaarirühmad, tagasipööramise kriteeriumid ja muudatusjärgne ülevaade võimaldavad organisatsioonil õppida ilma kogu töövoogu lootusrikka muudatuse peale panustamata. Ohutustehnika ei ole iteratsiooni vaenlane. See on põhjus, miks iteratsioon saab toimuda reaalsete inimeste ümber, kohtlemata neid testiobjektidena.
Lähedased õnnetused on kingitused, kui neid ei karistata
Ohutuskultuuris on lähedane õnnetus hinnaline. See on sündmus, mis oleks võinud kahju tekitada, kuid ei tekitanud, sageli juhuse, inimese otsustusvõime või tõkke sekkumise tõttu. Ka AI-operatsioonidel on lähedasi õnnetusi. Ülevaataja märkab vale soovitust. Kasutaja märkab puuduvat allikat. Mudel keeldub ülesandest, millele see oleks varem vastanud. Apellatsioon toob välja, et usalduslävi käitus ühe juhtumitüübi puhul halvasti. Need ei ole tüütused, mida varjata. Need on kõige odavamad õppetunnid, mida süsteem pakub.
Organisatsioonid raiskavad sageli lähedasi õnnetusi, kuna kohtlevad neid üksikute kõrvalekalletena. Töötaja oli hoolikas. Kasutaja oli segaduses. Mudelil oli imelik päev. Järjekord oli ebatavaliselt täis. Võib-olla. Kuid parem küsimus on see, mida lähedane õnnetus paljastab süsteemi disaini kohta. Kas tõenduspaneel oli liiga nõrk. Kas allikas oli aegunud. Kas ülekirjutamise tee oli ebaselge. Kas lävi oli häälestatud valele populatsioonile. Kas ülevaataja oli ajasurve all. Kas mudelit kasutati väljaspool selle ulatust.
Aruandlus peab olema lihtne ja ohutu. Kui lähedasest õnnetusest teatamine loob karjääriohu või haldusliku piina, hoiavad inimesed õppetunni endale. See ei ole sellepärast, et inimesed on vastutustundetud. See on sellepärast, et nad on ratsionaalsed ja neil on meil. Hea aruandlustee on tööle lähedal, kiiresti kasutatav, selge vastutusega ja ühendatud nähtavate muudatustega. Inimesed teatavad rohkem, kui aruannetel on tähtsust.
Lähedased õnnetused vajavad ka analüüsi, mis läheb kaugemale keskmistest. Mõned tõsised lähedased õnnetused ühes alarühmas võivad kaduda üldise tulemuslikkuse sees. Haruldane äärejuhtum võib kanda suuri tagajärgi. Korduv väike tõrge võib viidata triivile. Ohutustehnika õpetab, et intsidentide andmed ei ole ainult arv. Need on kaart sellest, kus eeldused kohtuvad reaalsusega ja kaevavad.
Inimfaktorid ei ole pehmus
Ohutustehnika võtab inimfaktoreid tõsiselt, sest inimesed ei käitu nagu poliitikadokumendid. Nad väsivad. Nad kohanevad. Nad kiirustavad. Nad jätavad vahele samme, mis tunduvad kasutud. Nad järgivad vaikimisi valikuid. Nad usaldavad viimistletud liideseid. Nad väldivad aruandlust, kui aruandlus neid karistab. Nad loovad alternatiivseid lahendusi, kui ametlik tee on võimatu. See ei ole küünilisus. See on operatiivne kirjaoskus.
AI-süsteemid võimendavad inimfaktoreid, sest masin kõlab sageli enesekindlalt. Rohelise märgisega soovitus, genereeritud selgitus ja vaikimisi aktsepteerimisnupp võivad luua autoriteedi enne, kui keegi on teinud tegeliku otsuse. Kui organisatsioon mõõdab läbilaskevõimet rangelt, õpib inimene ahelas kiiresti, mida ahel tegelikult tahab. Inimesed loevad stiimuleid suurepäraselt. Nad ei vaja memot.
Seetõttu peab disain sisaldama head hõõrdumist. Tõendid peaksid olema nähtavad seal, kus otsuseid tehakse. Ebakindlus peaks olema konkreetne, mitte üldsõnaline. Ülekirjutamine peaks olema võimalik ja normaalne. Suure mõjuga toimingud peaksid nõudma selgesõnalist tegu. Ülevaatusjärjekorrad peaksid olema mõõdetud tegeliku töö järgi, mitte fantaasia järgi, et tähelepanu on lõpmatu. Koolitus peaks kasutama reaalseid juhtumeid, sealhulgas ebamugavaid äärejuhtumeid, mitte päikeselisi näiteid, mis panevad kõiki kahekümneks minutiks võimekana tundma.
Inimfaktorid tähendavad ka seda, et ohutu käitumine tuleb muuta lihtsamaks kui ohtlik käitumine. Kui õige tee on aeglane, peidetud või sotsiaalselt karistatud, on organisatsioon kujundanud süsteemi ohutuse vastu, rääkides samal ajal ohutusest. Ohutustehnika õpetab siin ühe otsekohese õppetunni: süsteemid õpetavad käitumist. Liidesed, mõõdikud, järjekorrad ja stiimulid õpetavad usaldusväärsemalt kui plakatid.
Iseseisvus on oluline
Ohutuskriitilistes valdkondades eraldatakse rollid sageli. Inimene, kes süsteemi ehitab, ei ole ainus, kes riski vastu võtab. Meeskond, kes süsteemi käitab, ei ole ainus meeskond, kes tõsiseid juhtumeid uurib. Tarnija väide ei ole sama mis sõltumatu tõend. Ka AI vajab seda eraldatust, mõõdetuna tagajärgede järgi. Iseseisvus ei ole kahtlustamine. See on kontroll selle vastu, et kõik tahavad käivitamist nii väga õnnestunuks, et nõrgad tõendid hakkavad piisavana tunduma.
Sõltumatu ülevaatus võib olla mitmesugune. Teine meeskond vaatab üle ohuanalüüsi. Valdkonna omanik kinnitab lubatud kasutuse. Turvameeskond testib juurdepääsuteid. Andmeomanik kontrollib allika kvaliteeti. Vastavusmeeskond kontrollib tõendite registreid. Väline audiitor valib valimi otsustest. Kasutajad osalevad kasutatavuse testimises. Asi ei ole teatri lisamises. Asi on anda ohutusjuhtumile inimesed, kellel on lubatud ebamugav olla.
Iseseisvus kehtib ka seire kohta. Tarnija armatuurlaud võib olla kasulik, kuid kriitilised tõendid ei tohiks sõltuda täielikult hinnatavast tarnijast. Logid, otsuste registrid, hindamistulemused ja juhtumiaruanded peaksid olema organisatsiooni kontrolli all seal, kus kohustus seda nõuab. Kui ainus ohutuse tõend on armatuurlaud, mida ei saa sõltumatult taasesitada, küsib süsteem usaldust seal, kus see peaks tõendeid pakkuma.
Õige iseseisvuse tase sõltub riskist. Mustandiabiline ei vaja tuumajaama masinavärki, lause, mis peaks lohutama kõiki, sealhulgas tuumajaamu. Kuid suure mõjuga AI-d ei tohiks ohutuks tunnistada sama entusiasm, mis selle käivitas. Ohutustehnika teab seda. AI-juhtimine õpib veel, mõnikord väga enesekindlate slaidikomplektidega.
Mida tõsine AI endaga kaasa võtab
Tõsine AI laenab ohutustehnika harjumuse muuta ebaõnnestumine konkreetseks. Nimetage oht. Paigutage kontrollid rohkem kui ühte kihti. Kujundage rikketurvalised olekud. Koostage ohutusjuhtum tõenditega. Käsitlege muutust riskihetkena. Õppige lähedastest õnnetustest. Austage inimfaktoreid. Säilitage sõltumatud registrid. Andke inimestele volitus süsteem peatada, parandada ja täiustada.
Ükski sellest ei pane AI-riski kaduma. Ohutustehnika ei luba maailma ilma ebaõnnestumisteta. See lubab maailma, kus ettenähtavat ebaõnnestumist võetakse tõsiselt enne, kui sellest saab pealkiri, kus kontrollid on testitud, kus tõendid säilivad ja kus organisatsioon õpib, mitte lihtsalt vabandab parema kujundusega.
Kollane joon tehasepõrandal polnud keerukas. See oligi mõte. See tegi piiri nähtavaks, ühendas piiri juhtimisega ja andis masinale ohutuma reaktsiooni, kui loota, et külastaja mäletab infotundi. AI vajab rohkem seda lihtsat distsipliini. Mitte vähem ambitsiooni. Paremaid piire ambitsioonile.
Alati leidub süsteeme, mis kõlavad ohutult, sest nad oskavad viisakalt end selgitada. Tõsised süsteemid on ohutumad, sest nad teavad, millal viisakusest ei piisa. Nad peatuvad, suunavad, salvestavad, taastuvad ja õpivad. See ei ole loosung. See on masinaohutuse distsipliin, mida ohutustehnika on kogu aeg pakkunud.