Stroj stavu za zodpovednou AI
Formulár, ktorý sa nespustil
Prvý workshop o zodpovednej umelej inteligencii sa často končí formulárom. Formulár je zvyčajne pekný tak, ako vnútorné formuláre vedia byť pekné, keď výbor objaví medzery. Pýta sa na účel, vplyv, dáta, riziko, zaujatosť, ľudský dohľad, závislosť od dodávateľa, uchovávanie a eskaláciu. Ľudia ho vyplnia starostlivo. Zaškrtne sa políčko. Rada prikývne. Projekt sa posunie vpred. Niekde dostane priečinok ďalší dokument a začne si o sebe o niečo viac myslieť.
O tri mesiace neskôr je systém v prevádzke a formulár už nie je tam, kde sa deje dianie. Príde žiadosť o podporu s chýbajúcimi poľami. Model vráti sebavedomú odpoveď so slabými dôkazmi. Volanie nástroja by aktualizovalo záznam o zákazníkovi. Politika sa zmení medzi návrhom a konečnou akciou. Ľudský recenzent je chorý. Index vyhľadávania je zastaraný. Navrhne sa nový zdroj dát, pretože by to bolo pohodlné, a takto sa mnohé zlé nápady zdvorilo predstavia.
V tej chvíli zodpovedná umelá inteligencia nie je princíp. Je to prechod stavu. Systém je v jednom stave a chce sa presunúť do iného. Návrh na rozhodnutie. Nápad na akciu. Nízky vplyv na vysoký. Interná pomôcka na externú komunikáciu. Preskúmané na vykonané. Povolené na zablokované. Dočasná výnimka na trvalú cestu, ak sa nikto nepozerá. Otázkou je, či má prechod strážcu, záznam, vlastníka a cestu von.
Toto je stavový stroj za zodpovednou umelou inteligenciou. Nie preto, že by sa etika dala zredukovať na políčka a šípky. To by bolo zvláštne presvedčenie a ešte zvláštnejšie by bolo si ho osvojiť. Ide o niečo jednoduchšie. Seriózne systémy už prechádzajú stavmi. Ak tieto stavy nemajú mená, model sa bude stále pohybovať, pracovný postup bude stále napredovať a organizácia objaví svoje riadenie náhodou. Pomenovať stavy nie je byrokratická úzkostlivosť. Je to spôsob, ako zodpovednosť získa podobu za behu.
Prečo princípy potrebujú hranice
Princípy sú užitočné na začiatku, pretože dávajú smer. Spravodlivosť, transparentnosť, zodpovednosť, súkromie, bezpečnosť, ľudská agentúra, robustnosť, napadnuteľnosť. Tieto slová nie sú prázdne. Nie sú však ani samy osebe vykonateľné. Systém nemôže za behu zavolať princíp a opýtať sa, či je ďalšia akcia povolená. Vývojár môže napísať výzvu, ktorá hovorí buď spravodlivý, ale pracovný postup stále potrebuje vedieť, kedy zastaviť, kedy sa opýtať, kedy zaznamenať a kedy odmietnuť.
Okraje sú miesta, kde sa zásady stávajú užitočnými. Zásada spravodlivosti sa stáva požiadavkou, aby určitá kategória rozhodnutí prešla hodnotením na úrovni skupiny pred zverejnením a po zverejnení vytvorila kódy dôvodov na úrovni prípadu. Zásada transparentnosti sa stáva potvrdenkou, ktorá uvádza zdroje, verziu modelu, verziu politiky a úlohu človeka. Zásada súkromia sa stáva ochranou, ktorá odmieta vyhľadávanie mimo účelu, uchovávania, súhlasu alebo právneho základu. Zodpovednosť sa stáva stavom, ktorý nemôže napredovať bez vlastníka. Námietnosť sa stáva odvolacou cestou, ktorá existuje pred prvou sťažnosťou, nie až po prvom telefonáte do novín.
Bez okrajov sa zodpovedná AI stáva súborom prídavných mien okolo systému, ktorý sa stále správa tak, ako to pracovný postup dovoľuje. Tím môže úprimne veriť, že má ľudský dohľad, pretože človek sa môže pozrieť na výstupy. Ale ak systém môže konať skôr, než táto osoba videla dôkazy, dohľad je len ozdobou. Tím môže veriť, že má transparentnosť, pretože model sa vysvetľuje. Ale ak vysvetlenie nemožno spojiť so zdrojmi a stavom, transparentnosť sa zmenila na divadlo. Tím môže veriť, že je v bezpečí, pretože model odmieta nebezpečné výzvy. Ale ak brána nástrojov udeľuje široké oprávnenia, odmietnutie je len jednými dverami v dome s veľmi nadšenými oknami.
Stavový automat nie je náhradou za úsudok. Je to spôsob, ako zabezpečiť, aby sa úsudok niekde prejavil. Núti tím odpovedať na praktické otázky. V akom stave je tento prípad. Ktoré prechody sú odtiaľto možné. Aké dôkazy sa vyžadujú. Ktorá rola môže schváliť. Ktorý prechod je nezvratný. Ktorý prechod vytvára záznam. Ktorý prechod vytvára povinnosť informovať, uchovávať, vymazať alebo eskalovať. Tieto otázky sú menej poetické ako vyhlásenia o hodnotách. Je tiež ťažšie sa im vyhnúť.
Skrytý automat existuje vždy
Každý pracovný postup AI už má stavový automat, aj keď ho nikto nenakreslil. Skrytá verzia žije v stavoch tiketov, stĺpcoch tabuliek, frontoch opakovaní, vetvách výziev, návykoch recenzentov, správach Slack, databázových príznakoch, tabuľkách výnimiek a v pamäti toho jedného človeka, ktorého sa každý pýta, pretože tam bol, keď sa pilot uskutočnil. Toto nie je očarujúca distribuovaná architektúra. Je to inštitucionálny folklór s oneskorením.
Skrytý automat je nebezpečný, pretože vytvára zdanie kontroly, zatiaľ čo presúva zodpovednosť na miesta, ktoré nemožno preskúmať. Výzva môže hovoriť, že citlivé prípady by sa mali eskalovať, ale front nemusí uchovať dôvod. Systém prípadov môže zobrazovať schválené, ale nie to, či sa schválenie vzťahovalo na odpoveď modelu, volanie nástroja alebo externú komunikáciu. Recenzent môže odmietnuť výstup, ale odmietnutie sa nemusí nikdy dostať do hodnotiaceho súboru. Prípad môže byť uzavretý, ale odvodené údaje môžu stále žiť v úložisku funkcií. Model môže byť nahradený, ale čakajúce prípady môžu stále niesť výstup zo staršej verzie. Systém sa pohybuje; záznam za ním pokrivkáva v kravate.
Spraviť stavový automat explicitným nevyžaduje premeniť organizáciu na laboratórium formálnych metód. Vyžaduje si to dostatok disciplíny na oddelenie stavov, ktoré majú rôzne povinnosti. Koncept nie je preskúmaný. Preskúmané nie je vykonané. Vykonané nie je uzavreté. Uzavreté nie je vymazané. Vymazané nie je archivované. Blokované politikou nie je zlyhané infraštruktúrou. Vyžaduje ľudský úsudok nie je nízka spoľahlivosť. Podozrenie na incident nie je potvrdený incident. Tieto rozdiely znejú obyčajne, kým audit neopýta sa, ktorý z nich sa stal, kedy a prečo.
Pomenované stavy tiež zastavujú bežné zlyhanie automatizácie: plynulý prechod od asistencie k rozhodovaniu. Systém začne ako pomôcka pri písaní. Ľudia mu dôverujú. Návrh sa stane predvoleným. Predvolené sa stane odporúčaním. Odporúčanie sa stane akciou. Nikto nehlasoval za plnú automatizáciu. Nikto nenavrhol nový povrch zodpovednosti. Prechod nastal prostredníctvom pohodlia, ktoré je najúspešnejším lobistom v softvéri. Stavový automat môže prinútiť tento krok, aby sa stal viditeľným.
Stráženia nie sú pocity
Prechod potrebuje stráženie. Stráženie je podmienka, ktorá musí byť splnená, kým sa systém môže pohnúť. V bežnom softvéri to môže byť booleovská kontrola, vyhodnotenie politiky, hranica povolení, výsledok validácie alebo ľudský súhlas. V zodpovednej umelej inteligencii je to tiež miesto, kde sa inštitucionálne sľuby stávajú operačnými. Stráženie sa pýta, či je účel povolený, či sú dáta v rozsahu, či má výstup dostatok dôkazov, či je model schválený na toto použitie, či je akcia vratná, či má osoba právomoc, či sú náklady ohraničené a či má dotknutý používateľ cestu späť.
Praktický trik spočíva v tom, aby stráženia zostali blízko prechodu, ktorý chránia. Ak stráženie žije len v dokumente politiky, runtime naň zabudne pôsobivou rýchlosťou. Ak žije len v prompte, bude sa ťažko testovať a ľahko obchádzať. Ak žije len v ľudskom zvyku, zlyhá počas chorých dní, sviatkov, reorganizácií a v týždni, keď sa všetci snažia vydať produkt. Dobré stráženie je dostatočne explicitné na testovanie a dostatočne lokálne na to, aby malo význam.
To neznamená, že každé stráženie musí byť automatizované. Niektoré stráženia sú ľudské, pretože otázka je skutočne kontextová. Ale aj ľudské stráženia potrebujú stav. Recenzent by mal vidieť dôkazy, platnú politiku, klasifikáciu rizika, navrhovanú akciu a dôsledky schválenia. Systém by mal zaznamenať rozhodnutie ako prechod, nie ako komentár, ktorý budúca archeológia možno objaví alebo nie. Ľudský dohľad bez zmeny stavu je často len stretnutie s používateľským rozhraním.
Existuje tiež nudný, ale dôležitý bod o negatívnych stráženiach. Zodpovedná umelá inteligencia nie je len o zodpovednom hovorení áno. Je o jasnom hovorení nie. Nie, pretože chýba účel. Nie, pretože zdroj je zastaraný. Nie, pretože model je mimo svojej schválenej domény. Nie, pretože používateľ nemá právomoc. Nie, pretože sa vyžaduje ľudské preskúmanie. Nie, pretože akcia je príliš závažná na dostupné dôkazy. Odmietnutie s dôvodom je lepší stav systému ako vágne zlyhanie, ktoré vyzýva na opakované pokusy, kým sa niečo nepohne.
Stavy robia zodpovednosť priraditeľnou
Jedným z dôvodov, prečo sa zodpovednosť za AI stáva hmlistou, je, že sa o nej diskutuje na úrovni celého systému. Zodpovedná je organizácia. Zodpovedný je dodávateľ. Zodpovedný je vlastník produktu. Zodpovedný je poverenec pre ochranu osobných údajov. Zodpovedný je model, čo je slovné spojenie, pri ktorom by právnik musel hľadieť do stropu a zbierať sily. Počas prevádzky potrebuje zodpovednosť menšiu rukoväť.
Stavy túto rukoväť vytvárajú. Počas príjmu môže byť za účel a rozsah zodpovedný vlastník služby. Počas vyhľadávania môže byť za kvalitu zdroja a povolenia zodpovedný vlastník údajov. Počas generovania modelom môže byť za schválené verzie a nastavenia zodpovedný technický vlastník. Počas kontroly môže byť za úsudok zodpovedná ľudská rola. Počas akcie môže byť za vonkajšie účinky zodpovedný vlastník pracovného postupu. Počas uzavretia môže byť za uchovávanie a výmaz zodpovedné riadenie záznamov. Konkrétna mapa sa bude líšiť, ale princíp platí: zodpovednosť sa lepšie viaže na prechody ako na hmlu.
To je dôležité, keď sa niečo pokazí. Ak bol výstup zlý, pretože zdroj bol zastaraný, stavový automat by mal ukázať, kde sa aktuálnosť kontrolovala alebo kde sa kontrola vynechala. Ak človek schválil rizikovú akciu, záznam by mal ukázať, aké dôkazy videl. Ak sa zmenila politika, čakajúce prípady by mali odhaliť, ktorá verzia sa na ne vzťahovala. Ak bol model aktualizovaný, prechody cez hranicu vydania by mali byť kontrolovateľné. Nejde o to nájsť vinníka rýchlejšie. Ide o to, aby bola oprava možná bez predstierania, že celý systém zlyhal jedným nediferencovaným pokrčením pliec.
Priraditeľná zodpovednosť zlepšuje aj každodennú prácu. Tímy vedia, ktorý stav vlastnia. Metriky sú menej divadelné. Namiesto vyhlasovania, že program zodpovednej AI je zrelý, môže organizácia merať blokovanie zastaraných zdrojov, odmietnutia pre chýbajúci účel, prekonané kontroly, výsledky odvolaní, prechody pri incidentoch a oneskorenia pri uzatváraní. To sa na lesklý slajd príliš nehodí. Na prevádzku systému sa to hodí oveľa viac.
Zlé stavy si zaslúžia vlastné mená
Väčšina zlyhaní zodpovednej AI nie je zloduchovská. Sú to obyčajné stavy so zlými menami alebo bez mien. Návrh odpovede sa považuje za konečnú odpoveď. Dočasná výnimka sa stane trvalou cestou. Výstup s nízkou spoľahlivosťou sa stane akciou s vysokým dosahom, pretože pracovný postup nemal žiadny stredný stav. Model vidí údaje, ktoré vidieť nemal, pretože stav vyhľadávania nenesie účel. Ľudský kontrolór sa stane pečiatkou, pretože stav nazvaný kontrola nevyžadoval dôkazy ani zaznamenanie nesúhlasu.
Dať zlým stavom vlastné mená je nepríjemné a užitočné. Tichý návrh. Rozširovanie rozsahu. Zastaraný zdroj. Chýbajúci vlastník. Neskontrolovaný úkon. Bez východiska. Toto samé o sebe nie sú koreňové príčiny, ale sú to miesta, kam umiestniť kontroly. Systém dokáže odhaliť tichý návrh, keď sa vygenerovaný text skopíruje do externej komunikácie bez schválenia. Dokáže odhaliť rozširovanie rozsahu, keď pracovný postup požiada o zdroj mimo deklarovaného účelu. Dokáže odhaliť zastaraný zdroj, keď je citácia staršia, než politika povoľuje. Dokáže odhaliť stav bez východiska, keď zablokované prípady ležia večne, pretože nikto nenavrhol humánne odmietnutie.
Tento návyk tiež bráni morálnemu preháňaniu. Nie každé zlyhanie je etická kríza. Niekedy je to stav fronty bez vlastníka. Niekedy je to stav uchovávania, ktorý nikto neprepojil s výmazom. Niekedy je to prah spoľahlivosti, ktorý sa tvári ako úsudok. Pomenovanie stavu umožní tímu opraviť mechanizmus. Bez mien sa z každého incidentu stane debata o kultúre. Kultúra je dôležitá, ale je chabou náhradou za vedomosť o tom, ktorý prechod zlyhal.
Je v tom suchá komédia, keď organizácie pociťujú strach zo slovného spojenia stavový automat, pretože znie príliš technicky, a pritom veselo prevádzkujú bludisko schvaľovacích e-mailov, statusov v tabuľkách a výnimiek známych len trom ľuďom a jednej pozvánke do kalendára. Formálna verzia je často jednoduchšia. Len má tú nezdvorilosť byť viditeľná.
Dôkazy patria na prechod
Ak má mať stavový automat zmysel, potrebuje dôkazy. Záznam by nemal len tvrdiť, že prípad bol schválený. Mal by uviesť, čo spustilo prechod, ktorá ochrana sa vyhodnocovala, aké údaje sa použili, ktoré verzie modelu a politiky platili, kto alebo čo schválil, aký účinok nasledoval a ako možno prípad prehrať alebo napadnúť. Dôkazy nie sú ozdobou po akcii. Sú súčasťou toho, aby sa akcia stala zodpovednou.
Toto je obzvlášť dôležité pre AI, pretože výstupy môžu byť presvedčivé, zatiaľ čo ich cesta je krehká. Súhrn môže byť správny, ale založený na zdroji, ku ktorému používateľ nemal povolený prístup. Odporúčanie môže byť rozumné, ale mimo schváleného použitia modelu. Klasifikácia môže byť presná, ale vytvorená po termíne politiky. Odmietnutie môže byť bezpečné, ale právne nepomôže, ak neponúka žiadnu cestu k náprave. Samotná odpoveď vám tieto veci nepovie. Záznam o prechode áno.
Dobré dôkazy tiež dávajú tímom odvahu automatizovať tam, kde je automatizácia vhodná. Zodpovedná AI nie je trvalé ospravedlnenie za používanie strojov. Ak je úloha s nízkym dopadom, dobre ohraničená, reverzibilná, dostatočne otestovaná a správne zaznamenaná, automatizácia môže byť zodpovednou cestou. Ak je úloha s vysokým dopadom, sporná, nová alebo nezvratná, stavový automat by ju mal spomaliť. Nejde o to uctievať ľudskú kontrolu. Ide o to smerovať prácu podľa rizika, dôkazov a nápravy.
Dôkazy robia toto smerovanie menej politickým. Tím môže ukázať, že stav je bezpečný na automatizáciu, pretože predchádzajúce prechody boli presné, odvolania boli zriedkavé, opravy boli zapracované a kontroly zachytili správne prípady. Alebo môže ukázať, že stav si vyžaduje viac ľudského úsudku, pretože vzorce chýb zostávajú náročné, dotknutí ľudia spochybňujú výsledky alebo kvalita údajov je slabá. Toto je lepší argument ako bežné divadlo, kde jedna strana hovorí o inovácii a druhá o riziku, až kým všetci nepotrebujú kávu.
Ľudská kontrola je stav, nie gesto
Ľudská kontrola sa často spomína, akoby jej samotná existencia riešila zodpovednosť. Človek je v slučke. Dobre. V ktorej slučke. V akom stave. S akými dôkazmi. S akou právomocou. Môže človek nesúhlasiť. Zmení nesúhlas systém. Je kontrola vzorková, povinná, spúšťaná rizikom, alebo len kozmetická. Vidí kontrolór zdrojový materiál, alebo len upratanú prózu modelu. Je čas na premýšľanie. Existuje školenie. Existuje záznam. Slovné spojenie človek v slučke by sa malo chápať ako otvorená otázka, nie ako záverečný argument.
Stavový automat robí ľudskú kontrolu konkrétnou. Dokáže rozlíšiť požadovanú kontrolu od voliteľnej, prebiehajúcu od dokončenej, zmenu výstupu človekom od jeho potvrdenia, potrebnú eskaláciu od dokončenej. Dokáže tiež rozlíšiť druh posudzovania. Niektoré kontroly overujú faktické používanie zdrojov. Niektoré overujú súlad s politikou. Niektoré overujú empatiu a tón. Niektoré overujú právnu právomoc. Niektoré overujú, či je výnimka opodstatnená. Jediné políčko s názvom schválené je na serióznu prácu len málokedy dostatočné.
Navrhovanie kontroly ako stavu tiež chráni ľudí pred tým, aby sa používali ako morálna výplň. Ak systém posiela každý nepríjemný prípad človeku bez dôkazov, priorizácie alebo spätnej väzby, človek sa stáva smetiskom neistoty. To nie je dohľad. To je personálny model s pridanou vinou. Zodpovedný stav kontroly zabalí prípad, pomenuje požadované rozhodnutie, zachová nesúhlas a vracia výsledky späť do vyhodnocovania. Dáva človeku prácu hodnú človeka.
Platí to aj naopak. Niektoré systémy používajú ľudskú kontrolu tam, kde by bola lepšia a láskavejšia poistka. Ak prípad nemá právny základ, neposielajte ho kontrolórovi, aby to zistil manuálne. Zablokujte ho. Ak je zdroj zastaraný, obnovte ho alebo odmietnite. Ak používateľ nemá právomoc, povedzte mu to. Ľudia by mali riešiť posudzovanie, nie nahrádzať chýbajúcu infraštruktúru. Desiatky rokov sme vymýšľali stroje. Bolo by neslušné nútiť ľudí, aby sa správali ako validačné skripty.
Nevratnosť mení stroj
Nie všetky prechody sú rovnaké. Niektoré sú vratné. Koncept možno upraviť. Trasu možno zmeniť. Odporúčanie možno stiahnuť. Iné prechody sa vracajú ťažšie: správa je odoslaná, dávka zamietnutá, rizikový príznak zmení poradie vo fronte, záznam je aktualizovaný, človek je nahlásený, platba je vykonaná, zákazník je uzamknutý. Zodpovedná AI musí vedieť, ktoré prechody prekračujú hranicu do reálneho sveta.
Nevratnosť by mala zmeniť strážcu. Systém by mal pred nevratnými účinkami vyžadovať viac dôkazov, silnejšiu autoritu, jasnejší ľudský úsudok, lepšie upozornenie a viditeľnejšiu cestu odvolania. Mal by tiež uprednostňovať postupné prechody, kde je to možné. Návrh pred odoslaním. Odporúčanie pred rozhodnutím. Pozdržanie pred odmietnutím. Upozornenie pred vymáhaním. Preskúmanie pred hlásením. Toto nie je pomalosť pre samu seba. Je to rozdiel medzi systémom, ktorý sa vie opraviť, a systémom, ktorý vytvára upratovaciu prácu so sebavedomou tvárou.
Stavový automat pomáha aj pri čiastočnej vratnosti. Niektoré škody sa dajú opraviť technicky, ale nie spoločensky. Nesprávne interné zhrnutie sa dá opraviť. Nesprávne externé obvinenie môže pretrvávať aj po oprave. Oneskorený prínos sa dá vyplatiť neskôr, ale nájomné bolo splatné skôr. Odstránený záznam sa dá niekedy obnoviť, ale dôvera už nie. Automat by mal tieto prechody brať s vážnosťou ich ľudského dopadu, nielen ich databázového rollbacku.
Tu sa zodpovedná AI vymaní z fantázie, že etika je oddelená od prevádzky. Prevádzkový detail je etický povrch. Dizajn frontu ovplyvňuje spravodlivosť. Politika opakovaných pokusov ovplyvňuje duplicitu. Správanie pri časovom limite ovplyvňuje prístup. Uchovávanie ovplyvňuje súkromie. Pracovné zaťaženie preskúmania ovplyvňuje dôstojnosť. Stavové prechody nie sú neutrálne potrubie. Sú to spôsoby, akými systém stretáva ľudí.
Vyhodnotenie ako dôkaz prechodu
Vyhodnotenie často stojí mimo pracovného toku, akoby to bola školská skúška pred absolvovaním systému. V zodpovednom stavovom automate sa vyhodnotenie stáva priebežným dôkazom prechodu. Každý prechod môže produkovať signály: ako často strážca blokoval, ako často ľudia prehlasovali, ako často sa odvolania podarili, ako často boli zdroje zastarané, ako často sa modelová dôvera nezhodovala s ľudským úsudkom, ako často údajne nízkoriziková cesta vytvorila sťažnosti.
Tieto signály by mali napájať automat. Prechod, ktorý produkuje opakované odvolania, môže potrebovať silnejšieho strážcu alebo jasnejšie upozornenie. Stav ľudského preskúmania s vysokou zhodou a nízkym dopadom môže byť oprávnený na väčšiu automatizáciu, pokiaľ náprava zostane skutočná. Stav odmietnutia, ktorý uväzňuje používateľov, môže potrebovať cestu opravy. Politický strážca, ktorý blokuje príliš veľa oprávnených prípadov, môže odhaliť zlú politiku, nie zlý model. Automat nie je zodpovedný, pretože je statický. Je zodpovedný, pretože sa vie učiť bez skrývania minulosti.
Toto učenie si vyžaduje verzovanie. Stavy, strážcovia, prahy, výzvy, modely, politiky, zdroje údajov a pokyny na preskúmanie sa menia. Záznam musí uviesť, ktorá verzia sa použila na ktorý prechod. Inak môže organizácia vyhodnotiť len polievku minulých rozhodnutí. Polievka má kulinárske využitie. Nie je to metóda riadenia, nech na nej pláva akokoľvek veľa dashboardov.
Verzovaný dôkaz prechodu tiež udržiava zlepšovanie čestné. Tím môže povedať, že nový strážca znížil neskontrolované akcie, ale zvýšil oneskorenie. Môže povedať, že nový zdroj zlepšil presnosť, ale zvýšil súkromné trenie. Môže povedať, že upgrade modelu zlepšil zhrnutia, ale oslabil disciplínu odmietania. Kompromisy nie sú zlyhania. Skryté kompromisy sú zlyhania čakajúce na pozvánku do kalendára.
Ponaučenie
Stavový automat za zodpovednou AI nie je výzvou na chladnejšie systémy. Je výzvou na systémy, ktoré vedia, čo robia, kým to robia. Pomenovaný stav nie je morálny úspech. Strážca nie je spravodlivosť. Potvrdenka nie je dôvera. Ale bez týchto vecí zostáva zodpovedná AI na úrovni zámeru a zámer má zlý záznam dostupnosti.
Zodpovedná AI potrebuje účel, autoritu, dôkazy, limity, ľudský úsudok, odvolanie, nápravu, uchovávanie a učenie sa. Tieto slová sa stávajú operačnými prostredníctvom stavov a prechodov. Rozhodujú o tom, kedy sa prípad posunie, kedy sa zastaví, kto ho vlastní, aký záznam sa vytvorí, aký opravný prostriedok existuje a čo by si mal systém zapamätať nabudúce. Toto nie je celá etika. Je to časť, ktorá dokáže zastaviť zlý čin skôr, než sa stane veľmi dobre zdokumentovanou ľútosťou.
Formulár na začiatku má stále hodnotu. Kladie správne úvodné otázky. Ale formulár musí viesť k stroju, ktorý beží: pomenované stavy, explicitné zábrany, trvalé dôkazy, skutočné preskúmanie a východy pre ľudí dotknutých systémom. Zodpovedná AI sa nepreukazuje existenciou politiky. Preukazuje sa, alebo vyvracia, pri prechode, kde systém rozhoduje o tom, čo sa stane ďalej.