Dweve

Mesterséges intelligencia biztonsága: rendszertervezés

A legpraktikusabb MI-biztonsági munka nem egy poszter az értékekről. Hanem a határok, állapot, bizonyítékok, tartalék, felügyelet és emberi tekintély...

Mesterséges intelligencia biztonsága: rendszertervezés

A biztonsági megbeszélés a demó után

A demó a szokásos módon jól sikerült. A modell elolvasott egy halom belső dokumentumot, megválaszolt egy szakpolitikai kérdést, javaslatot tett a következő lépésre, és tömör összefoglalót készített az ügyirathoz. A teremben bólogattak. Valaki megkérdezte, hogy csatlakoztatható-e a munkafolyamat-rendszerhez. Valaki más azt kérdezte, milyen hamar. Aztán a biztonsági tiszt megkérdezte, mi történne, ha a modell tévedne, de meggyőző lenne. A terem hirtelen nagyon érdeklődni kezdett a kekszek iránt.

Ezzel a kérdéssel kezdődik a gyakorlati MI-biztonság. Nem elvontan, és nem szlogenekben. Hanem a rendszer alakjában egy olyan modell körül, amely néha téved, néha elavult, néha túl magabiztos, néha nem elég magabiztos, és néha rossz okból helyes. A biztonsági kérdés nem csak a modell viselkedése. Hanem az, hogy a rendszer mit enged ennek a viselkedésnek.

Egy modell, amely mondatot fogalmaz, az egy kockázat. Egy modell, amely ellátási döntést frissít, az egy másik. Egy modell, amely írási hozzáféréssel hív meg egy eszközt, az egy harmadik. Egy modell, amely beteget irányít, igényt utasít el, hitelkeretet módosít vagy berendezést vezérel, teljesen más veszélyességi osztályba tartozik. Ugyanaz az alapmodell lehet ártalmatlan, hasznos, kockázatos vagy elfogadhatatlan attól függően, hogy milyenek a határok, az állapot, a bizonyítékok, a felhatalmazás, a megfigyelés és a helyreállítás. Ezért a MI-biztonság többnyire rendszertervezés.

A „többnyire” szó sokat tesz ebben a mondatban. A modellkutatás számít. Az adatminőség számít. Az összehangolási módszerek számítanak. Az értékeléstudomány számít. De amikor egy szervezet bevezeti a MI-t, a biztonság működési kérdéssé válik. Ki kérdezhet. Mit láthat a modell. Mit módosíthat. Milyen bizonyíték szükséges. Milyen állapot marad meg. Mi történik, ha a források ellentmondanak. Mikor kell embernek jóváhagynia. Hogyan észleljük az eltérést. Hogyan vonunk vissza egy rossz kiadást. Ezek tervezési kérdések, mielőtt etikai nyilatkozatok lennének. Az etikai nyilatkozat lehet őszinte. A rendszer nem hajtja végre az őszinteséget.

Ugyanaz a modell nagyon különböző kockázati osztályokba tartozhat. A rendszer határa dönti el, milyen messzire juthat el egy hiba.

A biztonság vezérlési probléma

Amikor az emberek a biztonságot hallják, gyakran az értékekre, a tanítóadatokra, a visszautasítási szabályzatokra és a modell-összehangolásra gondolnak. Ezek a kép részei, de egy élesben működő rendszernek vezérlésekre is szüksége van. A vezérlés olyasvalami, ami megváltoztatja, hogy mi történhet: hozzáférés-ellenőrzés, séma, időtúllépés, küszöbérték, emberi jóváhagyás, homokozó, sebességkorlát, ellenőrző, visszagörgetés, vészkapcsoló, olyan nyilvántartás, amelyet a kiszolgálási út nem szerkeszthet. A vezérlések unalmasak, amíg hiányoznak. Aztán az egész megbeszélés témájává válnak.

Egy biztonságos MI-rendszer abból indul ki, hogy a modell hibázhat, és ennek megfelelően tervezi meg a környező mechanizmusokat. Különválasztja a javaslatot a végrehajtástól. Korlátozza az eszközök jogosultságait. Ellenőrzi a bizonyítékokat az állapotváltozások előtt. Láthatóvá teszi a bizonytalanságot. Naplózza a modell verzióját és a források körét. Megtagadja a műveletet, ha kötelező mezők hiányoznak. Lehetőséget ad a kezelőknek az automatizálás szüneteltetésére. A modell kimenetét jelöltnek tekinti, nem pedig egy nagyon artikulált táblázatkezelő parancsának.

Ez hétköznapi biztonságtechnikai tervezés, csak épp egy nyelvi modell van a közepén. A légi közlekedés, az orvostudomány, a vasút, az ipari vezérlés és a pénzügy mind megtanulta, hogy a fontos rendszereknek rétegzett védelemre van szükségük, mert egyetlen alkatrész sem tökéletes. Az AI-változat azért tűnik újnak, mert az alkatrész beszél. A beszéd társadalmilag meggyőzővé teszi a hibát. Egy nyugodt hangon elmondott rossz válasz könnyebben becsúszhat egy fáradt kezelő mellett, mint egy villogó piros hibaüzenet. Ezért a védelmi tervezésnek makacsabbnak kell lennie, mint a szövegnek.

A vezérlés tervezése azzal kezdődik, hogy megkérdezzük, mire lehet hatással a rendszer. Ha az AI csak vázlatot készít, a biztonság a forrás minőségére, a hallucinációellenőrzésekre, a felhasználói felület áttekinthetőségére és a felülvizsgálatra összpontosít. Ha munkát irányíthat, a biztonság kiegészül az állapotkövetéssel, a feldolgozási sor integritásával, a szolgáltatási szintekkel és a fellebbezési lehetőségekkel. Ha eszközöket hívhat meg, a biztonság kiegészül az engedélyezési körökkel, az argumentumok ellenőrzésével, a tranzakciós naplókkal és a kompenzáló intézkedésekkel. Ha jogokat vagy fizikai rendszereket érinthet, a biztonság bizonyítékot, hivatalos felülvizsgálatot, korlátozott autonómiát és komoly incidenskezelési tervezést követel meg. A modell csak az egyik rész. A felhatalmazási keret a másik.

A határ maga a termék

A mesterséges intelligencia rendszerekben a legfontosabb vonal gyakran nem látható a felületen. Ez a határ az olvasás és az írás, az ajánlás és a döntés, az összefoglalás és a rögzítés, a segítés és a cselekvés között. A gyenge határok teszik lehetővé, hogy az ártalmatlan prototípusokból veszélyes szolgáltatások váljanak. Egy modell, amely fogalmazási segédként indul, kap egy gombot a fogalmazvány alkalmazására. Ezután kap egy eszközt az ügy frissítésére. Majd kap egy útválasztási szabályt, mert a csapat elfoglalt. Hat hónappal később senki sem tudja megmagyarázni, mely döntések automatizáltak, és melyek csupán segítettek. Ez nem rosszindulat. Ez a feladatkör-terjeszkedés kényelmes cipőben.

A jó határok explicit módon meghatározottak és ellenőrizhetők. A modell elolvashatja ezeket a forrásokat, azokat nem. Javasolhatja ezeket a mezőket, de nem rögzítheti őket. Meghívhatja ezt az eszközt ezekkel az argumentumokkal, nem tetszőleges szöveggel. Továbbíthatja az alacsony kockázatú eseteket, a vitatott eseteket nem. Csak akkor válaszolhat, ha a bizonyítékok naprakészek. Nem használhat fel privát jegyzeteket nyilvános magyarázatokhoz. Nem léphet át egyik bérlőből, régióból, fiókból vagy jogalapból a másikba csak azért, mert a következő bekezdés hasznosnak tűnt.

Határokat a modellen kívül is érvényesíteni kell. Egy utasítás, amely azt mondja, hogy ne írjon az ügyféladatbázisba, nem határ, ha az eszköz rendelkezik írási jogosultsággal, és nincs átjáró. Egy rendszerüzenet, amely azt mondja, hogy hivatkozzon forrásokra, nem határ, ha a válaszok hivatkozások nélkül is tárolhatók. Egy szabályzatpont, amely azt mondja, hogy emberi jóváhagyás szükséges, nem határ, ha a munkafolyamat lehetővé teszi, hogy az automatizálás jóváhagyottként jelölje meg. A modellen belüli biztonsági utasítások hasznosak, de nem elegendőek. A rendszernek meg kell nehezítenie vagy lehetetlenné kell tennie a nem biztonságos utakat.

Ez az a romantikátlan munka, amely valójában védi az embereket. Gépelt eszközhívások. Szűk hatókörök. Írásvédett alapértelmezések. Külön jóváhagyási szolgáltatások. Idempotens műveletek. Auditnaplók. Verziózott szabályzatok. Üzenetsor-állapotok. Explicit elutasítási állapotok. A szókincs úgy hangzik, mintha egy backend-mérnök egy csendes hétvégét töltött volna egy jegyzettömbbel. Jó. A biztonság éles környezetben általában így néz ki. Nem próbál szlogenversenyt nyerni.

A biztonsági rétegeknek kikényszeríthetőnek kell lenniük. Egy modell együttműködhet egy határral, de a rendszernek továbbra is tartania kell a határt.

Az állapot az, ahol a biztonság valósággá válik

Az AI-beszélgetések azt a látszatot kelthetik, hogy a rendszerek állapot nélküliek. A felhasználó kérdez, a modell válaszol, a képernyő változik. A termelés nem állapot nélküli. Az ügyek mozognak. A jegyek öregszenek. Az engedélyek lejárnak. A dokumentumokat javítják. Egy modellverzió megváltozik. Egy ember felülbírál egy ajánlást. Egy fellebbezés érkezik. Egy felhasználó megkérdezi, miért történt valami a múlt hónapban. A biztonság attól függ, hogy a rendszer megőrizte-e a válaszadáshoz szükséges állapotot.

Az állapot megmondja a rendszernek, hogy mi már megtörtént, és mi történhet ezután. Enélkül a modell egy szeletet lát, és kitalálja a többit. Így történnek meg a duplikált műveletek, tűnnek el a határidők, feltételeznek jóváhagyásokat, és kerülnek vissza régi bizonyítékok egy új döntésbe. Egy biztonságos munkafolyamat explicit állapotokat rögzít: piszkozat, hiányzó bizonyíték, szabályzat által blokkolt, felülvizsgálat szükséges, jóváhagyott, végrehajtott, megtámadott, javított, visszahívott. Ezek az állapotok nem dekoratívak. Megakadályozzák, hogy a modell egy jelentőségteljes folyamatot úgy kezeljen, mint egy ambíciókkal teli csevegési átiratot.

Az állapot az embereknek is befolyást ad. Egy kezelő megvizsgálhatja, miért van egy ügy felülvizsgálat alatt. Egy vezető láthatja, hogy az automatizálás hátralékot hoz-e létre. Egy auditor visszajátszhatja, melyik forrásverziók voltak aktívak. Egy felhasználó megtámadhat egy eredményt valami szilárdabbal, mint egy képernyőkép. Egy fejlesztő mérheti, hogy egy új modell növeli-e az elutasítást, az eszkalációt vagy az átdolgozást. Állapot nélkül minden biztonsági beszélgetés színházzá válik. Az emberek felelősségről beszélnek, de a rendszer elvesztette a főneveket.

Az AI esetében az állapotnak tartalmaznia kell a modell- és szabályzatverziót, a prompt- vagy sablonazonosítót, a forráskészletet, a lekérési időbélyeget, a tool-hívásokat, a bizalmat vagy bizonytalanságot, az elutasítás okát, az emberi műveletet és a downstream hatást. Nem mindez tartozik egyetlen naplósorba, és nem is mindennek kell mindenki számára láthatónak lennie. Az adatvédelem és a biztonság számít. De az információnak ellenőrzött hozzáférés mellett léteznie kell. Ellenkező esetben a biztonság a memóriától függ, a memória pedig híresen rossz adatbázis, kiváló kifogásokkal.

A bizonyíték a biztonsági korlát

Egy modellválasz biztonságosabb, ha bizonyítékhoz kapcsolódik. Ez nyilvánvalónak hangzik, amíg a rendszer nyomás alatt nincs. A bizonyítékot kihagyják, mert késleltetést ad. A hivatkozásokat szövegként tárolják azonosítók helyett. A lekérési pontszámokat nem őrzik meg. A forrásverziókat felülírják. A modell magabiztos magyarázatot ír egy dokumentumból, amelyet azóta kijavítottak. Később mindenki azt kérdezi, miért volt rossz a válasz. A válasz az, hogy a korlát dekoratív volt.

Hasznos bizonyíték nem lábjegyzet. Hanem lánc. A kérés azonosítással és céllal érkezett. A források engedély alapján kerültek kiválasztásra. A lekérés konkrét darabokat vagy rekordokat talált. A modell egy megnevezett verzió alatt állította elő a kimenetet. Egy ellenőr igazolta az állításokat vagy küszöbértékeket. Egy ember elfogadta, szerkesztette vagy elutasította. A művelet megváltoztatta az állapotot. A rendszer a lánc annyi részét tárolta, hogy azt meg lehessen ismételni vagy meg lehessen kérdőjelezni. Ez nem bürokrácia a bürokráciáért. Így marad fenn a biztonság az idő múlásával.

A bizonyíték azt is megvédi a modellt attól, hogy lehetetlen munkát kérjenek tőle. Ha a rendszer friss forrásokat követel meg, a modell visszautasíthatja az elavult bemenetet. Ha a rendszer két egyező rekordot követel meg, jelezheti az eltérést. Ha a rendszer forrásazonosítókat követel meg, megállíthatja a megalapozatlan állításokat. A modellnek többé nem kell a hiányzó bizonyítékot gördülékeny bizonytalanságkezeléssé alakítania. Visszatérhet egy biztonságos állapotba. Ez kedvesebb a modellhez, és sokkal kedvesebb ahhoz az emberhez, akire a kimenet hatással van.

Van itt egyensúly. A bizonyítékrögzítés nem válhat megfigyeléssé. Az érzékeny tartalmat lehet hash-elni, szerkeszteni, elkülöníteni vagy korlátozott ideig megőrizni. A lényeg nem az, hogy mindent örökre rögzítsünk. A lényeg az, hogy megőrizzük azokat a tényeket, amelyek a fontos viselkedés vizsgálatához kellenek. Biztonság bizonyíték nélkül csak bizalom szebb kabátban. Az előtérben jól mutathat. Egy incidensben nem állja meg a helyét.

A bizonyíték nem utólagos papírmunka. Ez az a sín, amely lehetővé teszi egy szervezet számára, hogy megvizsgálja, megkérdőjelezze és kijavítsa a mesterséges intelligencia viselkedését.

Az embereknek tervezett felhatalmazásra van szükségük

Az ember a folyamatban kifejezést gyakran varázsszóként használják. Ez nem varázslat. Egy fáradt ellenőr gyenge bizonyítékokkal, homályos irányelvekkel és kétszáz ügyből álló sorral nem biztonsági rendszer. Ez egy személy, akit a futószalag végére állítottak, és arra kértek, hogy ő legyen az irányítás. Lehet, hogy rövid ideig működik, különösen, ha az illető tapasztalt és kitartó. De ez nem terv.

Az emberi felhatalmazásnak konkrétnak kell lennie. Mely esetek igényelnek felülvizsgálatot. Milyen bizonyítékot lát az ellenőr. Módosíthatja-e az ellenőr a strukturált mezőket, vagy csak jóváhagyhatja a szöveget. Tudja-e az ellenőr, hogy a modell bizonytalan volt-e, vagy hogy az irányelv követelte-e meg az eszkalációt. Visszakerülnek-e a nézeteltérések az értékelésbe. Védve vannak-e az ellenőrök az automatizálási torzítástól. Meg tudják-e állítani a munkafolyamatot. Tudnak-e szakemberhez fordulni. Látnak-e hasonló korábbi eseteket. El tudják-e magyarázni a döntést az érintett személynek. Ezek a részletek döntik el, hogy az emberi felügyelet valódi vagy csak díszlet.

Jó felügyelet mellett az ítélkezés elkülönül az adminisztratív javítgatástól. Az embereknek nem azzal kell tölteniük az idejüket, hogy hiányzó forrásazonosítókat keresnek, ismételt próbálkozásokat szűrnek ki, a modell szövegét munkafolyamat-állapotokká alakítják, vagy találgatják, melyik szabályzatváltozat volt érvényben. A rendszer feladata az ügy összecsomagolása. Az ember ott alkalmazza az ítélkezést, ahol arra szükség van: vitatott jelentés, kivétel, arányosság, kontextus, empátia és felelősség. Ha az ember idejének nagy részét infrastrukturális hiányosságok javítása emészti fel, a szervezet a személyzetet tévesen biztonsági megoldásként kezeli.

A tervezésnek azt is lehetővé kell tennie, hogy az emberek súrlódás nélkül eltérhessenek az automatizálástól, anélkül hogy ez büntetéssé válna. Ha a modell felülbírálása nyolc kattintást igényel, az elfogadás pedig egyet, az interfész már hordoz egy szabályzatot. Ha az eszkaláció miatt egy csapat lassúnak tűnik, az emberek kerülni fogják az eszkalációt. Ha a mutatók kizárólag az áteresztőképességet jutalmazzák, a biztonsági felülvizsgálatok puszta formalitássá válnak. A rendszertervezés magában foglalja az ösztönzőket, a képernyőket, a várakozási sorokat és az alapértelmezett beállításokat. A modell lehet, hogy nem ismeri a mutatót, de az emberek biztosan ismerni fogják.

A lokalitás megváltoztatja a kockázatot

Számít, hogy hol történik a mesterséges intelligencia munkája. Egy rendszer, amely minden dokumentumot távoli modellhez küld, más kockázatokkal jár, mint az, amely az adatok közelében végzi el a kinyerést, és csak egy származtatott mezőt továbbít. Egy rendszer, amely a kiszolgáló szolgáltatásban tárolja a nyomokat, más kockázatokkal jár, mint az, amely független auditnaplókat vezet. Egy rendszer, amely egyetlen külső útválasztóra támaszkodik, más helyreállítási lehetőségekkel rendelkezik, mint az, amely helyileg is képes degradálódni. A lokalitás nem nacionalizmus hálózati ábrával. Ez a gyakorlati kérdés: mely kockázatok mozdulnak el, amikor az adat, a számítási kapacitás, a szabályzat és a bizonyíték mozog.

Bizonyos munkát az érzékeny adatok közelében kell végezni, mert az adatok mozgatása kitettséget teremt. Bizonyos munkát a felhasználók közelében kell végezni, mert a késleltetés befolyásolja a biztonságot. Bizonyos munkát központi szolgáltatásban kell végezni, mert speciális felülvizsgálatra vagy hardverre van szükség. Bizonyos bizonyítékokat a modell kiszolgálási útvonalától távol kell tárolni, mert éppen a kiszolgálási útvonal lehet a vizsgálat tárgya. A biztonságos kialakítás ritkán jelenti azt, hogy minden helyi vagy minden távoli. Hanem tudatos elhelyezést jelent.

A lokalitás a jogi és szervezeti elszámoltathatóságot is befolyásolja. Ha egy modellhívás régiókon átível, melyik jogszabály vonatkozik az adatokra. Ha egy index a forrásrendszeren kívül épül fel, hogyan történik a törlések továbbítása. Ha egy beszállító megváltoztat egy modellt, hogyan történik az értesítés fogadása és a tesztelés elvégzése. Ha a naplók egy szállítói portálon vannak, a szervezet képes-e exportálni őket incidens során. Ezek nem elvont szuverenitási kérdések. Biztonsági kérdések, mert attól függ, hogy a szervezet képes-e ellenőrizni és megmagyarázni a rendszert nyomás alatt.

A rossz elhelyezés drágává teheti a biztonságos viselkedést. Ha minden ellenőrzési lépés távoli oda-vissza utat igényel, a csapatok mintavételezhetnek ahelyett, hogy minden esetet ellenőriznének. Ha az auditadatokat nehéz összekapcsolni, a vizsgálatok lelassulnak. Ha a magánadatoknak egyszerű osztályozás miatt kell utazniuk, a kockázat nyereség nélkül nő. A jó lokalitástervezés csökkenti a biztonságos megoldás költségét. Ez azért fontos, mert a túl drága kontrollokat előbb-utóbb opcionálisnak fogják leírni, és sok rossz történet így kezdődik.

A lokalitás biztonsági közgazdaságtan. Oda helyezze a munkát, ahol az adatok, a bizonyíték, a késleltetés és a helyreállítás hősies erőfeszítés nélkül kézben tartható.

Az értékelésnek a rendszert kell követnie

Sok csapat értékeli a modellt, de elfelejti értékelni a rendszert. Azt tesztelik, hogy a válaszok helyesek-e egy promptkészleten, majd élesítik egy olyan munkafolyamatban, ahol jogosultságok, forrásfrissesség, feldolgozási sorok, eszközhívások, emberi felülvizsgálat, újrapróbálkozások és változó szabályzatok vannak. A modellbenchmark még hasznos lehet, de már nem írja le a teljes kockázatot. A biztonsági hibák gyakran az illesztéseknél laknak.

A rendszerértékelés a végponttól végpontig tartó viselkedést teszteli. Azt kérdezi, hogy a megfelelő forrást kapja-e a megfelelő felhasználó. Ellenőrzi, hogy az elavult adatot visszautasítja-e. Igazolja, hogy az eszközhívások jogosultság nélkül blokkolva vannak-e. Méri, hogy a magas kockázatú esetek eljutnak-e az emberekhez. Teszteli a visszaállítást. Teszteli a feldolgozási sor késleltetését. Teszteli a modellfrissítési utakat. Teszteli a furcsa, de hétköznapi eseteket: hiányzó dátum, ismétlődő ügyfél, régiós kivétel, fellebbezés javítás után, forrás törlése, részleges üzemszünet, túlterhelt felülvizsgáló. A termelésnek ízlése van azokhoz az esetekhez, amelyekről senki sem gondolta, hogy elég drámaiak.

Az értékelésnek tartalmaznia kell a negatív képességet. A rendszernek jónak kell lennie abban, hogy bizonyos dolgokat nem tesz meg. Nem válaszol bizonyíték nélkül. Nem lépi át a jogosultsági határokat. Nem lép fel cselekvésre, amikor csak a vázlatkészítés engedélyezett. Nem rejti el a bizonytalanságot. Nem használ forrást a törlés után. Nem folytatja, amikor egy eszköz inkonzisztens állapotot ad vissza. A biztonság ugyanúgy függ a visszautasítástól és a szüneteltetéstől, mint a pontosságtól. Egy biztonságos MI-rendszer legfontosabb kimenete lehet az elégtelen bizonyíték, ami olyan mondat, amelyet egyetlen demócsapat sem tesz ki transzparensre.

A rendszerértékelés a kiadáskezelést is megváltoztatja. Egy promptmódosítás, modellváltás, indexújraépítés, szabályzatfrissítés, eszközjogosultság-változás vagy felülvizsgálói felületmódosítás megváltoztathatja a biztonságot. Mindegyikhez tesztkör és visszaállítási terv kell. A csapatnak tudnia kell, mely viselkedések változtak, és mely kockázatok nőttek. Ez unalmas, ahogy a biztonsági öv is unalmas. Csak akkor válik érdekessé, ha hiányzik, ami a kényelemhez már túl késő.

A tanulság

Az MI-biztonság többnyire rendszertervezés, mert a kár általában rendszereken keresztül utazik. Egy modellkimenet akkor válik kockázatossá, ha egy munkafolyamat túlságosan megbízik benne, egy eszközkapu túl széles, a bizonyíték hiányzik, az állapot homályos, a felülvizsgálat túlterhelt, a naplók gyengék, vagy a visszaállítás képzeletbeli. A modell lehet a mondat látható forrása, de a rendszer dönti el, hogy a mondat cselekvéssé válik-e.

Ez a nézet kevésbé drámai, mint sok mesterségesintelligencia-biztonsági vita, és hasznosabb azoknak a szervezeteknek, amelyek most telepítenek rendszereket. Arra kéri a csapatokat, hogy húzzanak határokat, nevezzék meg a felelősségi köröket, őrizzék meg a bizonyítékokat, tervezzenek állapotokat, helyezzék el tudatosan a munkát, értékeljenek végponttól végpontig, és adjanak valódi hatalmat az embereknek. A modellt egy biztonsági eset erős összetevőjeként kezeli, nem pedig magaként a biztonsági esetként. Ez a felnőtt álláspont. Emellett ad az mérnököknek valamit, amit építhetnek, nem csak egy újabb politikai PDF-et, ami mindenki számára kedves.

A biztonsági tiszt kérdése a bemutató után pontosan helyénvaló volt. Mi történik, ha a modell téved, de meggyőző. Egy biztonságos rendszernek kell, hogy legyen válasza: itt csak vázlatot készíthet, ott aktuális forrásokat kell idéznie, azt az eszközt nem hívhatja le, ez az eset felülvizsgálatra megy, ez a művelet nyugtát hagy maga után, ez a munkafolyamat szüneteltethető, ez a kiadás visszagörgethető, ez a döntés megtámadható. Ezek a válaszok nem megérzések. Ezek tervezés.

A mesterséges intelligenciában mindig lesz bizonytalanság. A gyakorlati feladat az, hogy megakadályozzuk, hogy a bizonytalanság korlátlan hatalommá váljon. Ezt interfészekkel, állapotokkal, vezérlőkkel, bizonyítékokkal, lokalitással, értékeléssel, helyreállítással és megfelelően felkészített emberi ítélőképességgel érik el. Más szóval rendszertervezéssel. Nem azért, mert az értékek nem számítanak, hanem azért, mert az értékeket végrehajthatóvá kell tenni, mielőtt bárkit is megvédhetnének.