A bizonyítékokkal alátámasztott döntések esete

A fontos automatizált döntések nem érkezhetnek puszta kimenetként. Magukon kell viselniük a bizonyítékot, a felhatalmazást, a korlátokat és a...

A bizonyítékokkal alátámasztott döntések esete

A döntés, amely poggyász nélkül érkezett

A levél teljesnek tűnt. Volt rajta dátum, iktatószám, udvarias megszólítás, döntés és fellebbezési útmutató. A rendszer rangsorolta az ügyet, több szabályt alkalmazott, lekérte a kapcsolódó nyilvántartásokat, és javaslatot tett a végleges szövegre. Egy ember jóváhagyta. A munkafolyamat sikert naplózott. Semmi sem tűnt nyilvánvalóan hibásnak, amíg a levél címzettje fel nem tett egy egyszerű kérdést: miért éppen ez a döntés, az én ügyemben, azon a napon.

A szervezet a kérdés egyes részeire tudott válaszolni. Meg tudta mutatni a végleges levelet. Meg tudta mutatni a kérelem nyilvántartását a jelenlegi állapotában. Meg tudta mutatni, hogy a munkafolyamat lefutott. Meg tudta mutatni, hogy egy munkatárs rákattintott a jóváhagyásra. Meg tudta mutatni a modellpontszámot két tizedesjegyre kerekítve, mert a tizedesjegyeknek tehetségük van ahhoz, hogy tekintélynek adják ki magukat. Amit nem tudott tisztán megmutatni, az a lánc volt, amely a döntést a meghozatalának pillanatában indokolttá tette.

A döntés poggyász nélkül érkezett. Nem volt hozzá tartósan csomagolt forrásanyag, szabályverzió, modellverzió, lekérési útvonal, kizárt bizonyíték, bizonytalanság, emberi ítélet, felhatalmazás és fellebbezési út. Az emberek irányítópultokból, exportokból, jegyzetelésekből és emlékezetből kezdték rekonstruálni a múltat. Ez a gyenge kormányzás régészete. Mindenki keményen dolgozik. Senki sem büszke.

A bizonyítékhordozó döntések melletti érv itt kezdődik. A fontos döntéseknek nem szabad puszta kimenetként utazniuk. Magukkal kell vinniük elegendő bizonyítékot, a szó tág operatív értelmében, hogy egy másik személy vagy rendszer ellenőrizhesse, miért volt engedélyezett a cselekvés. A bizonyítéknak nem kell minden területen formális tételnek lennie. Néha tanúsítvány. Néha strukturált bizonyítékcsomag. Néha visszajátszható döntési nyilvántartás. Az elv ugyanaz: a felhatalmazás a döntéssel utazik.

A döntés csak egy része az artefaktumnak. A felhatalmazás az, ami lehetővé teszi, hogy egy későbbi felülvizsgáló ellenőrizze, megérdemelte-e a döntés, hogy cselekvéssé váljon.

A naplók nem elegendőek

A naplók hasznosak. Elmondják, hogy események történtek, melyik szolgáltatás futott, melyik felhasználó lépett, melyik végpont válaszolt, és melyik időbélyeget hitt igaznak a rendszer. Naplók nélkül a működés babonává válik incidenshívásokkal. De a naplók nem automatikusan bizonyítékai egy döntésnek. Gyakran mozgást rögzítenek, nem felhatalmazást. Azt mondják, a kérelem egyik állapotból a másikba került. Nem feltétlenül mondják meg, hogy az átmenet indokolt volt-e.

Egy naplósor elmondhatja, hogy egy modell pontszámot adott vissza. Lehet, hogy nem mutatja, mely források kerültek lekérésre, mely források hiányoztak, hogy a pontszámot kalibrálták-e erre az ügytípusra, vagy melyik szabályzat tette lehetővé, hogy a pontszám befolyásolja a cselekvést. Egy napló elmondhatja, hogy egy kezelő jóváhagyta. Lehet, hogy nem mutatja, mit látott a kezelő, milyen bizonytalanság volt látható, volt-e lehetőség felülbírálásra, vagy hogy a jóváhagyás értelmes volt-e sorban állási nyomás alatt. Egy napló elmondhatja, hogy az export kész. Lehet, hogy nem őrzi meg azt a szemantikai kontextust, amely a nyilvántartást értelmezhetővé tette.

Ez a megkülönböztetés nem kötekedés. A kormányzás akkor vall kudarcot, ha a csapatok összekeverik az események származását a döntés bizonyítékával. Az idővonal értékes, de az idővonal önmagában nem alapozza meg a felhatalmazást. Ha egy híd összeomlik, az e-mailek sorrendjének ismerete nem ugyanaz, mint annak ismerete, hogy a terhelésszámítás érvényes volt-e. Ha egy mesterséges intelligenciával támogatott döntés kárt okoz valakinek, annak ismerete, hogy a munkafolyamat befejeződött, nem ugyanaz, mint annak ismerete, hogy a bizonyíték, a felhatalmazás és a korlátok alátámasztották-e a cselekvést.

A bizonyítékot hordozó döntések nem helyettesítik a naplókat. A naplókat csak egyetlen összetevőként használják. A bizonyítási csomag nehezebb kérdést tesz fel: a világ adott állapota és az akkor érvényes szabályok mellett miért engedélyezték ezt a döntést. Ehhez a kérdéshez struktúra kell, nem csupán időrend.

A magyarázat sem bizonyíték

A generált magyarázatok hasznosak lehetnek. A közérthető összefoglaló segíthet a felhasználónak megérteni, mi történt. Az indoklás segíthet a dolgozónak felülvizsgálni egy kimenetet. A hibaok kódja irányt mutathat a fellebbezéshez. A probléma akkor kezdődik, amikor a magyarázatot bizonyítékként kezelik. A magyarázat utólag írhatja le a döntést. A bizonyítéknak a döntést azokhoz az adatokhoz és szabályokhoz kell kötnie, amelyek azt jogszerűvé tették.

Számos csapda van itt. Az első a folyékonyság. Egy modell hihető indoklást tud produkálni, amely rendezettebbnek hangzik, mint a tényleges folyamat. A második a szelektivitás. A magyarázat megemlítheti a döntést alátámasztó tényezőket, és kihagyhatja azokat, amelyek hiányoztak, elavultak voltak, ütköztek egymással, vagy kívül estek a hatókörön. A harmadik az önértékelés. Ha ugyanaz a rendszer, amely a döntést hozta, az egyetlen magyarázatot is előállítja, a szervezet nem nyert független igazolást. Csak egy jobb elbeszélőt nyert.

A bizonyíték ebben az operatív értelemben nem szebb bekezdés. Ellenőrizhető kapcsolat az állítás, az adatok, a felhatalmazás, a módszer és a nyilvántartás között. Meg kell mondania, mely tényeket használták fel, melyeket zártak ki, melyik szabály vagy modell alakította át őket, milyen bizonytalanság maradt, melyik szerepkör fogadta el az eredményt, és hogyan támadható meg a döntés. A magyarázat ráépülhet erre. Nem szabad elvárni, hogy helyettesítse azt.

Ez a méltányosság szempontjából is fontos. Az emberek többet érdemelnek egy magabiztos történetnél, amikor a döntések jogokat, hozzáférést, pénzt, ellátást, munkát vagy hírnevet érintenek. Útra van szükségük annak ellenőrzéséhez, hogy a döntés a megfelelő szabályok és a megfelelő adatok alapján született-e. A magyarázat bizonyíték nélkül megnyugtathat. A bizonyíték ad az embereknek valamit, amit vitathatnak.

Mit jelent a bizonyíték a hétköznapi rendszerekben

A bizonyíték szó túl hivatalosnak hangozhat, mintha minden szervezetnek tételbizonyítóvá kellene alakítania a munkafolyamatát, mielőtt levelet küldhetne. Nem ez az állítás. A formális bizonyítás ott értékes, ahol a logika, a kényszerek vagy a biztonságkritikus szabályok indokolják. A bizonyítékot hordozó döntések azonban több szinten létezhetnek. A lényeg az, hogy a döntés a következményeihez igazított, strukturált igazolást hordozzon.

Egy alacsony kockázatú javaslat esetén a bizonyíték lehet forráslista, frissességi jelölő, megbízhatósági tartomány és megjegyzés arról, hogy a kimenet tájékoztató jellegű. Egy nyilvános jogosultsági döntés esetén a bizonyíték tartalmazhat szabályverziókat, adatforrásokat, hiányzó adatok ellenőrzését, emberi felülvizsgálatot, értesítési követelményeket és fellebbezési utat. Egy orvosi triázsajánlás esetén a bizonyíték tartalmazhatja a betegnyilvántartás pillanatképét, az ellenjavallat-ellenőrzéseket, az irányelvi hivatkozásokat, a modell korlátait, az orvosi beavatkozást és az eszkalációs útvonalat. Egy logisztikai döntés esetén a bizonyíték tartalmazhat kényszereket, kapacitást, útvonal-feltevéseket, a megoldó állapotát és a tartalék tervet.

Minden csomag ugyanarra a kérdéscsaládra válaszol. Milyen döntés született. Mi volt a megengedett felhasználás. Milyen adatok léteztek akkor. Milyen átalakítási vagy érvelési utat használtak. Milyen kényszerek voltak kötelezőek. Milyen bizonytalanság maradt. Kinek volt felhatalmazása. Mi változott utólag. Hogyan lehet a döntést újrajátszani, vitatni, kijavítani, vagy tanulni belőle.

A bizonyíték szintjének a következményekkel és a visszafordíthatósággal kell arányosnak lennie. Egy helyesírási javaslathoz nem kell irányítási dokumentáció. Egy automatikus szolgáltatásmegtagadáshoz igen. Egy útvonaljavaslathoz lehet, hogy megvalósíthatósági nyomvonal kell. Egy biztonsági utasításhoz lehet, hogy erősebb nyilvántartás kell. A lényeg nem a maximális papírmunka. A lényeg az intézkedéssel arányos igazolás.

A naplók a mozgást rögzítik. Egy bizonyítékcsomag rögzíti azokat a forrásokat, szabályokat, bizonytalanságokat és felhatalmazásokat, amelyek a mozgást jogszerűvé tették.

A rögzítés pillanata számít

A döntési bizonyítékot a döntés meghozatalakor kell rögzíteni. Nem panasz után. Nem audit során. Nem akkor, amikor egy felügyeleti szerv levelet küld. A döntés pillanatában a rendszer még hozzáfér a releváns állapothoz: a rekordpillanatképhez, az aktív szabályzathoz, a modellverzióhoz, a lekérdezett forrásokhoz, a felhasználói szerepkörhöz, a felület állapotához, a bizonytalansághoz és az elérhető alternatívákhoz. Később ezek eltolódnak. A rekordokat javítják. A szabályzatok változnak. A modellek frissülnek. Az irányítópultokat újratelepítik. Az emberek felejtenek. Az emlékezet egy helyi adatbázissá válik megbízhatósági problémákkal.

A bizonyíték rögzítése a pillanatban a viselkedést is megváltoztatja. Ha egy munkafolyamat tudja, hogy meg kell őriznie a bizonyítékot, nagyobb valószínűséggel kér bizonyítékot a cselekvés előtt. Ha egy modellkimenetnek tartalmaznia kell a bizonytalanságot, a felület kevésbé valószínű, hogy elrejti azt. Ha egy jóváhagyásnak rögzítenie kell, hogy az ember mit látott, a rendszer nagyobb valószínűséggel mutat valamit, amit érdemes látni. A bizonyítékrögzítés nem csak archiválási munka. Formálja magának a döntésnek a kialakítását.

Ezért gyenge helyettesítők a képernyőképek. A képernyőkép egy képet rögzít, nem egy döntési állapotot. Kihagyhat rejtett paneleket, forrásfrissességet, szabályzatverziókat, modellbeállításokat vagy hiányzó bemeneteket. Nehéz lekérdezni, nehéz tesztelni, és később könnyű félreérteni. A képernyőképek néha hasznosak a támogatásban. Nem komoly bizonyítékformátumok a számító döntésekhez. A képernyőkép már eleget tett a vállalati életben. Hagyjuk pihenni.

A bizonyítékkal ellátott döntések strukturált rögzítést igényelnek. Ez azt jelenti, hogy a rendszer tárolja a mezőket, verziókat, hivatkozásokat, adott esetben hash-eket, okkódokat, bizonytalanságot, felhasználói műveletet és linkeket a megváltoztathatatlan vagy függetlenül ellenőrzött rekordokhoz. A pontos séma területenként változik, de a szokásnak nem szabad változnia: rögzítsük a felhatalmazást, amíg létezik.

A bizonyíték az elszámoltathatóság mindkét oldalát védi

Az elszámoltathatóságot gyakran úgy írják le, mint amivel a szervezetek az érintett embereknek tartoznak. Ez igaz. De ez az, amivel a szervezetek a saját dolgozóiknak is tartoznak. Egy ügyintézőt, klinikust, diszpécsert, elemzőt vagy felülvizsgálót nem szabad magára hagyni egy rejtélyes ajánlással és egy jövőbeli váddal. Ha a szervezet elvárja, hogy az emberek támaszkodjanak egy rendszerre, bizonyítékot kell adnia nekik. Ha elvárja, hogy megkérdőjelezzék a rendszert, utat kell adnia nekik.

A bizonyítékkal ellátott döntések védik az érintett embereket azzal, hogy lehetővé teszik a megkérdőjelezést. Védik a dolgozókat azzal, hogy megmutatják, milyen információk álltak rendelkezésre, és hogyan keretezte azokat a rendszer. Védik a mérnököket azzal, hogy megkülönböztetik az adathibát a modellhibától, a felülethibától, a szabályzathibától és az emberi ítélettől. Védik a vezetőket azzal, hogy felfedik, hol gyenge a működési modell. Védik az auditorokat azzal, hogy valami jobbat adnak nekik, mint egy körbevezetés az irányítópultokon.

Ez nem a felelősség elkerüléséről szól. Hanem a felelősség pontos behatárolásáról. Egy rossz döntés származhat hibás adatból, érvénytelen szabályból, hatókörön kívüli modellből, nem egyértelmű felületből, perverz ösztönzőkből vagy emberi felülbírálásból. Bizonyíték nélkül a hibáztatás a legközelebbi személy felé mozdul. Bizonyítékkal a szervezet láthatja, melyik réteg hibázott. Ez igazságosabb és sokkal hasznosabb.

Van itt egy bizalmi előny is. Az emberek szívesebben fogadják el az automatizált vagy támogatott döntéseket, ha tudják, hogy a megkérdőjelezés valódi. Nem azért, mert minden döntés tetszeni fog, hanem mert a folyamatnak vannak fogódzói. A bizonyítékot hordozó döntés azt mondja: itt van, mit használtunk, itt van, mit tettünk, itt van, ki járt el, itt van, hogyan lehet megkérdőjelezni. Ez nem a helyesség garanciája. Ez annak megtagadása, hogy az eredmény mögé bújjunk.

A bizonyítási csomagnak utaznia kell

Az a döntési nyilvántartás, amelyet csak egy szállítói irányítópulton belül lehet megérteni, nem bizonyítékot hordoz. Rövid pórázon látogató bizonyíték az. A fontos döntéseknek olyan bizonyítási csomagra van szükségük, amely képes utazni időn, rendszereken, szállítókon és felülvizsgálati környezeteken át. Az archiválásnak lehetségesnek kell lennie. A független mintavételnek lehetségesnek kell lennie. A migráció nem pusztíthatja el a jelentést. Az audit nem függhet attól, hogy az eredeti alkalmazás még online van-e és jóindulatú-e.

A hordozhatóság megváltoztatja a tervezési döntéseket. Használjon dokumentált sémákat. Őrizze meg az azonosítókat. Tartsa meg a szabályverziókat és a forráshivatkozásokat. Tároljon annyi kontextust, amennyi a döntés újrajátszásához szükséges, anélkül, hogy több személyes adatot tárna fel a szükségesnél. Válassza el a bizonyítéknyilvántartást attól a felülettől, amely éppen megjelenítette. Ha az adatvédelem minimalizálást követel meg, tároljon elkötelezettségeket, hivatkozásokat vagy ellenőrzött pillanatképeket, ahelyett, hogy mindent örökre kidobna. A bizonyítékhordozás nem gondatlan felhalmozást jelent. A megfelelő jogosítvány megőrzését jelenti a megfelelő ellenőrzések mellett.

Van itt egy lokalitási kérdés is. Egyes bizonyítékoknak annak az intézménynek a hatáskörében kell maradniuk, amely a kötelezettséget viseli. Ha egy köztestületnek meg kell magyaráznia egy döntést, a bizonyítékok nem állhatnak csak egy szállítói fiókon keresztül rendelkezésre. Ha egy kórháznak meg kell védenie egy ellátási utat, a releváns nyilvántartás nem tűnhet el, amikor egy modellszolgáltató megváltoztatja a megőrzési politikáját. Ha egy vállalatnak ki kell vizsgálnia egy biztonsági eseményt, nem várhat támogatási jegyre, hogy visszaszerezze a saját jogosítványát.

Az utazó bizonyíték a tanulást is segíti. Amikor a döntési nyilvántartások stabil szerkezetet használnak, a csapatok elemezhetik a mintázatokat: mely szabályok okoznak fellebbezéseket, mely források avulnak el, mely modellverziók növelik a bizonytalanságot, mely felülvizsgálók hasznosan írnak felül, mely csoportok tapasztalnak több újramunkát. A bizonyítási csomag nem csak védekező jellegű. Működési eszközzé válik.

Az a jogosítvány, amely csak egy szállítói irányítópulton belül működik, nem bizonyítékot hordoz. A csomagnak utaznia kell az archívumba, az auditba, a fellebbezésbe és a migrációba.

Mi változik az AI-rendszerek esetében

Az AI sürgetőbbé teszi a bizonyítékhordozó döntéseket, mert az AI-rendszerek gyakran hoznak létre olyan köztes artefaktumokat, amelyek kevésbé tűnnek nyilvántartásnak, és inkább ideiglenes számításnak. A promptok, a lekérdezett szövegrészek, a beágyazások, a rangsorolási pontszámok, a biztonsági szűrők kimenetei, a modellverziók, az eszközhívások, a lánc-összefoglalók és a megbízhatósági becslések mind befolyásolhatják a döntést. Ha ezek eltűnnek, a szervezet megtartja a kimenetet, de elveszíti a jogosítványt.

A bizonyítási csomagnak nem szabad minden belső tokent örökre megőriznie. Ez költséges, tolakodó és gyakran szükségtelen lenne. A döntés ellenőrzéséhez szükséges anyagot kell megőriznie. Mely forrásokat kérték le és választották ki. Mely források nem álltak rendelkezésre. Mely modellt és konfigurációt használták. Mely prompt vagy feladatsablon keretezte a munkát. Mely eszközhívások változtatták meg az állapotot. Mely bizonytalanságot tárták fel. Melyik ember mit látott. Melyik szabályzat engedélyezte vagy blokkolta a műveletet.

Az AI-rendszereknek a megtagadást is rögzíteniük kell. Ha a rendszer azért tagadta meg a választ, mert hiányzott a bizonyíték, ez a megtagadás a kormányzás része. Ha egy ember felülbírálta a megtagadást, az fontos. Ha a rendszer alacsony bizonyosság ellenére válaszolt, az oknak láthatónak kell lennie. A bizonyítékcsomagnak nemcsak a sikeres döntéseket kell leírnia, hanem az azokat körülvevő határokat is. A határokon él általában a biztonság.

Egy másik, kifejezetten az AI-ra jellemző kérdés a modellváltás. Egy adott modellverzió alatt hozott döntést később nem szabad egy másik verzióval magyarázni. Ha egy modellfrissítés megváltoztatja a viselkedést, a korábbi döntéseknek meg kell őrizniük az eredeti kontextusukat. Ellenkező esetben a szervezet véletlenül átírhatja a múltat. Ez egy sci-fiben kényelmes lehet. Auditálási gyakorlatnak viszont rossz.

A bizonyítéknak ára van, de a rekonstrukciónak is

A bizonyítékkal alátámasztott döntéseknek van költségük. Séma tervezést, tárolást, verziókezelést, hozzáférés-szabályozást, adatvédelmi felülvizsgálatot, felületi munkát, kormányzási felelősséget és működési fegyelmet igényelnek. Kis súrlódást okozhatnak. Felfedhetik, hogy a meglévő munkafolyamatok valójában nem tudják, miért hoznak egyes döntéseket. Ez a felfedezés kínos lehet. Jó. A kínosság a kár előtt olcsó.

A másik lehetőség a rekonstrukció költsége. A rekonstrukció panasz, incidens, audit vagy per után lassú, drága, hiányos és stresszes. Az emberek régi naplókat keresnek, kérdezik, ki emlékszik még, következtetnek, melyik szabályzat volt érvényben, szállítói exportokat kérnek, képernyőképeket hasonlítanak össze, és gondosan megfogalmazott mondatokat írnak, amelyek félig bizonyítékok, félig remények. A rekonstrukció a büntetés azért, mert nem rögzítettük az indoklást, amikor az olcsó volt.

Van a döntés minőségére gyakorolt előny is. Ha egy rendszert bizonyíték hordozására terveznek, általában jobb döntéseket hoz, mert ismernie kell a saját feltételeit. Tudnia kell, melyik bizonyíték aktuális, melyik szabály vonatkozik rá, melyik felhatalmazás van jelen, milyen bizonytalanság maradt, és melyik művelet megengedett. A bizonyítékkövetelmény felfelé kényszeríti az egyértelműséget. Ez az egyértelműség akkor is értékes, ha soha senki nem auditálja a nyilvántartást.

A bizonyíték a túlzó állításokat is visszaszorítja. Az a csapat, amelynek meg kell őriznie az indoklást, kevésbé hajlamos azt állítani, hogy egy modellpontszám elég, egy összefoglaló forrás, vagy egy emberi kattintás értelmes felülvizsgálat. A nyilvántartás mindenkit egy kicsit becsületesebbé tesz. Ez csökkentheti a demó fényét. De növeli annak esélyét, hogy a rendszer a demón kívül is működőképes legyen.

Normálissá tenni

A bizonyítékkal alátámasztott döntéseknek a nagy következménnyel járó automatizált és ember által támogatott munkafolyamatok szokásos tervezési mintájává kell válniuk. Kezdje a döntéstípusok osztályozásával. Melyek az alacsony kockázatú javaslatok. Melyek a működési ajánlások. Melyek érintik a jogokat, a biztonságot, a pénzt, a hozzáférést vagy a hírnevet. Igazítsa a bizonyítékcsomagot a következményekhez. Ne építsen katedrálist minden tipphez. Ne küldje meztelenül a jelentős döntéseket.

Ezután határozza meg az indoklási sémát. Milyen forrásoknak, verzióknak, szabályoknak, modellrészleteknek, bizonytalanságnak, emberi műveleteknek és felülvizsgálati utaknak kell jelen lenniük. Határozza meg, mi kerül tárolásra, mire hivatkoznak, mi lesz hash-elve, mi lesz minimalizálva, és ki férhet hozzá. Határozza meg, meddig él. Határozza meg, hogyan vándorol migráció során. Határozza meg, mi történik, ha egy kötelező mező hiányzik. Ha a válasz az, hogy akkor is folytatjuk, a séma csak dísz.

Következő lépésként kösse össze a bizonyítékcsomagot a felülettel. A felülvizsgálónak látnia kell az indoklást a jóváhagyás előtt. Az érintett személynek az indoklásból származó magyarázatot kell kapnia. Az auditornak mintát kell vennie az indoklásból. Az üzemeltetőnek abból kell diagnosztizálnia. A vezetőnek mintázatokat kell látnia belőle. A bizonyítékok nem élhetnek egy pincében, amelyet a megfelelőségi osztály évente egyszer látogat meg egy zseblámpával.

Végül tartsa karban a mintát. A szabályok változnak. A modellek változnak. A források változnak. A munkafolyamatok változnak. A bizonyítékcsomagnak verziózott sémákon és kormányzási felülvizsgálaton keresztül kell fejlődnie. A nem karbantartott bizonyítékrendszer újabb fosszíliává válik, a fosszíliák pedig csak akkor bájosak, ha nem hoznak döntéseket.

A bizonyítékhordozás akkor válik gyakorlatiasá, ha a rögzítés, az ellenőrzés, a felülvizsgálat és a megőrzés a működési ritmus része.

Az eset

A bizonyítékhordozó döntések melletti érv egyszerű. A fontos döntések kötelezettségeket teremtenek. A kötelezettségeknek bizonyítékra van szükségük. A bizonyítékot akkor kell rögzíteni, amíg még létezik. Ha a döntés embereket, pénzt, biztonságot, jogokat, hozzáférést vagy intézményi bizalmat érint, az önmagában vett eredmény nem elég. A döntésnek hordoznia kell az igazolását.

Ez nem teszi helyessé minden döntést. Valami szerényebbet és hasznosabbat tesz. Ellenőrizhetővé teszi a döntéseket. Lehetővé teszi az érintetteknek, hogy érdemben kifogásoljanak. Lehetővé teszi a dolgozóknak, hogy kontextussal támaszkodjanak és vitatkozzanak. Lehetővé teszi a mérnököknek, hogy a megfelelő réteget hibakeressék. Lehetővé teszi a vezetőknek, hogy meglássák a gyenge működési modelleket. Lehetővé teszi az ellenőröknek, hogy a nyilvántartásokat teszteljék, ne pedig az irányítópultokat csodálják.

A nyitó történetből származó levélnek soha nem lett volna szabad egyedül megérkeznie. Egy olyan döntéscsomaggal kellett volna érkeznie, amelyet a szervezet ellenőrizhet: itt voltak a források, itt volt a szabály, itt volt a modell állapota, itt volt a bizonytalanság, itt volt az emberi ítélet, itt van a fellebbezési út. Akkor a kérdés, hogy miért ez a döntés, az én esetemben, azon a napon, nem régészetet indított volna. Felülvizsgálatot indított volna.

Ez a bizonyítékhordozó döntések gyakorlati ígérete. Nem tökéletes rendszerek. Olyan rendszerek, amelyek magukkal hozzák az indokaikat.