AION átláthatóvá teszi az AI-döntéseket
A helyiség, ahol a bizonyíték látható
A bizonyíték először a fordítón kívül válik hasznossá. Nem a megoldóban van. Hanem egy helyiségben, ahol mindenki elfogyott a türelme az olyan magyarázatokkal szemben, amelyek hihetőnek hangzanak, de nem játszhatók vissza.
Általában van egy képernyő a falon. Valaki kirakta a döntést. Valaki más kirakta a naplósorokat. Egy kockázatgazda azt kérdezi, hogy ez megfelel-e az auditnak. Egy mérnök próbálja elmagyarázni, hogy a modell konfidenciascórt állított elő, a rendszer telemetriát tárolt, és a csapat meg tudja mutatni az alkalmazáson át vezető utat. A szavak óvatosak. A helyiség nem meggyőzött.
A probléma nem az, hogy a helyiségben lévők ellenségesek az AI-jal szemben. A probléma az, hogy ismerik a különbséget egy állítás és a bizonyíték között. A napló azt mondja, hogy valami megtörtént. A konfidenciascore azt mondja, hogy a rendszer mennyire hajlott egy válasz felé. Egy utólagos magyarázat azt mondja, hogy a válasz mitől függhetett. Egyik objektum sem bizonyítja a döntésen belüli érvelési lépéseket.
Az AION erre a pillanatra létezik. A választ olyan csomaggá alakítja, amely tartalmazza a saját munkáját. A vizsgálati út nem egy szebb irányítópult a bizalom körül. Ez a tanúsítvány: egy hordozható, ellenőrizhető artefaktum, amelyet egy másik ellenőr offline, lineáris időben el tud olvasni, anélkül, hogy az eredeti megoldónak védekeznie kellene.
Ez a megkülönböztetés azért fontos, mert a legtöbb AI-termék még mindig azt kéri a vásárlótól, hogy fogadjon el egy ígéretet. Az AION megváltoztatja az ígéret alakját. Azt mondja: ne bízz a gépben, mert magabiztosnak hangzott. Ne bízz a szállítóban, mert a prezentáció azt mondja, hogy magyarázható. Vedd a tanúsítványt, futtasd az ellenőrzést, és fogadd el vagy utasítsd el a bizonyítékot a saját infrastruktúrádon.
Első jelenet: a válasz nem elég
Képzeljünk el egy bankot, amely elutasít egy kérelmet, egy kórházi rendszert, amely kezelési utat javasol, vagy egy hivatalt, amely szoftvert használ egy ügy továbbítására. A válasz hasznos lehet. Lehet, hogy még helyes is. De ha az érintett személy megkérdezi, hogy miért, a szervezetnek többre van szüksége, mint egy utólag írt bekezdésre.
A régi működési modell azt ragadja meg, ami már eleve rendelkezésre áll. Vannak alkalmazásnaplók, de strukturálatlanok, és gyakran ahhoz a szállítóhoz kötődnek, amelyik létrehozta őket. Vannak score-ok, de a levezetés nélküli score csak egy szám. Vannak generált magyarázatok, de ha ugyanaz a rendszer állítja elő őket, amelyik a döntést hozta, akkor a saját házi feladatukat osztályozzák. Vannak szállítói biztosítékok, de a "bízzon bennünk" nem auditválasz.
Az AION ezt tervezési problémaként kezeli, nem kommunikációs problémaként. Ha a döntés számít, a bizonyítéknak együtt kell utaznia a válasszal. Ugyanabban a pillanatban kell kibocsátani. Túl kell élnie a beszerzést, a migrációt, az incidensfelülvizsgálatot és egy jövőbeli auditort, akinek más eszközkészlete van. Nem támaszkodhat arra, hogy egy távoli szolgáltatás még online van. Nem követelheti meg, hogy az eredeti megoldó újrafuttassa az esetet, és remélje, hogy ismét ugyanazt az utat választja.
Ezért a bizonyíték nem díszítés. Ez a felület. A felhasználó nyugtaként élheti meg. A mérnök parancsként élheti meg. Az auditor független ellenőrzésként élheti meg. Ugyanaz az objektum szolgálja mindhármat, mert nem egy történet a döntésről. Hanem a döntés mögötti rendezett levezetés.
Az AION nem a döntési motor
AION nem keverendő össze a Dweve stack többi elemével. Nem Mesh, amely infrastruktúra. Nem Ledger, amely a rendszerben történt eseményeket rögzíti. Nem általános marketingcímke az átláthatóságra. Az AION egyetlen döntésen belül hitelesíti az érvelési lépéseket.
Ez a határvonal hasznos. A Ledger meg tudja mondani, hogy egy kérés megérkezett, egy szolgáltatás lefutott, egy feldolgozó visszatért, és egy rekord kiírásra került. Ez esemény-proveniencia. Az AION szűkebb és nehezebb kérdésre válaszol: adott premisszák mellett ez a következtetés valóban végigvezethető-e a rögzített lépéseken? A különbség az idővonal és a bizonyítás közötti különbség.
A forrásoldal az AION-t Rust könyvtárként írja le parancssori binárissal és benchmark binárissal. Leír továbbá egy CDCL propozicionális magot egzakt racionális aritmetikával, elméleti következtetőkkel körülvéve, valamint egy bizonyításkiírót, amely minden lépést rendezett levezetésként rögzít. Ezek implementációs tények, de fontosabbá válnak, ha működési tényekként tekintünk rájuk. A felhasználó nem csak választ kap. A felhasználó egy artefaktumot kap, amely beágyazható, ellenőrizhető, benchmarkolható és elvihető.
Amikor egy csapat linkeli a crate-et, shellből vagy CI-feladatból vezérli a CLI-t, vagy saját hardverén méri az implementációt, ugyanaz a tanúsítvány jön ki. Ez az azonosság a szerződés része. Az átvételi út nem változtathatja meg a bizonyítékot. Egy beszerzési értékelésnek, egy mérnöki integrációnak és egy audit-visszajátszásnak ugyanarra az objektumra van szüksége, nem pedig három összeegyeztethetetlen összefoglalóra.
Mit változtat a tanúsítvány
A tanúsítvány megváltoztatja az erőviszonyt egy AI-döntés körül. Nélküle a választ birtokló szervezet az értelmezés nagy részét is ellenőrzi. Vele a választ egy külön ellenőrző vitathatja. A bizonyítás átvihető egy másik gépre. Az auditor hálózati kapcsolat nélkül is visszajátszhatja. Az állampolgár kérheti az elismervényt, és az intézmény valami kézzelfoghatóbbat adhat át, mint egy bekezdést.
Ezért az AION nyílt forráskódú anyag, nem pedig zárt megfelelőségi kiegészítő. Az oldal Apache 2.0-t, szabványos bizonyítási formátumokat és a github.com/dweve-ai projektoldalt említ. Az üzleti érték közvetlenül ebből a nyitottságból fakad. Egy csapat értékelhet az értékesítési megbeszélés előtt. Átvételkor nem kell felhasználónkénti bizonyítás-ellenőrzési díjat fizetnie. Olyan nyilvántartást vezethet, amely akkor is hasznos marad, ha később elhagyja a szállítót.
A tanúsítvány azt is csökkenti, hogy mennyi bizalmat kell helyezni az eredeti rendszerbe. A választ adó gép nem az egyetlen gép a történetben. Egy külön ellenőrző beolvassa a tanúsítványt, és minden következtetést végigvezet a premisszáin. Ha a levezetés zárul, az ellenőrző elfogadja. Ha nem, elutasítja. Nincs szükség második meggyőzési aktusra.
Ez más felhasználói élmény, mint a legtöbb AI-magyarázhatóság. Az AION nem azt mondja: "Íme, miért tette ezt valószínűleg a modell." Azt mondja: "Íme a bizonyítási objektum. Ellenőrizze." A munka az értelmezésről az ellenőrzésre helyeződik át.
A nyílt forráskódú alkupozíció
A nyílt forráskódot gyakran fejlesztői kényelemként adják el: nézze meg a kódot, fork-olja, küldjön patch-eket. Az AION operatívabb alkut kínál. Ha a bizonyításnak el kell döntenie, hogy egy szervezet meg tud-e védeni egy AI-döntést, a bizonyítási gépezet nem lehet fekete doboz, amely ugyanazon szállítói kapcsolat mögé rejtve marad, amely a döntést létrehozta.
Az Apache 2.0 itt azért fontos, mert hétköznapivá teszi az átvételt. Egy csapat kereskedelmi céllal használhatja a technológiát külön megállapodás nélkül, pusztán azért, hogy visszaolvassa saját bizonyítékait. A szabványos formátumok azért fontosak, mert a bizonyításnak nem szabad használhatatlanná válnia, ha egy szállító stratégiát vált. Az offline ellenőrzés azért fontos, mert a ma készült auditnyilvántartásnak később is ellenőrizhetőnek kell lennie, még akkor is, ha egy hálózat, fiók vagy szolgáltatás eltűnt.
Ezt a részt a beszerzési csapatok gyorsabban értik meg, mint ahogy azt a mérnökök várnák. Az első kérdés nem mindig az, hogy a megoldó okos-e. Hanem az, hogy a nyilvántartások a szervezet ellenőrzése alatt maradnak-e. Tárolható-e a bizonyíték egy archívumban? Ellenőrizheti-e egy másik csapat az audit során? El tud-e távozni a szervezet anélkül, hogy elveszítené régi döntéseinek jelentését? Az AION úgy lett tervezve, hogy a válasz igen lehessen.
Ezért kell a bizonyítéknak hordozhatónak lennie. A kód nyílt, de a lényeg az, hogy a bizonyíték nincs csapdába ejtve. A tanúsítvány nem egy képernyőkép. Nem egy szállító által üzemeltetett magyarázó oldal. Ez egy olyan artefaktum, amely megőrzi hasznosságát, mert a formátumok és az ellenőrzési útvonal nem egyetlen futási környezet tulajdona.
A bizonyítási felület belseje
Az AION technikai belseje szándékosan precíz. Az oldal megnevez egy CDCL magot, elméleti bővítményeket, egzakt racionális aritmetikát és egy bizonyítási kibocsátót. A CDCL választja ki az ágakat. Az elméleti következtetők bővítik a részleges modellt. A bizonyítási kibocsátó rögzíti a feloldásokat és a lemmákat. Az eredmény LRAT, DRAT, Alethe vagy egységes köztes formátum formájában kerül exportálásra.
Ezek a nevek megoldótermi nyelvnek hangozhatnak, ezért fordítsa le őket rendszer-viselkedésre. A rendszer nem csupán azt mondja, hogy a következtetés következik. Leírja az útvonalat. Nem kéri az ellenőrzőt, hogy megbízzon a teljes megoldóban. Kisebb feladatot ad az ellenőrzőnek: olvassa el a tanúsítványt, járja végig minden levezetést, és ellenőrizze, hogy a lépések záródnak-e a premisszákra.
Az elméleti lefedettség elég széles ahhoz, hogy valódi rendszerek számára fontos legyen: propozicionális logika, kvantorok, lineáris és nemlineáris aritmetika, bitvektorok, tömbök, karakterláncok, lebegőpontos számok, temporális logika, valószínűségi programok és párhuzamos programok. Az aritmetikai, adat- és lebegőpontos következtetők a magban élnek; a programelméletek a kísérő ládákban helyezkednek el. Ez a felosztás nem szlogen. Így tud egyetlen bizonyítási felület lefedni olyan döntéseket, amelyek egynél többfajta következtetést érintenek.
Az egzakt racionális aritmetika szintén egy tervezési nyilatkozat. Ha egy bizonyítékot később újra ellenőriznek, nem függhet egy homályos lebegőpontos véletlentől az aritmetikai magban. A tanúsítványnak bizonyítékként kell viselkednie, nem pedig olyan közelítésként, amely gépek között mozgatva megváltoztatja a jellegét. A forrásanyag egyértelmű: nincs lebegőpontos aritmetika a magban.
Miért számít a parancssor egy igazgatóságnak
Az igazgatóságok általában nem törődnek a parancssori eszközökkel. Őket a kockázat, a költség, a kilépés és az audit érdekli. Az AION parancssori felülete azért számít, mert ezeket a szempontokat egy ismételhető cselekvésbe sűríti. Futtassa az ellenőrzést. Kapjon elfogadást vagy elutasítást. Tegye ezt anélkül, hogy a szállítót kérdezné. Tegye ezt hálózat nélkül. Tegye ezt az Ön ellenőrzése alatt álló hardveren.
Ezt könnyű alábecsülni. Egy irányítópult azt a érzést keltheti a csapatban, hogy tájékozottak, de egy parancs ismételhetővé teszi az auditot. Ha a bizonyíték ellenőrizhető egy shellből vagy egy CI-feladatból, akkor beépíthető a szervezet szokásos kontrolljaiba. Az új döntések tanúsítványokat bocsáthatnak ki. A tárolt rekordok mintavételezhetők. Az incidensfelülvizsgálatok lejátszhatják a pontos artefaktumot, ahelyett hogy telemetriából rekonstruálnának egy történetet.
A benchmark bináris ugyanebbe a beszélgetésbe tartozik. Ha egy csapatnak a saját hardverén kell mérnie az AION-t, megteheti. Ez nem hoz létre hamis teljesítményigényt; elkerüli azt. Az oldal nem kéri az olvasót, hogy higgyen egy megalapozatlan számnak. Lehetőséget ad az olvasónak, hogy megmérje a megvalósítást abban a környezetben, amely számít.
Egy igazgatóság számára a kérdés egyszerűvé válik: meg tudjuk-e még magyarázni a döntéseinket, amikor az eredeti alkalmazás már nincs meg, amikor egy szabályozó kéri a bizonyítékot, vagy amikor egy ügyfél megkérdőjelezi az eredményt? Az AION ezt egy megbeszélésből működési eljárássá változtatja.
Hol ér véget a Ledger, és hol kezdődik az AION
A Dweve-nek több mint egy nyílt forráskódú felülete van, mert az elszámoltathatóságnak több formája van. A Ledger rögzíti, mi történt egy rendszerben: eseményeket, hash-eket, a bizonyítékok láncát. Az AION rögzíti, miért következett egy következtetés egy döntésen belül. Mindkettő hasznos. Nem szabad összemosni őket.
Egy incidensfelülvizsgálatban a Ledger segíthet megállapítani, hogy egy kérés megérkezett, egy verzió aktív volt, egy kezelői művelet megtörtént, vagy egy rekordot írtak. Az AION segíthet megállapítani, hogy a premisszákból a következtetéshez vezető érvelési lépés érvényes volt. Ha ezeket összekeverik, a csapatok nagyon részletes idővonalakat kapnak, amelyek még mindig nem bizonyítják a döntést, vagy olyan bizonyíték-artefaktumokat, amelyek semmit sem mondanak a környező működési láncról.
A tiszta határvonal jó interfésztervezés. Lehetővé teszi, hogy minden felületet aszerint ítéljenek meg, hogy melyik kérdésre válaszol. Megtörtént ez az esemény? Ez a Ledger területe. Következett ez a következtetés? Ez az AION területe. A munkaterhelés a megfelelő helyen futott a megfelelő adatvédelmi primitívekkel? Ez az infrastruktúrához tartozik, ami a Mesh, nem az AION.
Egy nap az audit teremben
Képzelje el újra az auditot, de az AION-nal a folyamatban a kezdetektől. A szervezet nem hoz egy prezentációt, amely elmagyarázza, mennyire gondos a mérnöki csapat. Hoz egy döntést, egy tanúsítványt és egy reprodukálható ellenőrzési folyamatot.
Az auditor megkérdezi, hogy a rekord függ-e a szállító felhőjétől. Nem: az ellenőrzés offline történik. Az auditor megkérdezi, hogy szükség van-e egy speciális belső eszközre. Nem: a bizonyítás szabványos formátumokat használ, például LRAT, DRAT és Alethe, mögöttük egy egységes köztes formával. Az auditor megkérdezi, hogy az eredeti solvert újra kell-e futtatni. Nem: az ellenőr verifikálja a tanúsítványt. Az auditor megkérdezi, mi történik, ha a szervezet később szállítót vált. A tanúsítvány hordozható marad.
A beszélgetés nyugodtabbá válik, mert kevesebb rejtély van benne. A mérnöki csapat továbbra is beszélhet az architektúráról. Az üzlettulajdonos továbbra is beszélhet a kockázatról. De a központi bizonyíték már nem egy meggyőző előadás. Ez egy tárgy az asztalon.
Ez nem jelenti azt, hogy minden üzleti kérdés eltűnik. Egy tanúsítvány egy meghatározott dolgot bizonyít, nem pedig a döntés körüli minden erkölcsi, jogi vagy működési tulajdonságot. Az AION nem varázslat. Nem alakít át egy rossz politikát jóvá. Nem dönti el, hogy a premisszák méltányosak voltak-e. Bizonyítja a levezetést, amelyet rögzít. Ez az őszinteség része annak, miért hasznos.
A csendes UX, amikor nincs internet
Az offline ellenőrzés technikai részletnek tűnik egészen az első komoly auditig. Aztán felhasználói élmény funkcióvá válik. Senkinek sem kell ideiglenes hozzáférést kérnie egy szállítói környezethez. Senkinek sem kell tűzfalkivételt nyitnia, hogy az bizonyíték ellenőrizhető legyen. Senkinek sem kell reménykednie, hogy egy előfizetés még aktív egy régi rekordhoz.
A felhasználói élmény csendes, mert az ideális bizonyíték-ellenőrzés unalmas. A tanúsítvány jelen van. Az ellenőrző fut. A válasz elfogadásra vagy elutasításra kerül. Nincs ceremónia. Nincs fiók. Nincs új függőség. Fogyasztói nyelven ez egy nyugta. Mérnöki nyelven ez egy bizonyíték-objektum. Auditnyelven ez újra ellenőrizhető bizonyíték.
Ez azt is megváltoztatja, hogyan gondolkodnak a csapatok az archívumokról. Egy döntési rekord nem teljes, ha csak a kimenetet és egy időbélyeget tárol. Azoknál a döntéseknél, amelyeknek túl kell élniük az alapos vizsgálatot, a bizonyítékot a válasz mellé kell tárolni. Ha a munkafolyamat ezt természetessé teszi, a megfelelés kevésbé függ az utólagos, hősies dokumentációtól.
A "a bizonyíték a válasszal együtt szállítódik" kifejezés könnyen marketingként olvasható. A gyakorlatban ez egy tárolási szabály, egy folyamatszabály és egy tervezési szabály. A válasz önmagában nem a termék. A válasz plusz az ellenőrizhető tanúsítvány az.
Milyen érzés az átvétel
Az AION átvételének három egyszerű útja van a forrásanyagban: értékelés, mérnöki munka és megfelelés. Az értékelés azt jelenti, hogy elolvassuk a kódot és futtatunk példa bizonyítékokat bármilyen beszélgetés előtt. A mérnöki munka azt jelenti, hogy bekapcsoljuk a könyvtárat, hogy a meglévő rendszerek ellenőrizhető tanúsítványt bocsássanak ki. A megfelelés azt jelenti, hogy egy tárolt tanúsítványt offline újra ellenőrzünk az audit idején.
Ezek az utak szándékosan különbözőek. Egy biztonsági mérnök kezdheti az ellenőrzővel. Egy platformmérnök kezdheti a Rust csomaggal. Egy megfelelési felelős kezdheti egy mentett tanúsítvánnyal és egy auditból érkező kérdéssel. A jó vizsgálati utak lehetővé teszik, hogy különböző szerepek a saját ajtajukon keresztül érkezzenek, miközben ugyanazt a mögöttes objektumot érintik.
Az átvételi történet szintén nem kötődik egy értékesítési rituáléhoz. Ez azért számít, mert a bizonyítéknak intézményi bizalomra van szüksége. Ha egy bizonyítékrendszer első tapasztalata egy beszerzési szűk keresztmetszet, a rendszer már egy újabb függőségnek tűnik. Ha az első tapasztalat egy ellenőrizhető tanúsítvány, a rendszer eszköznek tűnik.
A nyílt forráskódú hozzáállás nem szünteti meg a mérnöki ítélőképesség szükségességét. A csapatoknak továbbra is el kell dönteniük, hol bocsátanak ki tanúsítványokat, hogyan tárolják őket, mely döntések igénylik őket, és hogyan válnak az ellenőrzési eredmények a kiadási és audit munkafolyamatok részévé. Az AION ezeket a döntéseket konkrétá teszi a retorikus helyett.
A tanulság
Az AION tanulsága az, hogy az auditálhatóság nem élhet csak a függelékben. Ha a bizonyíték elég fontos ahhoz, hogy megmutassák egy szabályozónak, betegnek, ügyfélnek vagy belső felülvizsgálónak, akkor elég fontos ahhoz, hogy magának a válaszcsomagnak a része legyen.
Ennek a csomagnak nem kell hangosnak lennie. Lehet egy parancs, egy könyvtár, egy tanúsítvány, egy tárolt objektum, egy CI-ellenőrzés vagy egy csendes nyugta, amelyet egy embernek jelenítenek meg. Az számít, hogy az eredeti döntési motortól eltérő személy ellenőrizni tudja. Az számít, hogy túléli az eszközök közötti és az időbeli mozgást. Az számít, hogy a szervezetnek nem kell kézzel bizonyítékká alakítania a bizalmat, miután a döntés már vitatottá vált.
Az AION nyílt forráskódú bizonyíték, mert a bizonyítéknak azokhoz kell tartoznia, akik rá támaszkodnak. Auditálható, mert a bizonyíték újra lejátszható. Ellenőrizhető, mert a bizonyíték nincs elrejtve a válasz mögött. Ez a válasz azon része, amely lehetővé teszi, hogy a válaszban megbízzanak.
Ez a hasznos állítás: nem az, hogy minden AI-döntés varázslatosan megoldódik, hanem hogy a fontos döntések megérdemelnek egy precíz felületet, ahol a munka látható. A gép válaszol. Az AION megmutatja a munkáját. Az ellenőrző dönti el, hogy ez a munka megállja-e a helyét.