AION robí rozhodnutia AI overiteľné
Miestnosť, kde je dôkaz viditeľný
Dôkaz sa prvýkrát stáva užitočným mimo kompilátora. Nie je ani v riešiteľovi. Je v miestnosti, kde všetci stratili trpezlivosť s vysvetleniami, ktoré znejú hodnoverne, ale nedajú sa prehrať.
Na stene je zvyčajne obrazovka. Niekto vyvesil rozhodnutie. Niekto iný vyvesil riadky z logov. Vlastník rizika sa pýta, či to uspokojí audit. Inžinier sa snaží vysvetliť, že model vytvoril skóre spoľahlivosti, systém uložil telemetriu a tím vie ukázať cestu aplikáciou. Slová sú opatrné. Miestnosť nie je presvedčená.
Problém nie je v tom, že ľudia v miestnosti sú proti AI. Problém je v tom, že poznajú rozdiel medzi tvrdením a dôkazom. Log hovorí, že sa niečo stalo. Skóre spoľahlivosti hovorí, ako silno sa systém prikláňal k odpovedi. Dodatočné vysvetlenie hovorí, na čom odpoveď možno závisela. Žiadny z týchto objektov nedokazuje kroky uvažovania v rámci rozhodnutia.
AION existuje pre tento okamih. Premení odpoveď na balík, ktorý obsahuje vlastnú prácu. Cesta kontroly nie je krajší dashboard okolo dôvery. Je to certifikát: prenosný, kontrolovateľný artefakt, ktorý môže iný overovateľ prečítať offline, v lineárnom čase, bez toho, aby musel pôvodného riešiteľa žiadať o obhajobu.
Tento rozdiel je dôležitý, pretože väčšina AI produktov stále žiada kupujúceho, aby prijal sľub. AION mení podobu sľubu. Hovorí: nedôverujte stroju, pretože znel sebavedomo. Nedôverujte dodávateľovi, pretože prezentácia hovorí o vysvetliteľnosti. Vezmite certifikát, spustite kontrolu a prijmite alebo odmietnite dôkaz na vlastnej infraštruktúre.
Prvá scéna: odpoveď nestačí
Predstavte si banku, ktorá zamieta žiadosť, nemocničný systém odporúčajúci postup, alebo verejný úrad používajúci softvér na smerovanie prípadu. Odpoveď môže byť užitočná. Môže byť dokonca správna. Ale ak sa dotknutá osoba spýta prečo, organizácia potrebuje viac než odsek napísaný dodatočne.
Starý operačný model siaha po tom, čo je už dostupné. Existujú aplikačné logy, ale sú neštruktúrované a často viazané na dodávateľa, ktorý ich vytvoril. Existujú skóre, ale skóre bez odvodenia je len číslo. Existujú generované vysvetlenia, ale keď ich vytvorí rovnaký systém, ktorý urobil rozhodnutie, známkuje si vlastnú domácu úlohu. Existujú uistenia dodávateľa, ale „verte nám“ nie je odpoveďou na audit.
AION to považuje za dizajnový problém, nie za problém komunikácie. Ak na rozhodnutí záleží, dôkaz musí cestovať s odpoveďou. Musí byť vytvorený v rovnakom okamihu. Musí prežiť obstarávanie, migráciu, preskúmanie incidentov a budúceho audítora s iným nástrojovým vybavením. Nemôže sa spoliehať na to, že vzdialená služba bude stále online. Nemôže vyžadovať, aby pôvodný riešiteľ znovu spustil prípad a dúfal, že pôjde opäť rovnakou cestou.
Preto dôkaz nie je dekorácia. Je to rozhranie. Používateľ ho môže vnímať ako potvrdenku. Inžinier ho môže vnímať ako príkaz. Audítor ho môže vnímať ako nezávislú kontrolu. Rovnaký objekt slúži všetkým trom, pretože to nie je príbeh o rozhodnutí. Je to usporiadané odvodenie stojace za rozhodnutím.
AION nie je rozhodovací engine
AION by sa nemal zamieňať so žiadnou inou súčasťou stacku Dweve. Nie je to Mesh, čo je infraštruktúra. Nie je to Ledger, ktorý zaznamenáva udalosti, ktoré sa stali v systéme. Nie je to všeobecný marketingový štítok pre transparentnosť. AION certifikuje kroky uvažovania v rámci jediného rozhodnutia.
Táto hranica je užitočná. Ledger vám môže povedať, že prišla požiadavka, služba sa vykonala, pracovník sa vrátil a záznam bol zapísaný. To je pôvod udalostí. AION odpovedá na užšiu a náročnejšiu otázku: pri týchto predpokladoch nasledoval tento záver zo zaznamenaných krokov? Rozdiel je rozdiel medzi časovou osou a dôkazom.
Zdrojová stránka opisuje AION ako knižnicu v jazyku Rust s binárkou pre príkazový riadok a binárkou pre benchmarky. Taktiež opisuje propozičné jadro CDCL s presnou racionálnou aritmetikou, obklopené teóriami uvažovania, s emitorom dôkazov, ktorý zaznamenáva každý krok ako usporiadanú deriváciu. Toto sú fakty o implementácii, ale stávajú sa dôležitejšími, keď sa na ne pozeráme ako na prevádzkové fakty. Používateľ nedostane len odpoveď. Používateľ dostane artefakt, ktorý možno vložiť, skontrolovať, otestovať a odniesť si ho.
Keď tím prepojí crate, spustí CLI z príkazového riadku alebo z úlohy CI, alebo zmeria implementáciu na vlastnom hardvéri, vyjde rovnaký certifikát. Táto rovnakosť je súčasťou zmluvy. Cesta prijatia by nemala meniť dôkazy. Hodnotenie obstarávania, technická integrácia a auditné prehratie potrebujú rovnaký objekt, nie tri nekompatibilné súhrny.
Čo certifikát mení
Certifikát mení vzťah moci okolo rozhodnutia AI. Bez neho organizácia, ktorá vlastní odpoveď, kontroluje aj väčšinu vysvetlenia. S ním možno odpoveď napadnúť samostatným kontrolórom. Dôkaz sa môže presunúť na iný stroj. Audítor ho môže prehrať bez sieťového pripojenia. Občan môže požiadať o potvrdenie a inštitúcia môže odovzdať niečo konkrétnejšie ako odsek.
To je dôvod, prečo je AION open-source materiál, a nie uzavretý doplnok na dodržiavanie predpisov. Stránka uvádza Apache 2.0, štandardné formáty dôkazov a domovskú stránku projektu na github.com/dweve-ai. Obchodná hodnota priamo vyplýva z tejto otvorenosti. Tím môže vyhodnotiť pred obchodným stretnutím. Môže ho prijať bez poplatku za kontrolu dôkazov na používateľa. Môže si uchovávať záznamy, ktoré zostanú užitočné, aj keď neskôr odíde od dodávateľa.
Certifikát tiež znižuje množstvo dôvery vloženej do pôvodného systému. Stroj, ktorý odpovedal, nie je jediným strojom v príbehu. Samostatný overovateľ číta certifikát a prechádza každú dedukciu proti jej predpokladom. Ak sa derivácia uzavrie, kontrolór ju prijme. Ak nie, odmietne ju. Nie je potrebný druhý akt presviedčania.
To je iná používateľská skúsenosť ako väčšina vysvetliteľnosti AI. AION nehovorí: „Tu je dôvod, prečo model pravdepodobne urobil toto.“ Hovorí: „Tu je objekt dôkazu. Skontrolujte ho.“ Práca sa presúva z interpretácie na overenie.
Open-source dohoda
Open source sa často predáva ako pohodlie pre vývojárov: prezrite si kód, forknite ho, pošlite opravy. AION uzatvára viac prevádzkovú dohodu. Ak má dôkaz rozhodnúť o tom, či organizácia dokáže obhájiť rozhodnutie AI, mechanizmus dôkazu nemôže byť čiernou skrinkou skrytou za rovnakým vzťahom s dodávateľom, ktorý rozhodnutie vytvoril.
Apache 2.0 je tu dôležitý, pretože robí prijatie bežným. Tím môže technológiu používať komerčne bez špeciálnej dohody len na to, aby si prečítal vlastné dôkazy. Štandardné formáty sú dôležité, pretože dôkaz by sa nemal stať nepoužiteľným, keď dodávateľ zmení stratégiu. Offline kontrola je dôležitá, pretože záznam auditu vytvorený dnes by sa mal dať overiť aj neskôr, aj keď sieť, účet alebo služba zmizne.
Toto je časť, ktorú obstarávacie tímy pochopia rýchlejšie, než inžinieri očakávajú. Prvá otázka nie je vždy, či je riešiteľ šikovný. Je to, či záznamy zostávajú pod kontrolou organizácie. Môže byť dôkaz uložený v archíve? Môže ho iný tím znovu skontrolovať počas auditu? Môže organizácia odísť bez straty významu svojich starých rozhodnutí? AION je navrhnutý tak, aby odpoveď mohla byť áno.
Preto musí byť dôkaz prenosný. Kód je otvorený, ale dôležitejšie je, že dôkaz nie je uväznený. Certifikát nie je snímka obrazovky. Nie je to vysvetľujúca stránka hosťovaná dodávateľom. Je to artefakt, ktorý si zachováva svoju užitočnosť, pretože formáty a cesta kontroly nie sú vlastnené jediným prostredím.
Vnútri povrchu dôkazu
Technické vnútro AION je zámerne presné. Stránka uvádza CDCL jadro, teórie pluginov, presnú racionálnu aritmetiku a emitor dôkazov. CDCL vyberá vetvy. Teoretické usudzovače rozširujú čiastočný model. Emitor dôkazov zaznamenáva rezolúcie a lemy. Výsledok sa exportuje ako LRAT, DRAT, Alethe alebo jednotný medziformát.
Tieto názvy môžu znieť ako jazyk z miestnosti riešiteľov, takže ich preložte do správania systému. Systém nehovorí len, že záver vyplýva. Zapisuje cestu. Nežiada overovateľa, aby dôveroval celému riešiteľovi. Dáva overovateľovi menšiu úlohu: prečítať certifikát, prejsť každú dedukciu a skontrolovať, či sa kroky uzatvárajú proti premisám.
Pokrytie teórií je dostatočne široké na to, aby bolo dôležité pre reálne systémy: výroková logika, kvantifikátory, lineárna a nelineárna aritmetika, bitové vektory, polia, reťazce, čísla s pohyblivou rádovou čiarkou, temporálna logika, pravdepodobnostné programy a súbežné programy. Aritmetické, dátové a floating-point usudzovače žijú v jadre; programové teórie sídlia v sprievodných crate-och. Toto rozdelenie nie je slogan. Je to spôsob, ako môže jeden povrch dôkazu pokryť rozhodnutia, ktoré sa dotýkajú viac ako jedného druhu uvažovania.
Presná racionálna aritmetika je tiež dizajnové vyhlásenie. Ak sa má dôkaz neskôr znovu skontrolovať, nemôže závisieť od vágnej nehody s pohyblivou rádovou čiarkou v aritmetickom jadre. Certifikát sa musí správať ako dôkaz, nie ako aproximácia, ktorá mení charakter pri presune medzi strojmi. Zdrojový materiál je explicitný: žiadna pohyblivá rádová čiarka v aritmetickom jadre.
Prečo príkazový riadok záleží predstavenstvu
Predstavenstvá sa zvyčajne nestarajú o nástroje príkazového riadku. Starajú sa o riziko, náklady, odchod a audit. Povrch príkazového riadku AION záleží, pretože komprimuje tieto obavy do opakovateľného úkonu. Spustite kontrolu. Dostanete prijatie alebo odmietnutie. Urobte to bez žiadosti dodávateľovi. Urobte to bez siete. Urobte to na hardvéri pod vašou kontrolou.
Toto sa dá ľahko podceniť. Dashboard môže tímu navodiť pocit, že je informovaný, ale príkaz môže z auditu urobiť opakovateľný proces. Keď sa dá dôkaz skontrolovať z príkazového riadku alebo z úlohy CI, dá sa zabudovať do bežných kontrol organizácie. Nové rozhodnutia môžu vydávať certifikáty. Uložené záznamy sa dajú vzorkovať. Preskúmanie incidentov môže prehrať presný artefakt namiesto toho, aby z telemetrie rekonštruovalo príbeh.
Benchmark binárka patrí do tej istej debaty. Ak tím potrebuje merať AION na vlastnom hardvéri, môže. Nevytvára to falošné tvrdenie o výkone; zabraňuje mu. Stránka nežiada čitateľa, aby veril nepodloženému číslu. Dáva čitateľovi spôsob, ako zmerať implementáciu v prostredí, na ktorom záleží.
Pre predstavenstvo je otázka jednoduchá: vieme stále vysvetliť naše rozhodnutia, keď pôvodná aplikácia zmizne, keď regulátor požiada o dôkazy, alebo keď zákazník spochybní výsledok? AION to mení zo stretnutia na prevádzkový postup.
Kde sa Ledger končí a AION začína
Dweve má viac ako jeden open-source povrch, pretože zodpovednosť má viac ako jednu podobu. Ledger zaznamenáva, čo sa v systéme stalo: udalosti, hashe, reťazec držby. AION zaznamenáva, prečo zo záveru vyplynul záver. Oboje je užitočné. Nemali by sa spájať.
Pri preskúmaní incidentu môže Ledger pomôcť preukázať, že požiadavka prišla, verzia bola aktívna, došlo k zásahu operátora alebo bol zapísaný záznam. AION môže pomôcť preukázať, že krok uvažovania od premís k záveru bol platný. Ak sa tieto veci zamiešajú, tímy skončia s veľmi podrobnými časovými osami, ktoré stále nedokazujú rozhodnutie, alebo s dôkaznými artefaktmi, ktoré nehovoria nič o okolitom prevádzkovom reťazci.
Jasná hranica je dobrý dizajn rozhrania. Umožňuje, aby bol každý povrch posudzovaný podľa otázky, na ktorú odpovedá. Stala sa táto udalosť? To je oblasť Ledgeru. Vyplynul tento záver? To je oblasť AIONu. Bežala práca na správnom mieste so správnym primitívom súkromia? To patrí infraštruktúre, teda Mesh, nie AIONu.
Deň v audítorskej miestnosti
Predstavte si audit znova, ale s AIONom v procese od začiatku. Organizácia neprináša prezentáciu, ktorá vysvetľuje, aký opatrný je technický tím. Prináša rozhodnutie, certifikát a reprodukovateľný proces kontroly.
Audítor sa pýta, či záznam závisí od cloudu dodávateľa. Nie: kontrola prebieha offline. Audítor sa pýta, či je potrebný špeciálny interný nástroj. Nie: dôkaz používa štandardné formáty ako LRAT, DRAT a Alethe, s jednotnou medziformou za nimi. Audítor sa pýta, či sa pôvodný solver musí spustiť znova. Nie: kontrolór overuje certifikát. Audítor sa pýta, čo sa stane, ak organizácia neskôr zmení dodávateľa. Certifikát zostáva prenosný.
Rozhovor sa stáva pokojnejším, pretože má menej záhad. Technický tím môže stále diskutovať o architektúre. Vlastník podniku môže stále diskutovať o riziku. Ale ústredný dôkaz už nie je presvedčivé vystúpenie. Je to objekt na stole.
To neznamená, že každá obchodná otázka zmizne. Certifikát dokazuje definovanú vec, nie každú morálnu, právnu alebo prevádzkovú vlastnosť okolo rozhodnutia. AION nie je mágia. Nezmení zlú politiku na dobrú. Nerozhoduje o tom, či boli premisy spravodlivé. Dokazuje odvodenie, ktoré zaznamenáva. Táto úprimnosť je súčasťou toho, prečo je užitočný.
Tiché UX bez internetu
Offline overovanie znie ako technický detail, až kým nepríde prvý vážny audit. Potom sa z neho stane funkcia používateľského zážitku. Nikto nemusí žiadať dočasný prístup do prostredia dodávateľa. Nikto nemusí otvárať výnimku vo firewalle, aby bolo možné skontrolovať dôkazy. Nikto nemusí dúfať, že predplatné na starý záznam je stále aktívne.
Používateľský zážitok je tichý, pretože ideálna kontrola dôkazu je nudná. Certifikát je prítomný. Overovač beží. Odpoveď je prijatá alebo zamietnutá. Žiadny ceremoniál. Žiadny účet. Žiadna nová závislosť. V jazyku spotrebiteľa je to potvrdenka. V jazyku inžinierstva je to artefakt dôkazu. V jazyku auditu je to dôkaz, ktorý možno znova skontrolovať.
Toto tiež mení spôsob, akým tímy premýšľajú o archívoch. Záznam rozhodnutia nie je úplný, ak uchováva iba výstup a časovú pečiatku. Pre rozhodnutia, ktoré musia prežiť kontrolu, musí byť dôkaz uložený vedľa odpovede. Ak pracovný postup toto robí prirodzeným, súlad sa stáva menej závislým od hrdinského dokumentovania po udalosti.
Frázu "dôkaz sa dodáva s odpoveďou" je ľahké čítať ako marketing. V praxi je to pravidlo ukladania, pravidlo procesu a pravidlo návrhu. Samotná odpoveď nie je produkt. Odpoveď plus kontrolovateľný certifikát je.
Ako vyzerá prijatie
Prijatie AION má v zdrojovom materiáli tri jasné cesty: hodnotenie, inžinierstvo a súlad. Hodnotenie znamená prečítať kód a spustiť príklady dôkazov pred akoukoľvek konverzáciou. Inžinierstvo znamená prepojiť knižnicu tak, aby existujúce systémy vydávali kontrolovateľný certifikát. Súlad znamená znova skontrolovať uložený certifikát offline v čase auditu.
Tieto cesty sú zámerne odlišné. Bezpečnostný inžinier môže začať s overovačom. Platformový inžinier môže začať s Rust crate. Vlastník súladu môže začať s uloženým certifikátom a otázkou z auditu. Dobré cesty kontroly umožňujú rôznym rolám prísť vlastnými dverami, pričom sa stále dotýkajú toho istého základného objektu.
Príbeh prijatia tiež nie je viazaný na predajný rituál. To je dôležité, pretože dôkaz potrebuje inštitucionálnu dôveru. Ak je prvou skúsenosťou so systémom dôkazov úzke miesto v obstarávaní, systém už pôsobí ako ďalšia závislosť. Ak je prvou skúsenosťou certifikát, ktorý možno skontrolovať, systém pôsobí ako nástroj.
Postoj otvoreného zdroja neodstraňuje potrebu inžinierskeho úsudku. Tímy stále musia rozhodnúť, kde sa certifikáty vydávajú, ako sa ukladajú, ktoré rozhodnutia ich vyžadujú a ako sa výsledky overovania stávajú súčasťou pracovných postupov vydávania a auditu. AION robí tieto rozhodnutia konkrétnymi namiesto rétorických.
Ponaučenie
Ponaučenie z AION je, že auditovateľnosť nemôže žiť iba v prílohe. Ak je dôkaz dostatočne dôležitý na to, aby sa ukázal regulátorovi, pacientovi, zákazníkovi alebo internému recenzentovi, je dostatočne dôležitý na to, aby bol súčasťou samotného balíka odpovede.
Tento balík nemusí byť hlučný. Môže to byť príkaz, knižnica, certifikát, uložený artefakt, kontrola CI alebo tichá potvrdenka zobrazená človeku. Dôležité je, že ho môže skontrolovať niekto iný ako pôvodný rozhodovací engine. Dôležité je, že prežije pohyb medzi nástrojmi a časom. Dôležité je, že organizácia nemusí ručne premieňať dôveru na dôkaz po tom, čo sa rozhodnutie už stalo kontroverzným.
AION je dôkaz s otvoreným zdrojom, pretože dôkaz musí patriť ľuďom, ktorí sa naň spoliehajú. Je to auditovateľnosť, pretože dôkaz možno prehrať znova. Je kontrolovateľný, pretože dôkaz nie je skrytý za odpoveďou. Je to časť odpovede, ktorá umožňuje, aby sa odpovedi dôverovalo.
To je užitočné tvrdenie: nie že každé rozhodnutie AI je magicky vyriešené, ale že dôležité rozhodnutia si zaslúžia presný povrch, kde je práca viditeľná. Stroj odpovedá. AION mu umožňuje ukázať svoju prácu. Overovač rozhoduje, či táto práca obstojí.