AION tekee tekoälypäätökset tarkistettaviksi
Tila, jossa todiste on näkyvissä
Todisteesta tulee hyödyllinen vasta kääntäjän ulkopuolella. Se ei ole ratkaisijassakaan. Se on tilassa, jossa kaikilla on loppunut kärsivällisyys selityksiin, jotka kuulostavat uskottavilta mutta joita ei voi toistaa.
Seinällä on yleensä näyttö. Joku on laittanut päätöksen esille. Joku toinen on laittanut lokirivit esille. Riskinomistaja kysyy, täyttääkö tämä auditoinnin vaatimukset. Insinööri yrittää selittää, että malli tuotti luottamusarvion, järjestelmä tallensi telemetriaa ja tiimi pystyy näyttämään polun sovelluksen läpi. Sanat ovat huolellisia. Tila ei vakuutu.
Ongelma ei ole se, että tilassa olevat ihmiset suhtautuisivat vihamielisesti tekoälyyn. Ongelma on se, että he tietävät eron väitteen ja todisteen välillä. Loki kertoo, että jotain tapahtui. Luottamusarvio kertoo, kuinka voimakkaasti järjestelmä kallistui tiettyyn vastaukseen. Jälkikäteen laadittu selitys kertoo, mistä vastaus on saattanut riippua. Mikään näistä objekteista ei todista päätöksen sisällä olevia päättelyvaiheita.
AION on olemassa juuri sitä hetkeä varten. Se muuttaa vastauksen paketiksi, joka sisältää oman työnsä. Tarkastuspolku ei ole kauniimpi hallintapaneeli luottamuksen ympärillä. Se on sertifikaatti: kannettava, tarkistettava artefakti, jonka toinen varmennin voi lukea offline-tilassa lineaarisessa ajassa ilman, että alkuperäisen ratkaisijan tarvitsee puolustautua.
Tämä ero on tärkeä, koska useimmat tekoälytuotteet pyytävät edelleen ostajaa hyväksymään lupauksen. AION muuttaa lupauksen muodon. Se sanoo: älä luota koneeseen, koska se kuulosti varmalta. Älä luota toimittajaan, koska esitys sanoo selitettävä. Ota sertifikaatti, suorita tarkistus ja hyväksy tai hylkää todiste omalla infrastruktuurillasi.
Ensimmäinen kohtaus: vastaus ei riitä
Kuvittele pankki, joka hylkää hakemuksen, sairaalajärjestelmä, joka suosittelee hoitopolun, tai julkinen virasto, joka käyttää ohjelmistoa asian ohjaamiseen. Vastaus voi olla hyödyllinen. Se voi olla jopa oikea. Mutta jos asianomainen kysyy miksi, organisaatio tarvitsee enemmän kuin jälkikäteen kirjoitetun kappaleen.
Vanha toimintamalli tarttuu siihen, mitä on jo saatavilla. Sovelluslokeja on, mutta ne ovat jäsentymättömiä ja usein sidottuja niitä luoneeseen toimittajaan. Pisteitä on, mutta pisteet ilman johtamista ovat vain numero. Luotuja selityksiä on, mutta kun ne tuottaa sama järjestelmä, joka teki päätöksen, ne arvioivat omaa työtään. Toimittajan vakuutuksia on, mutta "luota meihin" ei ole vastaus auditointiin.
AION käsittelee tätä suunnitteluongelmana, ei viestintäongelmana. Jos päätöksellä on merkitystä, todisteen on kuljettava vastauksen mukana. Se on tuotettava samalla hetkellä. Sen on kestettävä hankinta, migraatio, poikkeamatarkastelu ja tuleva auditoija, jolla on erilainen työkaluketju. Se ei voi luottaa siihen, että etäpalvelu on edelleen verkossa. Se ei voi vaatia, että alkuperäinen ratkaisija ajaa tapauksen uudelleen ja toivoo sen kulkevan samaa reittiä uudestaan.
Siksi todiste ei ole koriste. Se on käyttöliittymä. Käyttäjä voi kokea sen kuitina. Insinööri voi kokea sen komentona. Auditoija voi kokea sen riippumattomana tarkistuksena. Sama objekti palvelee kaikkia kolmea, koska se ei ole kertomus päätöksestä. Se on järjestetty johtaminen päätöksen takana.
AION ei ole päätösmoottori
AIONia ei pidä sekoittaa mihin tahansa muuhun Dweve-pinon osaan. Se ei ole Mesh, joka on infrastruktuuria. Se ei ole Ledger, joka tallentaa järjestelmässä tapahtuneet tapahtumat. Se ei ole yleinen läpinäkyvyyden markkinointitermi. AION varmentaa päättelyvaiheet yhden päätöksen sisällä.
Tämä rajaus on hyödyllinen. Ledger voi kertoa, että pyyntö saapui, palvelu suoritettiin, työntekijä palasi ja tietue kirjoitettiin. Se on tapahtumaprovinienssi. AION vastaa suppeampaan ja vaikeampaan kysymykseen: annetuista premisseistä seurasiko tämä johtopäätös tallennettujen vaiheiden kautta? Ero on aikajanan ja todistuksen välinen ero.
Lähdesivu kuvaa AIONia Rust-kirjastona, jossa on komentorivibinaari ja suorituskykymittausbinaari. Se kuvaa myös CDCL-propositionaalisen ytimen tarkalla rationaalilukuaritmetiikalla, jota ympäröivät teoriaratkaisijat, ja todistusemitterin, joka tallentaa jokaisen vaiheen järjestettynä johtamisena. Nämä ovat toteutustietoja, mutta ne muuttuvat tärkeämmiksi, kun niitä tarkastellaan operatiivisina tietoina. Käyttäjä ei saa vain vastausta. Käyttäjä saa artefaktin, joka voidaan upottaa, tarkistaa, mitata ja viedä mukana.
Kun tiimi linkittää crate-paketin, ajaa CLI:tä shellistä tai CI-työstä tai mittaa toteutusta omalla laitteistollaan, sama sertifikaatti tulee ulos. Tämä samanlaisuus on osa sopimusta. Käyttöönottopolku ei saa muuttaa todisteita. Hankinta-arviointi, insinööri-integraatio ja auditointitoisto tarvitsevat kaikki saman objektin, eivät kolmea yhteensopimatonta yhteenvetoa.
Mitä sertifikaatti muuttaa
Sertifikaatti muuttaa valtasuhdetta tekoälypäätöksen ympärillä. Ilman sitä vastauksen hallussaan pitävä organisaatio hallitsee myös suurimman osan selityksestä. Sen kanssa vastauksen voi haastaa erillinen tarkistin. Todistus voidaan siirtää toiselle koneelle. Auditoija voi toistaa sen ilman verkkoyhteyttä. Kansalainen voi pyytää kuittia, ja instituutio voi luovuttaa jotain konkreettisempaa kuin kappaleen tekstiä.
Tästä syystä AION on avoimen lähdekoodin materiaalia eikä suljettu vaatimustenmukaisuuslisäosa. Sivu mainitsee Apache 2.0:n, vakiomuotoiset todistusformaatit ja projektin kotisivun osoitteessa github.com/dweve-ai. Liiketoiminnallinen arvo seuraa suoraan tästä avoimuudesta. Tiimi voi arvioida ennen myyntipuhelua. Se voi ottaa käyttöön ilman käyttäjäkohtaista todistuksenlukumaksua. Se voi säilyttää tietueita, jotka pysyvät hyödyllisinä, vaikka se myöhemmin jättäisi toimittajan.
Sertifikaatti vähentää myös alkuperäiseen järjestelmään kohdistuvan luottamuksen määrää. Vastauksen antanut kone ei ole ainoa kone tarinassa. Erillinen varmennin lukee sertifikaatin ja käy jokaisen päättelyvaiheen läpi sen premissejä vasten. Jos johtaminen sulkeutuu, tarkistin hyväksyy. Jos ei, se hylkää. Toista suostuttelun vaihetta ei tarvita.
Tämä on erilainen käyttäjäkokemus kuin useimmissa tekoälyn selitettävyysratkaisuissa. AION ei sano: "Tässä on syy, miksi malli todennäköisesti teki näin." Se sanoo: "Tässä on todistusobjekti. Tarkista se." Työ siirtyy tulkinnasta varmennukseen.
Avoimen lähdekoodin sopimus
Avoin lähdekoodi myydään usein kehittäjän mukavuutena: tutki koodia, forkkaa se, lähetä korjauksia. AION tekee operatiivisemman sopimuksen. Jos todistus ratkaisee, voiko organisaatio puolustaa tekoälypäätöstä, todistusmekanismi ei voi olla musta laatikko, joka on piilotettu saman toimittajasuhteen taakse, joka tuotti päätöksen.
Apache 2.0 on tässä tärkeä, koska se tekee käyttöönotosta tavallista. Tiimi voi käyttää teknologiaa kaupallisesti ilman erillistä sopimusta vain lukeakseen oman todisteensa takaisin. Vakiomuotoiset formaatit ovat tärkeitä, koska todistuksen ei pitäisi muuttua hyödyttömäksi, kun toimittaja muuttaa strategiaansa. Offline-tarkistus on tärkeää, koska tänään tehdyn auditointitietueen pitäisi silti varmistua myöhemmin, vaikka verkko, tili tai palvelu olisi kadonnut.
Tämä on osa, jonka hankintaosastot ymmärtävät nopeammin kuin insinöörit odottavat. Ensimmäinen kysymys ei ole aina se, onko ratkaisija älykäs. Se on se, pysyvätkö tallenteet organisaation hallinnassa. Voidaanko todisteet tallentaa arkistoon? Voiko toinen tiimi tarkistaa ne uudelleen auditoinnin yhteydessä? Voiko organisaatio lähteä menettämättä vanhojen päätöstensä merkitystä? AION on suunniteltu niin, että vastaus voi olla kyllä.
Siksi todisteiden on oltava siirrettäviä. Koodi on avointa, mutta suurempi pointti on, että todisteet eivät ole loukussa. Sertifikaatti ei ole kuvakaappaus. Se ei ole toimittajan ylläpitämä selityssivu. Se on artefakti, joka säilyttää käyttökelpoisuutensa, koska formaatit ja tarkistuspolku eivät ole yhden ajonaikaisen ympäristön omistuksessa.
Todistepinnan sisällä
AIONin tekninen sisusta on tarkoituksellisen täsmällinen. Sivu nimeää CDCL-ytimen, teoriapluginien, tarkan rationaalilukuaritmetiikan ja todiste-emitterin. CDCL valitsee haarat. Teoriapäätelmät laajentavat osittaista mallia. Todiste-emitteri tallentaa resoluutiot ja lemmat. Tulos viedään ulos LRAT-, DRAT-, Alethe- tai yhtenäisenä välimuotona.
Nämä nimet voivat kuulostaa ratkaisijahuoneen kieleltä, joten käännä ne järjestelmän käyttäytymiseksi. Järjestelmä ei vain sano, että johtopäätös seuraa. Se kirjoittaa reitin ylös. Se ei pyydä varmenninta luottamaan koko ratkaisijaan. Se antaa varmenninta pienemmän tehtävän: lue sertifikaatti, käy läpi jokainen päättely ja tarkista, että vaiheet sulkeutuvat premissejä vasten.
Teorian kattavuus on riittävän laaja ollakseen merkityksellinen oikeille järjestelmille: propositiologiikka, kvanttorit, lineaarinen ja epälineaarinen aritmetiikka, bittivektorit, taulukot, merkkijonot, liukuluvut, temporaalilogiikka, todennäköisyyspohjaiset ohjelmat ja rinnakkaiset ohjelmat. Aritmetiikan, datan ja liukulukujen päättelyt elävät ytimessä; ohjelmateoriat sijaitsevat rinnakkaisissa crateissa. Tämä jako ei ole iskulause. Se on tapa, jolla yksi todistepinta voi kattaa päätöksiä, jotka koskettavat useampaa kuin yhtä päättelyn lajia.
Tarkka rationaalilukuaritmetiikka on myös suunnittelulausunto. Jos todiste tarkistetaan myöhemmin uudelleen, se ei voi riippua epämääräisestä liukulukuonnettomuudesta aritmetiikkaytimessä. Sertifikaatin on käyttäydyttävä kuin todiste, ei kuin approksimaatio, joka muuttaa luonnettaan siirrettäessä koneiden välillä. Lähdemateriaali on yksiselitteinen: ei liukulukuja aritmetiikkaytimessä.
Miksi komentorivi merkitsee hallitukselle
Hallitukset eivät yleensä välitä komentorivityökaluista. Ne välittävät riskistä, kustannuksista, poistumisesta ja auditoinnista. AIONin komentorivipinta on merkityksellinen, koska se puristaa nämä huolenaiheet toistettavaksi teoksi. Suorita tarkistus. Saat hyväksy tai hylkää. Tee se kysymättä toimittajalta. Tee se ilman verkkoa. Tee se laitteistolla, joka on hallinnassasi.
Tämä on helppo aliarvioida. Hallintapaneeli voi saada tiimin tuntemaan olevansa perillä asioista, mutta komento voi tehdä auditoinnista toistettavan. Kun todisteita voidaan tarkistaa komentoriviltä tai CI-ajosta, ne voidaan rakentaa organisaation normaaleihin kontrolleihin. Uudet päätökset voivat tuottaa sertifikaatteja. Tallennettuja tietoja voidaan otantaa. Tapahtumien jälkianalyyseissä voidaan toistaa tarkka artefakti sen sijaan, että tarina rakennettaisiin uudelleen telemetriasta.
Vertailuarvo-binääri kuuluu samaan keskusteluun. Jos tiimin on mitattava AIONia omalla laitteistollaan, se voi. Tämä ei luo väärennettyä suorituskykyväitettä; se välttää sellaisen. Sivu ei pyydä lukijaa uskomaan perusteetonta lukua. Se antaa lukijalle keinon mitata toteutus siinä ympäristössä, jolla on merkitystä.
Hallitukselle kysymys yksinkertaistuu: voimmeko edelleen selittää päätöksemme, kun alkuperäinen sovellus on poissa, kun sääntelijä pyytää todisteita tai kun asiakas haastaa lopputuloksen? AION muuttaa tämän kokouksesta toimintaohjeeksi.
Missä Ledger loppuu ja AION alkaa
Dwevellä on useampi kuin yksi avoimen lähdekoodin pinta, koska vastuullisuudella on useampi kuin yksi muoto. Ledger tallentaa, mitä järjestelmässä tapahtui: tapahtumat, hajautusarvot, säilytysketjun. AION tallentaa, miksi johtopäätös seurasi päätöksen sisällä. Molemmat ovat hyödyllisiä. Niitä ei pidä yhdistää.
Tapahtumien jälkianalyysissä Ledger voi auttaa osoittamaan, että pyyntö saapui, versio oli käytössä, käyttäjän toiminto tapahtui tai tietue kirjoitettiin. AION voi auttaa osoittamaan, että päättelyaskel premisseistä johtopäätökseen oli pätevä. Jos nämä sekoitetaan, tiimit päätyvät hyvin yksityiskohtaisiin aikajanoihin, jotka eivät silti todista päätöstä, tai todistusartefakteihin, jotka eivät kerro mitään ympäröivästä operatiivisesta ketjusta.
Selkeä raja on hyvää käyttöliittymäsuunnittelua. Se antaa kullekin pinnalle mahdollisuuden tulla arvioiduksi sen kysymyksen perusteella, johon se vastaa. Tapahtuiko tämä tapahtuma? Se on Ledgerin aluetta. Seurasiko tämä johtopäätös? Se on AIONin aluetta. Suoritettiinko työkuorma oikeassa paikassa oikealla yksityisyysprimitiivillä? Se kuuluu infrastruktuuriin, eli Meshiin, ei AIONiin.
Päivä auditointihuoneessa
Kuvittele auditointi uudelleen, mutta AION mukana alusta alkaen. Organisaatio ei tuo dioja, jotka selittävät, kuinka huolellinen suunnittelutiimi on. Se tuo päätöksen, sertifikaatin ja toistettavan tarkistusprosessin.
Auditoija kysyy, riippuuko tietue toimittajan pilvestä. Ei: tarkistus toimii offline-tilassa. Auditoija kysyy, vaaditaanko erityistä sisäistä työkalua. Ei: todiste käyttää vakioformaatteja, kuten LRAT, DRAT ja Alethe, ja niiden takana on yhtenäinen välimuoto. Auditoija kysyy, onko alkuperäinen ratkaisija ajettava uudelleen. Ei: tarkistin varmistaa sertifikaatin. Auditoija kysyy, mitä tapahtuu, jos organisaatio myöhemmin vaihtaa toimittajaa. Sertifikaatti pysyy siirrettävänä.
Keskustelusta tulee rauhallisempaa, koska siinä on vähemmän mysteerejä. Suunnittelutiimi voi edelleen keskustella arkkitehtuurista. Liiketoiminnan omistaja voi edelleen keskustella riskistä. Mutta keskeinen todiste ei ole enää vakuuttava esitys. Se on esine pöydällä.
Tämä ei tarkoita, että kaikki liiketoimintakysymykset katoavat. Sertifikaatti todistaa määritellyn asian, ei jokaista moraalista, oikeudellista tai operatiivista ominaisuutta päätöksen ympärillä. AION ei ole taikaa. Se ei muuta huonoa politiikkaa hyväksi. Se ei päätä, olivatko premissit oikeudenmukaisia. Se todistaa johdannon, jonka se tallentaa. Tämä rehellisyys on osa sitä, miksi se on hyödyllinen.
Ei internettiä -käyttöliittymän hiljainen käytettävyys
Offline-varmentaminen kuulostaa tekniseltä yksityiskohdalta, kunnes ensimmäinen vakava auditointi tulee eteen. Sitten siitä tulee käyttäjäkokemusominaisuus. Kenenkään ei tarvitse pyytää väliaikaista pääsyä toimittajan ympäristöön. Kenenkään ei tarvitse avata palomuuripoikkeusta, jotta todisteet voidaan tarkistaa. Kenenkään ei tarvitse toivoa, että tilaus on edelleen voimassa vanhan tietueen kohdalla.
Käyttäjäkokemus on hiljainen, koska ihanteellinen todisteen tarkistus on tylsää. Sertifikaatti on läsnä. Tarkistin suoritetaan. Vastaus hyväksytään tai hylätään. Ei seremonioita. Ei tiliä. Ei uutta riippuvuutta. Kuluttajakielellä se on kuitti. Tekniikan kielellä se on todisteartefakti. Auditointikielellä se on todistusaineistoa, joka voidaan tarkistaa uudelleen.
Tämä muuttaa myös sitä, miten tiimit ajattelevat arkistoista. Päätöstietue ei ole täydellinen, jos se tallentaa vain tuloksen ja aikaleiman. Päätöksille, joiden on kestettävä tarkastelua, todiste on tallennettava vastauksen viereen. Jos työnkulku tekee siitä luontevaa, vaatimustenmukaisuus ei ole niin riippuvaista sankarillisesta dokumentoinnista jälkikäteen.
Ilmaus "todiste kulkee vastauksen mukana" on helppo lukea markkinointina. Käytännössä se on tallennussääntö, prosessisääntö ja suunnittelusääntö. Pelkkä vastaus ei ole tuote. Vastaus yhdessä tarkistettavan sertifikaatin kanssa on.
Miltä käyttöönotto tuntuu
AIONin käyttöönotossa on kolme selkeää reittiä lähdemateriaalissa: arviointi, tekniikka ja vaatimustenmukaisuus. Arviointi tarkoittaa koodin lukemista ja esimerkkitodisteiden suorittamista ennen keskustelua. Tekniikka tarkoittaa kirjaston linkittämistä, jotta olemassa olevat järjestelmät tuottavat tarkistettavan sertifikaatin. Vaatimustenmukaisuus tarkoittaa tallennetun sertifikaatin uudelleentarkistamista offline-tilassa auditointihetkellä.
Nämä reitit ovat tarkoituksella erilaisia. Tietoturvainsinööri voi aloittaa tarkistimesta. Alustainsinööri voi aloittaa Rust-kirjastosta. Vaatimustenmukaisuudesta vastaava voi aloittaa tallennetusta sertifikaatista ja auditoinnin kysymyksestä. Hyvät tarkastelupolut antavat eri roolien saapua omasta ovestaan ja koskettaa silti samaa taustalla olevaa kohdetta.
Käyttöönottotarina ei myöskään ole sidottu myyntirituaaliin. Tämä on tärkeää, koska todisteet tarvitsevat institutionaalista luottamusta. Jos ensimmäinen kokemus todistejärjestelmästä on hankinnan pullonkaula, järjestelmä tuntuu jo toiselta riippuvuudelta. Jos ensimmäinen kokemus on sertifikaatti, joka voidaan tarkistaa, järjestelmä tuntuu työkalulta.
Avoimen lähdekoodin asenne ei poista teknisen harkinnan tarvetta. Tiimien on edelleen päätettävä, missä sertifikaatit tuotetaan, miten ne tallennetaan, mitkä päätökset niitä vaativat ja miten varmennustulokset tulevat osaksi julkaisu- ja auditointityönkulkuja. AION tekee näistä päätöksistä konkreettisia retoriikan sijaan.
Opetus
AIONin opetus on, että auditoitavuus ei voi elää vain liitteessä. Jos todisteet ovat tarpeeksi tärkeitä näytettäväksi viranomaiselle, potilaalle, asiakkaalle tai sisäiselle tarkastajalle, ne ovat tarpeeksi tärkeitä ollakseen osa itse vastauspakettia.
Sen paketin ei tarvitse olla äänekäs. Se voi olla komento, kirjasto, sertifikaatti, tallennettu artefakti, CI-tarkistus tai hiljainen kuitti, joka näytetään ihmiselle. Tärkeää on, että joku muu kuin alkuperäinen päätösmoottori voi tarkistaa sen. Tärkeää on, että se säilyy siirrettäessä työkalujen ja ajan yli. Tärkeää on, että organisaation ei tarvitse muuttaa luottamusta todisteiksi käsin sen jälkeen, kun päätöksestä on jo tullut kiistanalainen.
AION on avoimen lähdekoodin todiste, koska todisteiden on kuuluttava ihmisille, jotka luottavat niihin. Se on auditoitavuutta, koska todisteet voidaan toistaa. Se on tarkistettavaa, koska todiste ei ole piilossa vastauksen takana. Se on se osa vastausta, joka antaa vastaukselle mahdollisuuden tulla luotetuksi.
Se on hyödyllinen väite: ei se, että jokainen tekoälypäätös ratkeaa taianomaisesti, vaan että tärkeät päätökset ansaitsevat tarkan pinnan, jossa työ on näkyvissä. Kone vastaa. AION saa sen näyttämään työnsä. Tarkistin päättää, pitääkö työ kutinsa.