Muodollinen verifiointi: ainoa tapa tyydyttää tekoälysääntelijät

Sääntelijät eivät halua "95 % tarkkuutta". He haluavat todisteita. Miksi todennäköisyyspohjainen testaus ei riitä oikeudessa, ja miten formaali verifiointi...

Muodollinen verifiointi: ainoa tapa tyydyttää tekoälysääntelijät

Keskustelu, joka ei koskaan suju hyvin

Kuvittele tämä tilanne. Se toistuu joka viikko johtoryhmien kokouksissa ympäri Eurooppaa, FDA:n arviointikokouksissa ja vakuutusyhtiöiden riskinarviointiosastoilla. Tekoälyinsinööri esittelee uusinta järjestelmäänsä viranomaisille, juristeille tai riskinarvioijille.

"Autonominen insuliinipumppumme saavutti 99,97 prosentin tarkkuuden 50 miljoonassa testiskenaariossa", insinööri ilmoittaa ylpeänä ja siirtyy dialle, joka on täynnä vaikuttavia mittareita. "Huipputeknologiaa. Parempi kuin yksikään ihmisendokrinologi."

Huone hiljenee. Viranomainen nojautuu eteenpäin.

"Eli sanot siis", hän sanoo hitaasti, "että joka kymmenennestä tuhannesta tämän laitteen antamasta insuliiniannoksesta... kolme saattaa olla väärin?"

Insinööri vaihtaa asentoa vaivautuneesti. "No, tilastollisesti ottaen..."

"Pelkästään Saksassa noin 7 miljoonalla ihmisellä on diabetes, joka vaatii insuliinihoitoa. Jos jokainen saa vain neljä annosta päivässä, se tekee 28 miljoonaa annostelua päivässä. Sinun 0,03 prosentin virheprosentillasi..." Hän laskee muistilehtiöönsä. "Se on 8 400 mahdollista annosteluvirhettä. Joka ikinen päivä."

"Mutta suurin osa niistä ei olisi kliinisesti merkittäviä..."

"Voitko kertoa, mitkä niistä olisivat?"

Hiljaisuus.

"Voitko kertoa, milloin seuraava vika ilmenee? Voitko kertoa, miksi se pettää?"

Lisää hiljaisuutta.

"Silloin emme valitettavasti voi hyväksyä tätä laitetta."

Kohtalokas aukko: testaus vs. verifiointiTodennäköisyyspohjainen testaus"Ajoimme 50 miljoonaa testiä"99,97 % tarkkuus0,03 % = tuntematon vikatilaFormaali verifiointi"Todistimme matemaattisen ominaisuuden"100 % takuu (ominaisuudelle)Rikkominen matemaattisesti mahdotontaVaikutus todellisuudessa: Saksan insuliiniesimerkki7 miljoonaa diabeetikkoax 4 annosta/päiväx 0,03 % virhe= 8 400 virhettä/päiväKysymykset, joihin testaus ei vastaaMilloin seuraava vika ilmenee?Miksi se vikaantuu? Tuntematon.Verifiointi tuo varmuudenAnnos rajattu potilaan parametrien mukaanRikkominen on matemaattisesti mahdotonta

Tämä keskustelu toistuu eri muodoissaan jatkuvasti, kun tekoäly siirtyy tutkimuslaboratorioista fyysiseen maailmaan. Se paljastaa perustavanlaatuisen tietoteoreettisen aukon sen välillä, miten tekoälyinsinöörit ajattelevat turvallisuudesta ja miten sääntelijät, lakimiehet ja tuomioistuimet siitä ajattelevat.

Valvojat eivät hyväksy kokonaiskohtaisia tarkkuuslukuja, kun jäljellä oleva virheprosentti voi silti tarkoittaa tuhansia selittämättömiä korkean panoksen vikoja.

Kielimuuri, joka ei ole kielestä kiinni

Kun tekoälyinsinööri sanoo "99,97 prosentin tarkkuus", hän aidosti uskoo kuvaavansa jotain vaikuttavaa ja turvallista. Koneoppimisen vertailuarvojen maailmassa tuo luku olisi juhlimisen arvoinen. Siitä julkaistaisiin tutkimuspapereita. Sijoittajat innostuisivat.

Mutta valvoja kuulee jotain aivan muuta. Hän kuulee: "On pieni mutta nollasta poikkeava todennäköisyys, että tämä järjestelmä epäonnistuu katastrofaalisesti, emmekä tiedä milloin, missä tai miksi niin tapahtuu."

Tämä ei ole viestintäongelma. Ei ole kyse siitä, että insinöörit tarvitsisivat parempia esiintymistaitoja tai että valvojat tarvitsisivat teknistä koulutusta. Kyse on perustavanlaatuisesta ristiriidasta kahden erilaisen käsityksen välillä siitä, mitä "tietää, että jokin toimii" oikeastaan tarkoittaa.

Kuluttajaohjelmistoissa todennäköisyyksiin perustuvat menetelmät ovat täysin hyväksyttäviä. Jos Netflix suosittelee elokuvaa, jota vihaat, kukaan ei kuole. Jos Spotify ehdottaa kappaletta, joka ei sovi makuusi, pahin seuraus on lievä harmitus. Näillä järjestelmillä on varaa olla joskus väärässä, koska epäonnistumisen hinta on mitätön.

Mutta tekoäly on nopeasti siirtymässä kuluttajasuosituksista alueille, joilla epäonnistumisella on fyysisiä, oikeudellisia ja moraalisia seurauksia: autonomiset ajoneuvot tekevät sekunnin murto-osan päätöksiä jalankulkijoista, lääkinnälliset laitteet laskevat lääkeannoksia, teollisuusrobotit työskentelevät ihmistyöntekijöiden rinnalla, rahoitusjärjestelmät hyväksyvät tai hylkäävät luottoja, jotka ratkaisevat, voivatko perheet ostaa koteja.

Näillä alueilla "aika varmasti toimii" ei riitä. Tuomioistuimet eivät hyväksy todennäköisyysjakaumia todisteina. Vakuutusmatemaatikot eivät voi hinnoitella vakuutuksia tuntemattomille vikatiloille. Valvojat eivät voi hyväksyä laitteita, jotka saattavat tappaa ihmisiä syistä, joita kukaan ei osaa selittää.

Miksi testaus, olipa se kuinka laajaa tahansa, ei voi taata turvallisuutta

Tekoälyn arvioinnin hallitseva paradigma on nykyään empiirinen testaus erillisillä aineistoilla. Koulutat mallin aineistolla A ja arvioit sen sitten aineistolla B. Jos se suoriutuu hyvin aineistolla B, oletat sen "oppineen" taustalla olevan tehtävän ja yleistävän oppimansa todelliseen käyttöön.

Tässä lähestymistavassa on kolme perustavanlaatuista ongelmaa, joita mikään testausmäärä ei voi ratkaista.

Ongelma yksi: ääretön syöteavaruus

Testaaminen voi osoittaa vain virheiden olemassaolon, ei koskaan niiden puuttumista. Riippumatta siitä, kuinka monta testitapausta ajat, otat otoksen äärettömästä syöteavaruudesta. Lääkinnällistä laitetta ohjaavan järjestelmän on käsiteltävä paitsi kuvittelemiasi testiskenaarioita myös jokainen mahdollinen yhdistelmä potilaan fysiologiasta, ympäristöolosuhteista, anturilukemista ja reunatapauksista, joita todellinen maailma lopulta tuottaa.

Kuvittele, että yrität todistaa, ettei heinäsuovassa ole neuloja, poimimalla satunnaisesti heinänkorsia. Kun olet tutkinut miljoona kortta etkä ole löytänyt neuloja, et voi päätellä, että heinäsuova on neulaton. Voit vain sanoa, ettet ole vielä löytänyt yhtäkään. Testaus toimii samalla tavalla. Riippumatta siitä, kuinka monta skenaariota läpäisee, seuraava saattaa epäonnistua.

Ongelma kaksi: haitallisten syötteiden haavoittuvuus

Syvät neuroverkot ovat erityisen haavoittuvia haitallisille syötteille. Nämä ovat huolellisesti muokattuja häiriöitä, jotka saavat mallit epäonnistumaan katastrofaalisesti, vaikka ne näyttävät ihmistarkkailijoista normaaleilta.

Malli saattaa luokitella stop-merkit oikein 99,99 % ajasta, mutta pieni tarra tietyssä kohdassa voi saada sen luokittelemaan merkin itsevarmasti nopeusrajoitusmerkiksi. Malli saattaa tunnistaa sairauksia tarkasti tuhansista röntgenkuvista, mutta tietynlainen kohina, joka on näkymätöntä ihmisradiologeille, voi saada sen ohittamaan ilmeisiä kasvaimia.

Nämä eivät ole teoreettisia huolia. Tutkijat ovat osoittaneet adversariaalisia hyökkäyksiä jokaista merkittävää neuroverkkoarkkitehtuurien luokkaa vastaan. Hyökkäysten rakentaminen on yhä helpompaa, kun taas puolustuskeinot ovat edelleen puutteellisia.

Testaaminen ei voi suojata adversariaalisilta haavoittuvuuksilta, koska hyökkäyspinta on ääretön. Sinun pitäisi testata paitsi normaaleja syötteitä myös jokainen mahdollinen häiriömuunnelma jokaisesta normaalista syötteestä. Se on matemaattisesti mahdotonta.

Ongelma kolme: Jakauman muutos

Todellinen maailma ei pysy paikallaan. Se datan jakauma, jolla mallisi on koulutettu, muuttuu ajan myötä. Potilasjoukot muuttuvat. Ajo-olosuhteet kehittyvät. Valmistusprosessit vaihtelevat. Anturit kuluvat.

Malli, joka toimii täydellisesti tämän päivän datalla, voi epäonnistua hiljaa, kun huomisen data siirtyy sen koulutusjakauman ulkopuolelle. Ja toisin kuin selkeät virheet, jotka kaatavat ohjelmia, nämä epäonnistumiset tuottavat usein itsevarmoja, uskottavia mutta vääriä tulosteita.

Tämän päivän datalla testaaminen ei kerro mitään huomisen suorituskyvystä. Siihen mennessä, kun huomaat epäonnistumisen tuotannossa, vahinko on jo tapahtunut.

Testaamisen kolme ratkaisematonta ongelmaaÄäretön syöteavaruussyötteetTestaus: 4 pistettä tarkistettuÄärettömän monta pistettä jäljelläPoissaoloa ei voi todistaaVastustajan hyökkäyspintaSTOPkyltti+pienilaastari="Nopeusrajoitus 80"Ääretön hyökkäyspintaJakauman muutosKoulutusdataHuomisendataJakauman ajautuminenPotilaan muutoksetAnturin heikkeneminenTulevaisuutta ei voi testataPerustavanlaatuinen rajoiteTestaus voi osoittaa bugien LÄSNÄOLONTestaus EI voi osoittaa bugien POISSAOLOAFormaali verifiointi: Matemaattinen vaihtoehtoTodistaa ominaisuuksien pätevän KAIKILLE syötteille, ei vain testatuille näytteille
Laaja testaus poimii näytteitä heinäsuovasta; formaali verifiointi kysyy, voiko vaarallinen neula olla olemassa annettujen rajoitusten puitteissa.

Formaali verifiointi: matematiikka turvallisuuden yleiskielenä

Formaali verifiointi tarjoaa täysin erilaisen lähestymistavan. Sen sijaan että kysyttäisiin "toimiko järjestelmä näissä testitapauksissa?", kysytään "voimmeko matemaattisesti todistaa, että järjestelmä täyttää ominaisuuden kaikilla mahdollisilla syötteillä?"

Ero on perustavanlaatuinen. Testaus poimii näytteitä syöteavaruudesta. Verifiointi päättelyllä kattaa koko avaruuden.

Tarkastellaan robottikättä, joka työskentelee ihmisten rinnalla tehtaassa. Haluamme taata turvallisuusominaisuuden: "Käsivarren nopeus ei saa koskaan ylittää 2 metriä sekunnissa, kun ihminen havaitaan 1 metrin etäisyydellä."

Testauspohjainen lähestymistapa ajaa käsivarren tuhansien skenaarioiden läpi simuloiduilla ihmisillä eri asennoissa ja nopeuksissa ja mittaa, rikotaanko turvallisuusrajaa koskaan. Jos rikkomuksia ei havaita, järjestelmä julistetaan "turvalliseksi". Mutta seuraava skenaario, sitä jota ei testattu, saattaa olla se, joka vahingoittaa työntekijää.

Verifiointipohjainen lähestymistapa on perustavanlaatuisesti erilainen. Otamme ohjausjärjestelmän matemaattisen mallin, mukaan lukien hermoverkon, joka käsittelee anturidataa, ja säätimen, joka tuottaa moottorikomennot. Ilmaisemme turvallisuusominaisuuden formaalina rajoitteena. Sitten käytämme erikoistuneita algoritmeja, joita kutsutaan SMT-ratkaisijoiksi (Satisfiability Modulo Theories), vastataksemme tarkkaan kysymykseen: "Onko olemassa MITÄÄN syötekonfiguraatiota, kelvollisen toiminta-alueen sisällä, jolle lähtönopeus ylittää 2 m/s, kun ihmisen läheisyys havaitaan?"

Ratkaisija ei testaa satunnaisia pisteitä. Se analysoi koko järjestelmän matemaattista rakennetta. Se päättelyllä tarkastelee funktioavaruuden geometriaa. Jos se palauttaa "UNSAT" (tyydyttämätön), meillä on matemaattinen todiste siitä, että tällaista rikkovaa syötettä ei ole olemassa. Turvallisuusominaisuus pätee paitsi testaamiimme tapauksiin, myös jokaiseen mahdolliseen tapaukseen, joka voi koskaan ilmetä.

Tämä on ero lauseiden "tarkistin paljon siltoja, eikä yksikään romahtanut" ja "näiden materiaalien fysiikka takaa matemaattisesti, että tämä silta ei voi romahtaa tällä kuormalla" välillä. Toinen on empiirinen havainto, joka voi muuttua. Toinen on looginen varmuus.

Miksi moderni tekoäly vastustaa verifiointia

Jos formaali verifiointi on niin tehokasta, miksi kaikki eivät käytä sitä? Miksi yritykset kuten OpenAI ja Google luottavat "red teamingiin" (ihmiset yrittävät rikkoa mallin) matemaattisten todisteiden sijaan?

Vastaus piilee alan tekemissä arkkitehtuurivalinnoissa. Nykyaikaiset suuret kielimallit ja syvät neuroverkot on suunniteltu ilmaisuvoimaa, ei verifioitavuutta varten. Ne on optimoitu tuottamaan luovia tulosteita, ei olemaan matemaattisesti analysoitavissa.

Tyypillisessä transformatorimallissa on miljardeja tai biljoonia parametreja. Se käyttää monimutkaisia, epälineaarisia aktivointifunktioita, kuten GeLU tai Swish. Tällaisen järjestelmän verifioinnin matemaattinen monimutkaisuus kasvaa eksponentiaalisesti neuronien määrän ja verkon syvyyden myötä.

Ominaisuuden todistaminen miljardin parametrin transformatorille on laskennallisesti mahdotonta. Maailmankaikkeus ehtisi lämpökuolemaan ennen kuin ratkaisija olisi käynyt läpi kaikki matemaattiset haarat. Ala on rakentanut järjestelmiä, jotka ovat niin monimutkaisia, etteivät edes niiden luojat pysty täysin analysoimaan niitä.

Tämä on tietoinen suunnitteluvalinta, ei väistämättömyys. Ala on optimoinut toimintansa vaikuttavien demojen ja vertailuarvojen ympärille miettimättä, voitaisiinko syntyneitä järjestelmiä koskaan ottaa turvallisesti käyttöön säännellyissä ympäristöissä.

Dweve-arkkitehtuuri: todennettavaa jo suunnittelusta lähtien

Dwevellä teimme erilaisia arkkitehtonisia valintoja. Suunnittelimme järjestelmämme alusta alkaen todennettaviksi, koska ymmärsimme, että yritys- ja teollisuusasiakkaiden olisi ennen pitkää tyydytettävä sääntelijät, ei vain tehtävä heihin vaikutus.

Lähestymistapamme yhdistää kaksi keskeistä innovaatiota, jotka tekevät todentamisesta hallittavaa.

Binaaristen rajoitteiden etsintä: yksinkertaista matematiikkaa

Sen sijaan, että käyttäisimme massiivisia liukulukupohjaisia neuroverkkoja, joissa on miljardeja jatkuvia parametreja, Dweve-järjestelmät käyttävät binaaristen rajoitteiden etsintää. Tieto esitetään diskreetteinä loogisina rajoitteina opittujen jatkuvien painojen sijaan.

Dweve Core -kirjastomme sisältää 1 937 laitteistolle optimoitua algoritmia, jotka perustuvat binaarioperaatioihin: XNOR, AND, OR, POPCNT. Näillä operaatioilla on yksinkertaiset ja hyvin ymmärretyt matemaattiset ominaisuudet. Binaarinen rajoite joko pätee tai ei päde. Todennäköisyyspohjaista epävarmuutta ei ole.

Rajoittamalla matematiikan yksinkertaisiin lineaarisiin suhteisiin ja Boolen logiikkaan pienennämme todentamisen hakutilaa huomattavasti. Ongelmat, jotka olisivat jatkuville neuroverkoille mahdottomia ratkaista, ovat ratkaistavissa binaarisilla rajoitejärjestelmillämme. Todentamisongelma muuttuu mahdottomasta epälineaarisesta optimoinnista ratkaistavaksi Mixed Integer Linear Programming (MILP) - tai SAT-ongelmaksi.

Nämä ovat edelleen laskennallisesti vaikeita ongelmia, mutta nykyaikaiset ratkaisijat pystyvät käsittelemään ne sekunneissa tai minuuteissa, ei vuosisadoissa, kun kyse on turvallisuuskriittisissä sovelluksissa käyttämämme kokoisista järjestelmistä.

Kuusikerroksinen rajatun autonomian arkkitehtuuri

Emme yritä todentaa jokaista tekoälyn havaitsemisen osa-aluetta. Sen tunnustaminen, että "pikseliruudukko edustaa ihmistä", on luonnostaan sumea, todennäköisyyksiin perustuva arvio. Kuviontunnistuksen oikeellisuutta ei voi muodollisesti todistaa, koska oikeellisuus riippuu subjektiivisista määritelmistä.

Toteutamme sen sijaan kerroksittaisen turvallisuusarkkitehtuurin, jossa todennäköisyyspohjaiset tekoälykomponentit on rajattu muodollisesti todennetuilla loogisilla rajoitteilla. Tekoäly voi ehdottaa toimia, mutta ehdotusten on läpäistävä todennetut turvaportit ennen suoritusta.

Dweve Nexus toteuttaa kuusi turvallisuuden valvontakerrosta:

  1. Tarkoituksen todentaminen: varmistaa, että tekoälyn toimet ovat ilmoitettujen tavoitteiden mukaisia
  2. Rajoitettu autonomia: kovat rajat sille, mitkä toimet ovat sallittuja tekoälyn ehdotuksista riippumatta
  3. Sisällön moderointi: suodattaa tuotokset turvallisuuden ja asianmukaisuuden varmistamiseksi
  4. Etiikan valvonta: varmistaa määriteltyjen eettisten rajoitteiden noudattamisen
  5. Poikkeamien tunnistus: tunnistaa, kun tekoälyn käytös poikkeaa odotetuista malleista
  6. Suorituksenaikainen valvonta: jatkuva todentaminen siitä, että turvallisuusinvariantit säilyvät

Keskeinen oivallus on, että meidän tarvitsee muodollisesti todentaa vain turvallisuuskerrokset, ei koko tekoälyjärjestelmää. Vaikka taustalla oleva tekoäly tekisi virheen, rajatun autonomian kerros takaa matemaattisesti, että vaaralliset komennot eivät koskaan pääse toimilaitteille.

Dweven kuusikerroksinen rajoitetun autonomian arkkitehtuuriAnturisyöteFyysisen maailman dataDweve Loom456 toimialakohtaista rajoitejoukkoa(Todennäköisyyspohjainen havainnointi)Kuusikerroksinen rajoitettu autonomiaMUODOLLISESTI TODENNETTUMatemaattiset takeet KAIKILLE syötteilleKuusi todennettua turvakerrostaKerros 1: Tarkoituksen varmistusToimet vastaavat ilmoitettuja tavoitteitaKerros 2: Rajoitettu autonomiaKovat rajat sallituille toimilleKerros 3: Sisällön moderointiLähdön turvallisuussuodatusKerros 4: Etiikan valvontaEettisten rajoitteiden noudattaminenKerros 5: Poikkeamien tunnistusKäyttäytymispoikkeamien seurantaKerros 6: Suoritusaikainen seurantaJatkuva invarianttien tarkistusEsimerkki: Lääkinnällisen laitteen turvarajoiteIF patient_weight AND glucose_level AND insulin_sensitivityTHEN max_dose = f(weight, glucose, sensitivity) // Bounded functionIlman rajoitettua autonomiaaTekoäly ehdottaa 10-kertaista yliannostustavihamielisen syötteen tai reunatapauksen vuoksiTulos: Potilas vahingoittuuRajoitetun autonomian kanssaSama tekoälyvirhe tapahtuu, mutta kerros 2rajaa lähdön todennettuun turvalliseen alueeseenTulos: Potilas on suojattu
Arkkitehtuurin ei tarvitse todistaa jokaista havaintoarviota; se todistaa, että vaaralliset komennot eivät pääse turvakuoren läpi.

Sääntelyn matematiikka: miksi verifiointi luo liiketoiminta-arvoa

Asiakkaillemme muodollinen verifiointi ei ole akateemista harjoittelua. Se on kilpailuetu, joka muuttuu suoraan liiketoiminnan tuloksiksi.

Nopeampi viranomaishyväksyntä

Kun lääkinnällisten laitteiden valmistaja lähestyy FDA:ta tai EMA:ta tekoälypohjaisella järjestelmällä, viranomaiset ovat aiheellisen varovaisia. He tietävät, että tekoäly voi olla arvaamatonta. Tavalliset hyväksyntäprosessit edellyttävät vuosien kliinisiä tutkimuksia turvallisuuden osoittamiseksi tilastollisesti.

Mutta valmistaja, joka käyttää muodollisesti verifioituja Dweve-komponentteja, voi muuttaa keskustelun suunnan. Sen sijaan, että se esittäisi testituloksia, jotka osoittavat "emme ole vielä havainneet vikoja", se voi esittää matemaattisia todisteita, jotka osoittavat "viat ovat mahdottomia näiden rajojen sisällä".

"Emme vain usko, että tämä insuliinipumppu ei aiheuta yliannostuksia potilaille. Tässä on muodollinen todiste siitä, että annostelu on matemaattisesti rajattu potilaan painon ja glukoosipitoisuuden rajoitteiden mukaan. Rikkominen ei ole vain epätodennäköistä. Se on loogisesti mahdotonta."

Tämä mahdollistaa nopeutetut arviointiprosessit. Viranomaiset voivat tarkistaa todisteen itsenäisesti. Heidän ei tarvitse luottaa testausprosessiin; he voivat tutkia matematiikkaa suoraan.

Alemmat vakuutusmaksut

Vakuutusmatemaatikot kohtaavat mahdottoman ongelman perinteisten tekoälyjärjestelmien kanssa. Miten hinnoitellaan riski vikatiloille, joita ei voi ennustaa tai selittää? Tuloksena on joko erittäin korkeat vakuutusmaksut tuntemattomien riskien kattamiseksi tai poissulkulausekkeita, jotka tekevät vakuutuksesta käytännössä hyödyttömän.

Verifioidut järjestelmät muuttavat vakuutusmatemaattisen laskelman. Jos matemaattinen todiste takaa, että tietyntyyppisiä vikoja ei voi esiintyä, nämä vikatilat voidaan jättää riskimallin ulkopuolelle. Jäljelle jäävät riskit ovat kvantifioitavissa. Vakuutusmaksut laskevat vastaavasti.

Jotkut asiakkaistamme ovat nähneet vastuuvakuutuskustannustensa laskevan 40-60 prosenttia verifioitujen turvakerrosten käyttöönoton jälkeen, yksinkertaisesti siksi, että vakuutusyhtiöt voivat nyt laskea rajattuja riskejä rajattoman epävarmuuden hinnoittelun sijaan.

Oikeudellinen puolustettavuus

Kun tekoälyjärjestelmät aiheuttavat vahinkoa, oikeudenkäyntejä seuraa. Perinteisissä tekoälykäyttöönotoissa järjestelmän puolustaminen on lähes mahdotonta. "Miten järjestelmänne teki tämän päätöksen?" "Emme tarkalleen tiedä, se on neuroverkko, jossa on miljardeja parametreja..." Tämä vastaus ei tyydytä ketään tuomaria tai valamiehistöä.

Verifioidut järjestelmät tarjoavat erilaisen puolustuksen: "Tässä on turvarajoite. Tässä on matemaattinen todiste siitä, että rajoitetta ei voida rikkoa. Vahinko tapahtui verifioidun rajan ulkopuolella, mikä viittaa ulkoisiin tekijöihin, ei järjestelmävikään."

Tässä ei ole kyse vastuun välttämisestä. Kyse on siitä, että voidaan osoittaa tarkalleen, mitkä takuut annettiin ja pidettiinkö ne. Tuomioistuimet ymmärtävät muodollista logiikkaa. Ne ymmärtävät matemaattisia todisteita. Ne eivät ymmärrä todennäköisyyspohjaisia luottamusvälejä.

Formaalin verifioinnin liiketoiminta-arvoSääntelyn nopeusPerinteinen: 3-5 vuottakliiniset kokeet vaaditaanVarmennettu: 6-18 kuukauttatodisteisiin perustuva hyväksyntä2-4 kertaa nopeampi markkinoilleVakuutuskustannuksetPerinteinen: $$$tuntematon riskihinnoitteluVarmennettu: $rajattu riskihinnoittelu40-60 % kustannussäästöOikeudellinen asemaPerinteinen: Puolustuskyvytön"Emme tiedä miksi"Varmennettu: Puolustettavissa"Tässä on todiste"Selkeä vastuullisuusKilpailun todellisuusKun EU:n tekoälyasetuksen valvonta alkaa, varmennetut järjestelmät muuttuvat markkinavaatimuksiksi, eivät erottaviksi tekijöiksiIlman varmennustaSuljettu pois korkean panoksen markkinoiltaTerveydenhuolto, autoteollisuus, rahoitusVarmennuksen kanssaPääsy säännellyille markkinoillePremium-asemointi, luotetut kumppanuudet

EU:n tekoälyasetus: Todentamisesta tulee pakollista

Muodollisen todentamisen teoreettisista eduista on tulossa käytännön vaatimuksia. EU:n tekoälyasetus, joka tuli voimaan vuonna 2024 ja jonka käyttöönotto tapahtuu vaiheittain vuoteen 2027 mennessä, muuttaa perustavanlaatuisesti sitä, mitä tekoälyn käyttöönotolta Euroopassa lain mukaan vaaditaan.

"Suuren riskin" tekoälyjärjestelmillä, joihin kuuluvat lääkinnälliset laitteet, työllistämispäätökset, luottokelpoisuuden arvioinnit ja monet teolliset sovellukset, asetus edellyttää:

  • Riskinhallintajärjestelmiä, jotka tunnistavat ja lieventävät ennakoitavissa olevia riskejä
  • Laadukkaita koulutusaineistoja, joiden alkuperä on dokumentoitu
  • Lokitusominaisuuksia, jotka mahdollistavat järjestelmän toiminnan jäljittämisen
  • Läpinäkyvyyttä käyttäjille tekoälyn tekemistä päätöksistä
  • Ihmisen valvontamekanismeja, jotka mahdollistavat puuttumisen
  • Sovellukseen sopivaa tarkkuutta, luotettavuutta ja tietoturvaa

Huomaa kielenkäyttö: "ennakoitavissa olevat riskit", "jäljitettävä toiminta", "sovellukseen sopiva tarkkuus". Nämä eivät ole epämääräisiä toiveita. Ne ovat oikeudellisia vaatimuksia, joilla on täytäntöönpanon teho, mukaan lukien sakot, jotka voivat olla jopa 35 miljoonaa euroa tai 7 prosenttia maailmanlaajuisesta liikevaihdosta.

Miten osoitat tunnistaneesi ja lieventäneesi "ennakoitavissa olevat riskit" neuroverkossa, jossa on miljardeja parametreja ja jonka päätöksentekoprosessi on läpinäkymätön jopa sen luojille? Miten osoitat toiminnan olevan "jäljitettävää", kun järjestelmä tuottaa tuloksia käsittämättömien matriisikertolaskujen kautta?

Perinteiset tekoälyarkkitehtuurit eivät voi täyttää näitä vaatimuksia pelkällä dokumentaatiolla ja testauksella. Mutta todennetut järjestelmät voivat. Todiste on dokumentaatio. Matemaattinen takuu on lievennys. Loogiset rajoitteet ovat jäljitettävyys.

456-aluetoimialan asiantuntijaa: Todennettava mittakaava

Yleinen vastaväite todennetulle tekoälylle on, että todentaminen ei skaalaudu. Yksinkertaisille järjestelmille, joissa on muutama sääntö, kyllä, todentaminen toimii. Mutta tosielämän tekoälyn on käsiteltävä monimutkaista havaitsemista ja päättelyä. Miten todentaminen voi toimia mittakaavassa?

Dweve Loom osoittaa, että todentaminen ja suorituskyky eivät sulje toisiaan pois. Perusmallimme käyttää 456 erikoistunutta rajoitejoukkoa, joista jokainen sisältää 64-128 Mt binäärirajoitteita. Mutta vain 4-8 aluetoimialan asiantuntijaa aktivoituu kutakin kyselyä kohden.

Tämä arkkitehtuuri, jota kutsumme ultraharvaksi aktivaatioksi, tarkoittaa, että todentamisen vaiva skaalautuu aktiivisen osajoukon mukaan, ei koko mallin mukaan. Meidän ei tarvitse todentaa kaikkia 456 aluetoimialan asiantuntijan yhdistelmiä samanaikaisesti. Todennamme reitityslogiikan, joka valitsee aluetoimialan asiantuntijat, ja todennamme kunkin aluetoimialan asiantuntijan rajoitejoukon itsenäisesti.

Permuted Agreement Popcount (PAP) -reititysjärjestelmä käyttää rakenteellista kuviontunnistusta valitakseen asiaankuuluvat aluetoimialan asiantuntijat. Tämä reitityskerros on itse muodollisesti todennettavissa, koska se toimii diskreeteillä binäärioperaatioilla, joilla on hyvin määritellyt matemaattiset ominaisuudet.

Tuloksena on järjestelmä, joka pystyy käsittelemään monimutkaisia, tosielämän tehtäviä säilyttäen samalla todentamisen hallittavuuden. Saamme asiantuntijasekoitusarkkitehtuurien suorituskykyedut ja muodollisen todentamisen turvallisuusedut.

Toteutus: Miltä todentaminen oikeasti näyttää

Organisaatioille, jotka harkitsevat todennetun tekoälyn käyttöönottoa, käytännön prosessi sisältää useita vaiheita.

Vaihe 1: Ominaisuuksien määrittely

Ennen todentamisen aloittamista sinun on määriteltävä, mitkä ominaisuudet on todennettava. Tämä on usein vaikein vaihe, ja se edellyttää tiivistä yhteistyötä alan asiantuntijoiden, insinöörien sekä lakiasiain- ja vaatimustenmukaisuustiimien välillä.

Ominaisuuksien on oltava tarkkoja ja matemaattisesti ilmaistavissa. "Järjestelmän pitäisi olla turvallinen" ei ole todennettava ominaisuus. "Moottorin nopeuskomento ei saa ylittää V_max, kun läheisyysanturi ilmaisee etäisyyden olevan pienempi kuin D_min" on todennettava.

Dwevellä autamme asiakkaita tässä spesifikaatioprosessissa Spindlen, yritystason tiedonhallinta-alustamme, avulla. 32-agentin hierarkiaan kuuluu sääntelyvaatimusten asiantuntijoita, jotka auttavat kääntämään lailliset vaatimukset muodollisiksi rajoitteiksi.

Vaihe 2: Arkkitehtuurin kartoitus

AI-järjestelmän arkkitehtuuri on kartoitettava muodolliseksi malliksi, jota verifiointityökalut voivat analysoida. Dweven järjestelmissä tämä kartoitus on suoraviivaista, koska binäärirajoitearkkitehtuurimme on suunniteltu todennettavuutta varten.

Organisaatioille, joilla on olemassa olevia neuroverkkoja käyttöönotettuina, tämä vaihe voi vaatia arkkitehtuurimuutoksia. Rajoitettujen autonomiakerrosten lisääminen olemassa olevien mallien ympärille, turvallisuusrajoitteiden toteuttaminen todennettuina kääreinä tai joissakin tapauksissa todennettavissa olevien komponenttien korvaaminen Dweven vastaavilla.

Vaihe 3: Verifioinnin suorittaminen

Nykyaikaiset SMT-ratkaisijat ja muodolliset verifiointityökalut analysoivat järjestelmämallin joko todistaakseen määritellyt ominaisuudet tai tunnistaakseen vastaesimerkkejä. Vastaesimerkit ovat korvaamattomia, koska ne paljastavat tarkalleen, mitkä syötteet voisivat rikkoa turvallisuusrajoitteita, mikä mahdollistaa kohdennetut korjaukset.

Dweven järjestelmissä verifiointi valmistuu tyypillisesti minuuteissa tai tunneissa rajoitteiden monimutkaisuudesta riippuen. Dweve Coren 1 937 algoritmia on esitodennettu yleisten turvallisuusominaisuuksien osalta, joten verifiointi tarkoittaa usein esitodennettujen komponenttien yhdistämistä alusta aloittamisen sijaan.

Vaihe 4: Sertifiointi ja dokumentointi

Todennetut ominaisuudet tuottavat todisteartefakteja, jotka toimivat sertifiointinäyttönä. Nämä todisteet ovat koneellisesti tarkistettavissa, mikä tarkoittaa, että sääntelyviranomaiset voivat itsenäisesti varmistaa ne tavallisilla todisteiden tarkistustyökaluilla luottamatta alkuperäiseen verifiointiprosessiin.

Dweve Fabric, yhtenäinen alustan hallintanäkymämme, tuottaa vaatimustenmukaisuusdokumentaation automaattisesti verifiointituloksista. Samat todisteet, jotka tyydyttävät ratkaisijan, muodostavat näyttöpakkauksen sääntelyviranomaisille toimitettavaksi.

Sama koneellisesti tarkistettava todiste voi tukea sääntelyarviointia, vakuutushinnoittelua ja oikeudellista puolustettavuutta ilman, että kenenkään tarvitsee luottaa hallintanäkymään.

Tulevaisuus: Todennettu AI vakiokäytäntönä

Olemme käännekohdassa AI:n käyttöönotossa. "Toimi nopeasti ja riko asioita" -aikakausi on päättymässä korkean panoksen sovelluksissa. Sääntely-ympäristö kiristyy. Vastuuriski kasvaa. Vakuutusongelmat lisääntyvät.

Säännellyillä toimialoilla AI:ta käyttöönottavat organisaatiot kohtaavat valinnan. Ne voivat jatkaa perinteisillä arkkitehtuureilla ja kohdata kasvavaa kitkaa: pidempiä hyväksyntäprosesseja, korkeampia vakuutuskustannuksia, suurempaa oikeudellista vastuuta ja mahdollista markkinoilta sulkemista sääntöjen astuessa voimaan.

Tai ne voivat ottaa käyttöön todennettuja arkkitehtuureja, jotka tyydyttävät sääntelyviranomaiset matemaattisella varmuudella tilastollisen toivon sijaan.

Verifiointivallankumous ei tarkoita AI:n heikentämistä. Se tarkoittaa AI:n tekemistä luotettavaksi tavoilla, jotka merkitsevät kaikille tutkimuslaboratorion ulkopuolisille: potilaille, operaattoreille, vakuuttajille, sääntelyviranomaisille ja tuomioistuimille. Se tarkoittaa AI:n rakentamista, jota ihmiset voivat todella ottaa käyttöön luottavaisin mielin.

Dwevellä uskomme, että tulevaisuus kuuluu AI-järjestelmille, jotka voivat todistaa turvallisuutensa, eivät vain luvata sitä. Arkkitehtuurimme, Coren 1 937 todennetusta algoritmista Nexuksen kuusikerroksiseen rajoitettuun autonomiaan ja Loomin 456 toimiala-asiantuntijan rajoitejoukkoon, on rakennettu alusta alkaen tätä tulevaisuutta varten.

Varmuuden matematiikka ei ole tekoälyn kehityksen rajoite. Se on perusta tekoälyn käyttöönotolle laajassa mittakaavassa.

Valmiina ottamaan käyttöön tekoälyä, jonka viranomaiset voivat hyväksyä? Dweven formaalisti varmennettu arkkitehtuuri tarjoaa matemaattiset takeet, jotka muuttavat sääntelyn esteet kilpailueduiksi. Ota yhteyttä keskustellaksesi siitä, miten varmennus voi nopeuttaa tietäsi markkinoille ja samalla vähentää vastuuriskiäsi.