Formalna verifikacija: jedini način da se zadovolje regulatori umjetne inteligencije

Regulatori ne žele '95% točnosti'. Žele dokaz. Zašto probabilističko testiranje ne prolazi na sudu i kako formalna verifikacija pruža matematičku sigurnost.

Formalna verifikacija: jedini način da se zadovolje regulatori umjetne inteligencije

Razgovor koji nikad ne prođe dobro

Zamislite ovaj prizor. Događa se svakog tjedna u upravnim sobama diljem Europe, na sastancima FDA recenzije, u uredima za osiguravateljsku procjenu. AI inženjer predstavlja svoj najnoviji sustav regulatorima, odvjetnicima ili procjeniteljima rizika.

„Naša autonomna inzulinska pumpa postigla je 99,97% točnosti u 50 milijuna testnih scenarija", ponosno objavljuje inženjer, klikćući na slajd pun impresivnih metrika. „Vrhunska tehnologija. Bolja od bilo kojeg ljudskog endokrinologa."

U prostoriji nastane tišina. Regulatorica se nagne naprijed.

„Dakle, želite mi reći", kaže polako, „da od svakih 10.000 doza inzulina koje ovaj uređaj primijeni... tri bi mogle biti pogrešne?"

Inženjer se nelagodno pomakne. „Pa, statistički gledano..."

„Samo u Njemačkoj, otprilike 7 milijuna ljudi ima dijabetes koji zahtijeva terapiju inzulinom. Ako svaka osoba primi samo četiri doze dnevno, to je 28 milijuna dnevnih primjena. Uz vašu stopu pogreške od 0,03%..." Računa na svom bloku. „To je 8.400 potencijalnih pogrešaka u doziranju. Svaki dan."

„Ali većina njih ne bi bila klinički značajna..."

„Možete li mi reći koje bi bile?"

Tišina.

„Možete li mi reći kada će se sljedeći kvar dogoditi? Možete li mi reći zašto će doći do kvara?"

Još više tišine.

„Onda se bojim da ne možemo odobriti ovaj uređaj."

Kobna praznina: testiranje naspram verifikacijeProbabilističko testiranje"Proveli smo 50 milijuna testova"99,97 % točnosti0,03 % = nepoznati način kvaraFormalna verifikacija"Dokazali smo matematičko svojstvo"100 % jamstvo (za svojstvo)Kršenje matematički nemogućeUtjecaj u stvarnom svijetu: primjer inzulina u Njemačkoj7M dijabetičarax 4 doze/danx 0,03 % pogreške= 8.400 pogrešaka/danPitanja regulatora na koja testiranje ne može odgovoritiKada će se dogoditi sljedeći kvar?Zašto će doći do kvara? Nepoznato.Verifikacija pruža izvjesnostDoziranje ograničeno parametrima pacijentaKršenje je matematički nemoguće

Ovaj se razgovor, u različitim oblicima, neprestano odvija dok se AI seli iz istraživačkih laboratorija u fizički svijet. I otkriva temeljni epistemološki jaz između toga kako inženjeri za AI razmišljaju o sigurnosti i kako o njoj razmišljaju regulatori, odvjetnici i sudovi.

Regulatori ne odobravaju prosječnu točnost kada preostala stopa pogreške i dalje može postati tisuće neobjašnjivih kvarova visokog rizika.

Jezična barijera koja nije jezična

Kada inženjer umjetne inteligencije kaže "99,97 % točno", iskreno vjeruje da opisuje nešto impresivno i sigurno. U svijetu mjerila strojnog učenja taj bi se broj slavio. Radovi bi se objavljivali. Ulagači bi bili uzbuđeni.

No regulator čuje nešto sasvim drugo. Čuje: "Postoji mala, ali ne-nulta vjerojatnost da će ovaj sustav katastrofalno otkazati, a mi nemamo pojma kada, gdje ni zašto će se to dogoditi."

To nije komunikacijski problem. Nije da inženjeri trebaju bolje prezentacijske vještine ili da regulatori trebaju tehničko obrazovanje. To je temeljni sukob dvaju različitih poimanja onoga što "znati da nešto radi" zapravo znači.

U potrošačkom softveru probabilistički pristupi su sasvim prihvatljivi. Ako Netflix preporuči film koji mrzite, nitko ne umire. Ako Spotify predloži pjesmu koja ne odgovara vašem ukusu, najgori je slučaj blaga iritacija. Ti si sustavi mogu priuštiti povremene pogreške jer je cijena neuspjeha trivijalna.

No umjetna inteligencija brzo prelazi s potrošačkih preporuka u područja u kojima neuspjeh ima fizičke, pravne i moralne posljedice: autonomna vozila koja u djeliću sekunde donose odluke o pješacima, medicinski uređaji koji izračunavaju doze lijekova, industrijski roboti koji rade uz ljudske radnike, financijski sustavi koji odobravaju ili odbijaju kredite i time određuju mogu li obitelji kupiti domove.

U tim područjima "prilično smo sigurni da radi" nije dovoljno. Sudovi ne prihvaćaju distribucije vjerojatnosti kao dokaz. Aktuari u osiguranju ne mogu odrediti cijene polica za nepoznate načine otkazivanja. Regulatori ne mogu odobriti uređaje koji bi mogli ubiti ljude iz razloga koje nitko ne može objasniti.

Zašto testiranje, koliko god opsežno bilo, ne može pružiti sigurnost

Dominantna paradigma u vrednovanju umjetne inteligencije danas jest empirijsko testiranje na izdvojenim skupovima podataka. Model trenirate na skupu podataka A, a zatim ga vrednujete na skupu podataka B. Ako dobro radi na B, pretpostavljate da je "naučio" temeljni zadatak i da će se generalizirati na stvarnu primjenu.

Taj pristup ima tri temeljna problema koja nikakvo testiranje ne može riješiti.

Problem prvi: beskonačan prostor ulaza

Testiranje može samo pokazati prisutnost grešaka, nikada njihovu odsutnost. Koliko god testnih slučajeva pokrenuli, uzorkujete iz beskonačnog prostora ulaza. Sustav koji upravlja medicinskim uređajem mora podnijeti ne samo testne scenarije koje ste zamislili, nego i svaku moguću kombinaciju fiziologija pacijenata, uvjeta okoliša, očitanja senzora i rubnih slučajeva koje će stvarni svijet na kraju proizvesti.

Zamislite da pokušavate dokazati da u plastu sijena nema igala tako da nasumce podižete komadiće sijena. Nakon što pregledate milijun komadića i ne pronađete nijednu iglu, ne možete zaključiti da je plast sijena bez igala. Možete samo reći da još niste pronašli nijednu. Testiranje funkcionira na isti način. Koliko god scenarija prošlo, sljedeći bi mogao pasti.

Problem drugi: ranjivost na suparničke ulaze

Duboke neuronske mreže posebno su ranjive na suparničke ulaze. To su pomno osmišljene perturbacije koje uzrokuju katastrofalne pogreške modela, a ljudskim promatračima izgledaju sasvim normalno.

Model bi mogao ispravno klasificirati znakove stop 99,99 % vremena, no mala naljepnica postavljena na određeno mjesto mogla bi uzrokovati da s velikom sigurnošću klasificira znak kao znak ograničenja brzine. Model bi mogao točno prepoznati medicinska stanja na tisućama rendgenskih snimaka, no specifičan uzorak šuma, nevidljiv ljudskim radiologima, mogao bi uzrokovati da previdi očite tumore.

To nisu samo teorijske brige. Istraživači su demonstrirali adversarial napade na svaku glavnu klasu arhitektura neuronskih mreža. Napadi postaju sve lakši za konstruirati, dok obrane ostaju nepotpune.

Testiranje ne može zaštititi od adversarial ranjivosti jer je površina napada beskonačna. Trebali biste testirati ne samo normalne ulaze, nego i svaku moguću perturbaciju svakog normalnog ulaza. To je matematički nemoguće.

Problem tri: Distribucijski pomak

Stvarni svijet ne miruje. Distribucija podataka na kojoj je model treniran s vremenom će odstupati. Populacije pacijenata se mijenjaju. Uvjeti vožnje evoluiraju. Proizvodni procesi variraju. Dolazi do degradacije senzora.

Model koji danas radi savršeno na podacima može tiho zakazati kada sutrašnji podaci odstupe izvan njegove distribucije treniranja. I za razliku od eksplicitnih pogrešaka koje ruše programe, ti kvarovi često proizvode uvjerljive, uvjerljive, ali pogrešne izlaze.

Testiranje na današnjim podacima ne govori vam ništa o sutrašnjoj izvedbi. Dok primijetite kvar u produkciji, šteta se već dogodila.

Tri nerješiva problema testiranjaBeskonačan prostor ulazaulazaTestiranje: provjereno 4 točkeBeskonačno točaka ostajeNe može dokazati odsutnostNeprijateljska ranjivostSTOPznak+malazakrpa="Ograničenje brzine 80"Beskonačna površina napadaDistribucijski pomakPodaci zatreniranjeSutrašnjipodaciPomak distribucijePromjene kod pacijenataDegradacija senzoraBudućnost se ne može testiratiTemeljno ograničenjeTestiranje može pokazati PRISUTNOST grešakaTestiranje NE MOŽE pokazati ODSUTNOST grešakaFormalna verifikacija: matematička alternativaDokazuje da svojstva vrijede za SVE ulaze, ne samo za testirane uzorke
Opsežno testiranje uzorkuje stog sijena; formalna verifikacija pita može li nesigurna igla postojati pod deklariranim ograničenjima.

Formalna verifikacija: matematika kao univerzalni jezik sigurnosti

Formalna verifikacija nudi potpuno drugačiji pristup. Umjesto pitanja "je li sustav radio na ovim testnim slučajevima?" postavlja pitanje "možemo li matematički dokazati da će sustav zadovoljiti svojstvo za sve moguće ulaze?"

Razlika je duboka. Testiranje uzorkuje prostor ulaza. Verifikacija iscrpno razmišlja o cijelom prostoru.

Zamislite robotsku ruku koja radi zajedno s ljudima u tvornici. Želimo jamčiti sigurnosno svojstvo: "Ruka nikada ne smije prijeći 2 metra u sekundi kada se unutar 1 metra otkrije čovjek."

Pristup testiranja provodi ruku kroz tisuće scenarija sa simuliranim ljudima na različitim položajima i brzinama, mjereći je li sigurnosno ograničenje ikada prekršeno. Ako se ne primijeti nijedno kršenje, sustav se proglašava "sigurnim". Ali sljedeći scenarij, onaj koji nije testiran, mogao bi biti onaj koji ozlijedi radnika.

Pristup verifikacije bitno je drugačiji. Uzimamo matematički model upravljačkog sustava, uključujući neuronsku mrežu koja obrađuje podatke sa senzora i upravljač koji generira naredbe za motor. Sigurnosno svojstvo izražavamo kao formalno ograničenje. Zatim koristimo specijalizirane algoritme zvane SMT (Satisfiability Modulo Theories) rješavači kako bismo odgovorili na precizno pitanje: "Postoji li BILO KOJA konfiguracija ulaza, unutar važećeg radnog raspona, za koju izlazna brzina prelazi 2 m/s kada se otkrije blizina čovjeka?"

Rješavač ne testira nasumične točke. On analizira matematičku strukturu cijelog sustava. Razmišlja o geometriji prostora funkcija. Ako vrati "UNSAT" (nezadovoljivo), imamo matematički dokaz da takav ulaz koji krši svojstvo ne postoji. Sigurnosno svojstvo vrijedi ne samo za slučajeve koje smo testirali, nego za svaki mogući slučaj koji bi se ikada mogao dogoditi.

To je razlika između "provjerio sam mnogo mostova i nijedan se nije srušio" i "fizika ovih materijala matematički jamči da se ovaj most ne može srušiti pod ovim opterećenjem". Jedno je empirijsko opažanje podložno reviziji. Drugo je logička izvjesnost.

Zašto se moderna umjetna inteligencija opire verifikaciji

Ako je formalna verifikacija tako moćna, zašto je ne koriste svi? Zašto tvrtke poput OpenAI-ja i Googlea ovise o "red teamingu" (ljudi koji pokušavaju probiti model) umjesto o matematičkim dokazima?

Odgovor leži u arhitektonskim izborima koje je industrija napravila. Moderni veliki jezični modeli i duboke neuronske mreže dizajnirani su za izražajnost, ne za provjerljivost. Optimizirani su za generiranje kreativnih rezultata, ne za matematičku analizabilnost.

Tipičan transformatorski model ima milijarde ili bilijune parametara. Koristi složene, nelinearne aktivacijske funkcije poput GeLU-a ili Swisha. Matematička složenost provjere takvog sustava raste eksponencijalno s brojem neurona i dubinom mreže.

Dokazivanje svojstva na transformatoru s milijardu parametara računalno je neizvedivo. Svemir bi doživio toplinsku smrt prije nego što rješavač završi istraživanje svih matematičkih grana. Industrija je izgradila sustave toliko složene da ih čak ni njihovi kreatori ne mogu u potpunosti analizirati.

Ovo je dizajnerska odluka, a ne neizbježnost. Industrija se optimizirala za impresivne demonstracije i rezultate na benchmark testovima, ne razmišljajući o tome mogu li se takvi sustavi ikada sigurno primijeniti u reguliranim okruženjima.

Dweve arhitektura: provjerljiva po dizajnu

U Dweveu donijeli smo drugačije arhitektonske odluke. Naše smo sustave od samog početka dizajnirali da budu provjerljivi jer smo razumjeli da će korisnici u poduzećima i industriji prije ili kasnije morati zadovoljiti regulatore, a ne samo ih impresionirati.

Naš pristup kombinira dvije ključne inovacije koje provjeru čine izvedivom.

Binarno otkrivanje ograničenja: jednostavna matematika

Umjesto golemih neuronskih mreža s pomičnim zarezom s milijardama kontinuiranih parametara, Dweve sustavi koriste binarno otkrivanje ograničenja. Znanje je predstavljeno kao diskretna logička ograničenja, a ne kao naučene kontinuirane težine.

Naša Dweve Core biblioteka sadrži 1.937 algoritama optimiziranih za hardver, izgrađenih na binarnim operacijama: XNOR, AND, OR, POPCNT. Te operacije imaju jednostavna i dobro razumljiva matematička svojstva. Binarno ograničenje ili vrijedi ili ne vrijedi. Nema probabilističke nesigurnosti.

Ograničavanjem matematike na jednostavne linearne odnose i Booleovu logiku dramatično smanjujemo prostor pretraživanja za provjeru. Problemi koji bi za kontinuirane neuronske mreže bili nerješivi postaju rješivi za naše sustave binarnih ograničenja. Problem provjere pretvara se iz nemoguće nelinearne optimizacije u rješive probleme miješanog cjelobrojnog linearnog programiranja (MILP) ili SAT probleme.

To su i dalje računalno zahtjevni problemi, ali za veličinu sustava koje primjenjujemo u sigurnosno kritičnim aplikacijama moderni rješavači mogu ih obraditi u sekundama ili minutama, a ne stoljećima.

Arhitektura ograničene autonomije sa šest slojeva

Ne pokušavamo provjeriti svaki aspekt AI percepcije. Prepoznavanje da "mreža piksela predstavlja čovjeka" inherentno je nejasan, probabilistički sud. Ne možete formalno dokazati da je prepoznavanje uzoraka uvijek točno jer točnost ovisi o subjektivnim definicijama.

Umjesto toga, implementiramo slojevitu sigurnosnu arhitekturu u kojoj su probabilističke AI komponente ograničene formalno provjerenim logičkim ograničenjima. AI može predlagati radnje, ali ti prijedlozi moraju proći kroz provjerene sigurnosne kapije prije izvršenja.

Dweve Nexus implementira šest slojeva provedbe sigurnosti:

  1. Provjera namjere: potvrđuje da su AI radnje usklađene s deklariranim ciljevima
  2. Ograničena autonomija: stroga ograničenja dopuštenih radnji bez obzira na AI prijedloge
  3. Moderacija sadržaja: filtrira izlaze radi sigurnosti i primjerenosti
  4. Provedba etike: osigurava usklađenost s definiranim etičkim ograničenjima
  5. Otkrivanje anomalija: identificira kada AI ponašanje odstupa od očekivanih obrazaca
  6. Praćenje u stvarnom vremenu: kontinuirana provjera da su sigurnosni invarijanti održani

Ključni je uvid da trebamo formalno provjeriti samo sigurnosne slojeve, a ne cijeli AI sustav. Čak i ako temeljni AI napravi pogrešku, sloj ograničene autonomije matematički jamči da opasne naredbe nikada ne stignu do aktuatora.

Dweve arhitektura ograničene autonomije u šest slojevaSenzorski ulazPodaci iz fizičkog svijetaDweve Loom456 skupova ograničenja za specijaliste(Probabilistička percepcija)Ograničena autonomija u šest slojevaFORMALNO VERIFICIRANOMatematička jamstva za SVE ulazeŠest verificiranih sigurnosnih slojevaSloj 1: Provjera namjereRadnje odgovaraju deklariranim ciljevimaSloj 2: Ograničena autonomijaČvrsta ograničenja dopuštenih radnjiSloj 3: Moderacija sadržajaSigurnosno filtriranje izlazaSloj 4: Provedba etikeUsklađenost s etičkim ograničenjimaSloj 5: Otkrivanje anomalijaPraćenje odstupanja u ponašanjuSloj 6: Praćenje u stvarnom vremenuNeprekidna provjera invarijantiPrimjer: Sigurnosno ograničenje za medicinski uređajIF patient_weight AND glucose_level AND insulin_sensitivityTHEN max_dose = f(weight, glucose, sensitivity) // Bounded functionBez ograničene autonomijeAI predlaže predoziranje 10x zbogneprijateljskog ulaza ili rubnog slučajaRezultat: Povreda pacijentaS ograničenom autonomijomDogađa se ista AI pogreška, ali Sloj 2ograničava izlaz na verificirani sigurni rasponRezultat: Pacijent zaštićen
Arhitektura ne mora dokazivati svaku percepcijsku procjenu; ona dokazuje da nesigurne naredbe ne mogu proći sigurnosnu ljusku.

Regulatorna matematika: zašto verifikacija stvara poslovnu vrijednost

Našim kupcima formalna verifikacija nije akademska vježba. To je konkurentska prednost koja se izravno pretvara u poslovne rezultate.

Brže regulatorno odobrenje

Kada proizvođač medicinskih uređaja pristupi FDA-i ili EMA-i sa sustavom temeljenim na umjetnoj inteligenciji, regulatori su opravdano oprezni. Znaju da umjetna inteligencija može biti nepredvidiva. Standardni postupci odobrenja zahtijevaju godine kliničkih ispitivanja kako bi se statistički dokazala sigurnost.

Ali proizvođač koji koristi formalno verificirane Dweve komponente može promijeniti tijek razgovora. Umjesto predstavljanja rezultata ispitivanja koji pokazuju "još nismo uočili kvarove", mogu predstaviti matematičke dokaze koji pokazuju "kvarovi su nemogući unutar ovih granica".

"Ne tvrdimo samo da ova inzulinska pumpa neće predozirati pacijente. Evo formalnog dokaza da je izlazna doza matematički ograničena ograničenjima pacijentove težine i razine glukoze. Kršenje nije samo malo vjerojatno. Ono je logički nemoguće."

To omogućuje ubrzane putove pregleda. Regulatori mogu samostalno provjeriti dokaz. Ne moraju vjerovati postupku ispitivanja; mogu izravno ispitati matematiku.

Smanjene premije osiguranja

Aktuari u osiguranju suočavaju se s nemogućim problemom s tradicionalnim sustavima umjetne inteligencije. Kako odrediti cijenu rizika za načine kvara koje ne možete predvidjeti ili objasniti? Rezultat su ili iznimno visoke premije za pokrivanje nepoznatih rizika ili klauzule o isključenju koje osiguranje čine praktički beskorisnim.

Verificirani sustavi mijenjaju aktuarski izračun. Ako matematički dokaz jamči da određene vrste kvarova ne mogu nastupiti, ti se načini kvara mogu isključiti iz modela rizika. Preostali rizici su mjerljivi. Premije se sukladno tome smanjuju.

Neki su naši kupci zabilježili pad troškova osiguranja od odgovornosti za 40-60% nakon uvođenja verificiranih sigurnosnih slojeva, jednostavno zato što osiguravatelji sada mogu izračunati ograničene rizike umjesto da određuju cijenu za neograničenu neizvjesnost.

Pravna obranjivost

Kada sustavi umjetne inteligencije prouzroče štetu, slijede sudski postupci. U tradicionalnim implementacijama umjetne inteligencije obrana sustava gotovo je nemoguća. "Kako je vaš sustav donio ovu odluku?" "Ne znamo točno, to je neuronska mreža s milijardama parametara..." Ovaj odgovor ne zadovoljava nijednog suca niti porotu.

Verificirani sustavi nude drugačiju obranu: "Ovo je sigurnosno ograničenje. Ovo je matematički dokaz da se ograničenje ne može prekršiti. Šteta se dogodila izvan verificirane granice, što ukazuje na vanjske čimbenike, a ne na kvar sustava."

Ovdje se ne radi o izbjegavanju odgovornosti. Radi se o mogućnosti da se točno pokaže koja su jamstva dana i jesu li ispunjena. Sudovi razumiju formalnu logiku. Razumiju matematičke dokaze. Ne razumiju probabilističke intervale pouzdanosti.

Poslovna vrijednost formalne verifikacijeBrzina regulativeTradicionalno: 3-5 godinapotrebna klinička ispitivanjaVerificirano: 6-18 mjeseciodobrenje temeljeno na dokazima2-4x brže do tržištaTroškovi osiguranjaTradicionalno: $$$cijene za nepoznati rizikVerificirano: $cijene za ograničeni riziksmanjenje troškova za 40-60%Pravni položajTradicionalno: Neobranjivo"Ne znamo zašto"Verificirano: Obranjivo"Evo dokaza"Jasna odgovornostKonkurentska stvarnostKako počinje provedba EU AI Act-a, verificirani sustavi postaju tržišni zahtjev, a ne prednostBez verifikacijeIsključeni s tržišta visokog rizikaZdravstvo, automobilska industrija, financijeUz verifikacijuPristup reguliranim tržištimaPremium pozicioniranje, partnerski odnosi od povjerenja

EU akt o umjetnoj inteligenciji: provjera postaje obvezna

Teoretske prednosti formalne provjere postaju praktični zahtjevi. EU akt o umjetnoj inteligenciji, koji je stupio na snagu 2024. godine s postupnom provedbom do 2027., temeljito mijenja ono što je zakonski potrebno za primjenu umjetne inteligencije u Europi.

Za sustave umjetne inteligencije "visokog rizika", koji uključuju medicinske uređaje, odluke o zapošljavanju, procjene kreditne sposobnosti i mnoge industrijske primjene, Akt zahtijeva:

  • sustave upravljanja rizicima koji prepoznaju i ublažavaju predvidive rizike
  • visokokvalitetne podatke za obuku s dokumentiranim podrijetlom
  • mogućnosti bilježenja koje omogućuju praćenje ponašanja sustava
  • transparentnost prema korisnicima u pogledu odluka koje donosi umjetna inteligencija
  • mehanizme ljudskog nadzora koji omogućuju intervenciju
  • točnost, robusnost i kibersigurnost primjerene primjeni

Obratite pozornost na jezik: "predvidivi rizici", "ponašanje koje se može pratiti", "točnost primjerena primjeni". To nisu nejasne želje. To su zakonski zahtjevi s provedbenim ovlastima, uključujući kazne do 35 milijuna eura ili 7% globalnog prometa.

Kako dokazujete da ste prepoznali i ublažili "predvidive rizike" za neuronsku mrežu s milijardama parametara čiji je proces odlučivanja neproziran čak i njezinim tvorcima? Kako pokazujete da je ponašanje "moguće pratiti" kada sustav proizvodi rezultate kroz neshvatljiva množenja matrica?

Tradicionalne arhitekture umjetne inteligencije ne mogu zadovoljiti te zahtjeve samo dokumentacijom i testiranjem. Ali provjereni sustavi mogu. Dokaz je dokumentacija. Matematičko jamstvo je ublažavanje. Logička ograničenja su sljedivost.

456 stručnih domena: provjerljiva razina

Čest prigovor provjerenoj umjetnoj inteligenciji jest da se provjera ne može skalirati. Za jednostavne sustave s nekoliko pravila, da, provjera funkcionira. Ali stvarna umjetna inteligencija mora obraditi složenu percepciju i zaključivanje. Kako provjera može funkcionirati na velikoj razini?

Dweve Loom pokazuje da provjera i sposobnost nisu međusobno isključive. Naš temeljni model koristi 456 specijaliziranih skupova ograničenja, od kojih svaki sadrži 64-128MB binarnih ograničenja. Ali samo 4-8 stručnih domena aktivira se za bilo koji upit.

Ova arhitektura, koju nazivamo ultra-rijetka aktivacija, znači da se napor provjere skalira s aktivnim podskupom, a ne s cijelim modelom. Ne moramo istovremeno provjeravati svih 456 kombinacija stručnih domena. Provjeravamo logiku usmjeravanja koja odabire stručne domene i provjeravamo skup ograničenja svake stručne domene neovisno.

PAP sustav usmjeravanja koristi otkrivanje strukturnih uzoraka za odabir relevantnih stručnih domena. Ovaj sloj usmjeravanja sam je po sebi formalno provjerljiv jer radi na diskretnim binarnim operacijama s dobro definiranim matematičkim svojstvima.

Rezultat je sustav koji može obraditi složene, stvarne zadatke uz zadržavanje izvedivosti provjere. Dobivamo prednosti u sposobnostima arhitektura mješavine stručnjaka sa sigurnosnim prednostima formalne provjere.

Implementacija: kako provjera zapravo izgleda

Za organizacije koje razmatraju primjenu provjerene umjetne inteligencije, praktični proces uključuje nekoliko faza.

Faza 1: definiranje svojstava

Prije početka provjere morate definirati koja svojstva treba provjeriti. To je često najteži korak, koji zahtijeva blisku suradnju stručnjaka za domene, inženjera i pravnih timova za usklađenost.

Svojstva moraju biti precizna i matematički izraziva. "Sustav bi trebao biti siguran" nije provjerljivo svojstvo. "Naredba brzine motora ne smije premašiti V_max kada senzor blizine pokazuje udaljenost manju od D_min" jest provjerljiva.

U Dweveu pomažemo klijentima u tom procesu specifikacije pomoću platforme Spindle, naše platforme za upravljanje znanjem u poduzećima. Hijerarhija od 32 agenta uključuje stručnjake za usklađenost s propisima koji pomažu prevesti pravne zahtjeve u formalna ograničenja.

Faza 2: Mapiranje arhitekture

Arhitektura AI sustava mora se mapirati u formalni model koji alati za provjeru mogu analizirati. Za Dweve sustave to je mapiranje jednostavno jer je naša arhitektura binarnih ograničenja dizajnirana za provjerljivost.

Za organizacije s postojećim implementacijama neuronskih mreža ova faza može zahtijevati izmjene arhitekture. Dodavanje slojeva ograničene autonomije oko postojećih modela, implementacija sigurnosnih ograničenja kao provjerenih omotača ili, u nekim slučajevima, zamjena neprovjerljivih komponenti Dweve ekvivalentima.

Faza 3: Izvođenje provjere

Suvremeni SMT rješavači i alati za formalnu provjeru analiziraju model sustava kako bi ili dokazali navedena svojstva ili identificirali protuprimjere. Protuprimjeri su neprocjenjivi jer točno otkrivaju koji bi ulazi mogli prekršiti sigurnosna ograničenja, što omogućuje ciljane popravke.

Za Dweve sustave provjera obično traje od nekoliko minuta do nekoliko sati, ovisno o složenosti ograničenja. Algoritmi u Dweve Coreu, njih 1.937, unaprijed su provjereni za uobičajena sigurnosna svojstva, pa provjera često uključuje sastavljanje unaprijed provjerenih komponenti umjesto početka od nule.

Faza 4: Certifikacija i dokumentacija

Provjerena svojstva generiraju dokazne artefakte koji služe kao dokaz za certifikaciju. Ti su dokazi strojno provjerljivi, što znači da ih regulatori mogu samostalno provjeriti standardnim alatima za provjeru dokaza, bez povjerenja u izvorni postupak provjere.

Dweve Fabric, naša objedinjena nadzorna ploča platforme, automatski generira dokumentaciju o usklađenosti iz rezultata provjere. Isti dokazi koji zadovoljavaju rješavač postaju paket dokaza za regulatornu prijavu.

Isti strojno provjerljivi dokaz može podržati regulatorni pregled, određivanje cijena osiguranja i pravnu obranu bez potrebe da itko vjeruje nadzornoj ploči.

Budućnost: provjereni AI kao standardna praksa

Nalazimo se na prekretnici u implementaciji AI-ja. Era „kretanja brzo i rušenja stvari" završava za aplikacije visokog rizika. Regulatorno okruženje se pooštrava. Izloženost odgovornosti raste. Izazovi s osiguranjem se gomilaju.

Organizacije koje implementiraju AI u reguliranim industrijama suočavaju se s izborom. Mogu nastaviti s tradicionalnim arhitekturama i suočiti se sa sve većim trenjima: duljim postupcima odobravanja, višim troškovima osiguranja, većom pravnom izloženošću i potencijalnom isključenošću s tržišta kako propisi stupe na snagu.

Ili mogu usvojiti provjerene arhitekture koje zadovoljavaju regulatore matematičkom sigurnošću, a ne statističkom nadom.

Revolucija provjere ne odnosi se na to da AI bude manje sposoban. Odnosi se na to da AI bude pouzdan na načine koji su važni svima izvan istraživačkog laboratorija: pacijentima, operaterima, osiguravateljima, regulatorima i sudovima. Odnosi se na izgradnju AI-ja koji ljudi doista mogu implementirati s povjerenjem.

U Dweveu vjerujemo da budućnost pripada AI sustavima koji mogu dokazati svoju sigurnost, a ne samo je obećati. Naša arhitektura, od 1.937 provjerenih algoritama u Coreu preko šest slojeva ograničene autonomije u Nexusu do 456 skupova ograničenja specijaliziranih za domene u Loomu, izgrađena je od temelja za tu budućnost.

Matematika izvjesnosti nije ograničenje napretka umjetne inteligencije. Ona je temelj za primjenu umjetne inteligencije u velikim razmjerima.

Spremni za primjenu umjetne inteligencije koju regulatori mogu odobriti? Formalno verificirana arhitektura tvrtke Dweve pruža matematička jamstva koja regulatorne prepreke pretvaraju u konkurentske prednosti. Kontaktirajte nas kako bismo razgovarali o tome kako verifikacija može ubrzati vaš put do tržišta uz smanjenje izloženosti odgovornosti.