Formālā verifikācija: vienīgais veids, kā apmierināt AI regulatorus

Regulatori nevēlas '95% precizitāti'. Viņi vēlas pierādījumus. Kāpēc varbūtību testēšana tiesā cieš neveiksmi, un kā formālā verifikācija sniedz matemātisku...

Formālā verifikācija: vienīgais veids, kā apmierināt AI regulatorus

Saruna, kas nekad neizdodas labi

Iedomājieties šo ainu. Tā notiek katru nedēļu valžu zālēs visā Eiropā, FDA pārskata sanāksmēs, apdrošināšanas parakstīšanas birojos. AI inženieris prezentē savu jaunāko sistēmu regulatoriem, juristiem vai riska novērtētājiem.

"Mūsu autonoms insulīna sūknis sasniedza 99,97% precizitāti 50 miljonos testa scenāriju," inženieris lepni paziņo, noklikšķinot uz slaidu, kas pilns ar iespaidīgiem rādītājiem. "Pasaules līmenis. Labāks par jebkuru cilvēku endokrinologu."

Telpā iestājas klusums. Regulatore pieliecas uz priekšu.

"Tātad jūs man sakāt," viņa lēnām saka, "ka no katrām 10 000 insulīna devām, ko šī ierīce ievada... trīs no tām varētu būt nepareizas?"

Inženieris neērti pakustas. "Nu, statistiski runājot..."

"Vien Vācijā aptuveni 7 miljoniem cilvēku ir diabēts, kam nepieciešama insulīna terapija. Ja katrs cilvēks saņem tikai četras devas dienā, tas ir 28 miljoni ievadījumu dienā. Pie jūsu 0,03% kļūdu līmeņa..." Viņa veic aprēķinus savā piezīmju blociņā. "Tas ir 8400 iespējamu devu kļūdu. Katru vienu dienu."

"Bet lielākā daļa no tām nebūtu klīniski nozīmīgas..."

"Vai varat man pateikt, kuras no tām būtu?"

Klusums.

"Vai varat man pateikt, kad notiks nākamā kļūme? Vai varat man pateikt, kāpēc tā notiks?"

Atkal klusums.

"Tad man žēl, bet mēs nevaram apstiprināt šo ierīci."

Liktenīgā plaisa: testēšana pret verifikācijuVarbūtību testēšana"Mēs izpildījām 50 miljonus testu"99,97% precizitāte0,03% = nezināms atteices veidsFormālā verifikācija"Mēs pierādījām matemātisku īpašību"100% garantija (attiecībā uz īpašību)Pārkāpums matemātiski neiespējamsIetekme reālajā pasaulē: Vācijas insulīna piemērs7M diabētiķux 4 devas dienāx 0,03% kļūdu= 8 400 kļūdu dienāRegulatoru jautājumi, uz kuriem testēšana nevar atbildētKad notiks nākamā atteice?Kāpēc tā notiks? Nezināms.Verifikācija sniedz noteiktībuDeva ierobežota ar pacienta parametriemPārkāpums ir matemātiski neiespējams

Šī saruna dažādās formās notiek pastāvīgi, mākslīgajam intelektam pārejot no pētniecības laboratorijām uz fizisko pasauli. Un tā atklāj fundamentālu epistemoloģisku plaisu starp to, kā MI inženieri domā par drošību, un to, kā par to domā regulatori, juristi un tiesas.

Regulatori neapstiprina vidējo precizitāti, ja atlikušais kļūdu līmenis joprojām var pārvērsties tūkstošos neizskaidrojamu augsta riska kļūmju.

Valodas barjera, kas nav par valodu

Kad mākslīgā intelekta inženieris saka "99,97 % precizitāte", viņš patiesi tic, ka apraksta kaut ko iespaidīgu un drošu. Mašīnmācīšanās etalonu pasaulē šis skaitlis tiktu svinēts. Tiktu publicēti pētījumi. Investori būtu sajūsmā.

Bet regulators dzird kaut ko pavisam citu. Viņš dzird: "Pastāv neliela, bet ne nulles varbūtība, ka šī sistēma katastrofāli atteiksies, un mums nav ne jausmas, kad, kur vai kāpēc tas notiks."

Tā nav komunikācijas problēma. Nav tā, ka inženieriem vajadzētu labākas prezentācijas prasmes vai regulatoriem tehnisko izglītību. Tas ir fundamentāls konflikts starp diviem dažādiem priekšstatiem par to, ko īsti nozīmē "zināt, ka kaut kas darbojas".

Patērētāju programmatūrā varbūtības pieejas ir pilnīgi pieņemamas. Ja Netflix iesaka filmu, kas jums nepatīk, neviens nemirst. Ja Spotify iesaka dziesmu, kas neatbilst jūsu gaumei, sliktākais gadījums ir viegls aizkaitinājums. Šīs sistēmas var atļauties dažkārt kļūdīties, jo kļūmes izmaksas ir niecīgas.

Bet mākslīgais intelekts strauji virzās ārpus patērētāju ieteikumiem jomās, kur kļūmei ir fiziskas, juridiskas un morālas sekas: autonomi transportlīdzekļi, kas sekundes daļās pieņem lēmumus par gājējiem, medicīniskās ierīces, kas aprēķina zāļu devas, rūpnieciskie roboti, kas strādā blakus cilvēkiem, finanšu sistēmas, kas apstiprina vai noraida kredītus, kuri nosaka, vai ģimenes var iegādāties mājokļus.

Šajās jomās "diezgan droši, ka darbojas" nav pietiekami. Tiesas nepieņem varbūtību sadalījumus kā pierādījumus. Apdrošināšanas aktuāri nevar noteikt cenas polisēm nezināmiem kļūmju veidiem. Regulatori nevar apstiprināt ierīces, kas varētu nogalināt cilvēkus iemeslu dēļ, kurus neviens nevar izskaidrot.

Kāpēc testēšana, lai cik plaša, nevar nodrošināt drošību

Dominējošā paradigma mākslīgā intelekta novērtēšanā šodien ir empīriskā testēšana uz atdalītām datu kopām. Jūs trenējat modeli uz datu kopu A, pēc tam novērtējat to uz datu kopu B. Ja tas labi darbojas uz B, jūs pieņemat, ka tas ir "apguvis" pamatuzdevumu un vispārināsies reālās darbības apstākļos.

Šai pieejai ir trīs fundamentālas problēmas, kuras nevar atrisināt nekāds testēšanas apjoms.

Pirmā problēma: bezgalīgā ievades telpa

Testēšana var tikai parādīt kļūdu esamību, nekad to neesamību. Neatkarīgi no tā, cik testa gadījumu palaižat, jūs izlases veidā paraugojat no bezgalīgas ievades telpas. Sistēmai, kas kontrolē medicīnisko ierīci, jātiek galā ne tikai ar testa scenārijiem, kurus iztēlojāties, bet ar katru iespējamo pacienta fizioloģiju, vides apstākļu, sensoru rādījumu un robežgadījumu kombināciju, ko reālā pasaule galu galā radīs.

Iedomājieties, ka mēģināt pierādīt, ka siena kaudzē nav adatu, nejauši paceļot siena salmus. Pēc miljona salmu pārbaudes un nevienas adatas neatrašanas jūs nevarat secināt, ka kaudze ir bez adatām. Varat tikai teikt, ka vēl neesat nevienu atradis. Testēšana darbojas tāpat. Neatkarīgi no tā, cik scenāriju iztur, nākamais var neizturēt.

Otrā problēma: adversāriālā ievainojamība

Dziļie neironu tīkli ir īpaši ievainojami pret adversāriālām ievadēm. Tās ir rūpīgi izstrādātas perturbācijas, kas liek modeļiem katastrofāli atteikties, vienlaikus cilvēku novērotājiem izskatoties normāli.

A model might correctly classify stop signs 99.99% of the time, but a small sticker placed in a specific location could cause it to confidently classify the sign as a speed limit sign. A model might accurately identify medical conditions in thousands of X-rays, but a specific pattern of noise, invisible to human radiologists, might cause it to miss obvious tumors.

These aren't theoretical concerns. Researchers have demonstrated adversarial attacks against every major class of neural network architecture. And the attacks are becoming easier to construct while the defenses remain incomplete.

Testing cannot protect against adversarial vulnerabilities because the attack surface is infinite. You would need to test not just normal inputs, but every possible perturbation of every normal input. That's mathematically impossible.

Problem Three: The Distributional Shift

The real world doesn't stand still. The data distribution your model was trained on will drift over time. Patient populations change. Driving conditions evolve. Manufacturing processes vary. Sensor degradation occurs.

A model that performs perfectly on today's data may fail silently when tomorrow's data shifts outside its training distribution. And unlike explicit errors that crash programs, these failures often produce confident, plausible, but wrong outputs.

Testing on today's data tells you nothing about tomorrow's performance. By the time you observe the failure in production, the harm has already occurred.

Trīs neatrisināmās testēšanas problēmasBezgalīga ievades telpaievadesTestēšana: pārbaudīti 4 punktiBezgalīgi daudz punktu paliekNevar pierādīt neesamībuNedraudzīga ievainojamībaSTOPzīme+mazsplāksteris="Ātruma ierobežojums 80"Bezgalīga uzbrukuma virsmaSadalījuma maiņaApmācībasdatiRītdienasdatiSadalījuma novirzePacienta izmaiņasSensora degradācijaNākotne nav testējamaPamata ierobežojumsTestēšana var parādīt kļūdu KLĀTBŪTNITestēšana NEVAR parādīt kļūdu NEESAMĪBUFormālā verifikācija: matemātiskā alternatīvaPierāda, ka īpašības attiecas uz VISĀM ievadēm, ne tikai pārbaudītajiem paraugiem
Plaša testēšana izlasa siena kaudzi; formālā verifikācija jautā, vai nedrošā adata var pastāvēt atbilstoši deklarētajiem ierobežojumiem.

Formālā verifikācija: matemātika kā drošības universālā valoda

Formālā verifikācija piedāvā pilnīgi atšķirīgu pieeju. Tā vietā, lai jautātu "vai sistēma darbojās šajos testa gadījumos?", tā jautā "vai mēs varam matemātiski pierādīt, ka sistēma apmierinās kādu īpašību visiem iespējamiem ievaddatiem?"

Atšķirība ir būtiska. Testēšana izlasa ievades telpu. Verifikācija izsmeļoši spriež par visu telpu.

Aplūkosim robotizētu roku, kas strādā kopā ar cilvēkiem rūpnīcā. Mēs vēlamies garantēt drošības īpašību: "Roka nekad nedrīkst pārsniegt 2 metrus sekundē, ja cilvēks tiek uztverts 1 metra attālumā."

Testēšanas pieeja vada roku cauri tūkstošiem scenāriju ar simulētiem cilvēkiem dažādās pozīcijās un ātrumos, mērot, vai drošības ierobežojums kādreiz tiek pārkāpts. Ja pārkāpumi netiek novēroti, sistēma tiek pasludināta par "drošu". Bet nākamais scenārijs, tas, kas netika testēts, varētu būt tas, kas ievaino strādnieku.

Verifikācijas pieeja ir fundamentāli atšķirīga. Mēs ņemam vadības sistēmas matemātisko modeli, ieskaitot neironu tīklu, kas apstrādā sensoru datus, un kontrolleri, kas ģenerē motora komandas. Mēs izsakām drošības īpašību kā formālu ierobežojumu. Tad mēs izmantojam specializētus algoritmus, ko sauc par SMT (Satisfiability Modulo Theories) risinātājiem, lai atbildētu uz precīzu jautājumu: "Vai pastāv KĀDA ievades konfigurācija, derīgā darbības diapazonā, kurai izejas ātrums pārsniedz 2 m/s, kad tiek uztverta cilvēka tuvums?"

Risinātājs netestē nejaušus punktus. Tas analizē visas sistēmas matemātisko struktūru. Tas spriež par funkciju telpas ģeometriju. Ja tas atgriež "UNSAT" (neizpildāms), mums ir matemātisks pierādījums, ka šāds pārkāpjošs ievaddati neeksistē. Drošības īpašība ir spēkā ne tikai testētajiem gadījumiem, bet katram iespējamam gadījumam, kas jebkad varētu notikt.

Šī ir atšķirība starp "es pārbaudīju daudzus tiltus un neviens nesabruka" un "šo materiālu fizika matemātiski garantē, ka šis tilts nevar sabrukt zem šīs slodzes." Viens ir empīrisks novērojums, kas pakļauts pārskatīšanai. Otrs ir loģiska noteiktība.

Kāpēc mūsdienu mākslīgais intelekts pretojas verifikācijai

Ja formālā verifikācija ir tik spēcīga, kāpēc to neizmanto visi? Kāpēc tādi uzņēmumi kā OpenAI un Google paļaujas uz "sarkano komandu" (cilvēki, kas mēģina salauzt modeli), nevis matemātiskiem pierādījumiem?

Atbilde slēpjas arhitektūras izvēlēs, ko nozare ir izdarījusi. Mūsdienu lielie valodas modeļi un dziļie neironu tīkli ir veidoti izteiksmīgumam, nevis verificējamībai. Tie ir optimizēti radošu rezultātu ģenerēšanai, nevis matemātiskai analizējamībai.

Tipiskam transformatora modelim ir miljardiem vai triljoniem parametru. Tas izmanto sarežģītas, nelineāras aktivācijas funkcijas, piemēram, GeLU vai Swish. Matemātiskā sarežģītība, verificējot šādu sistēmu, pieaug eksponenciāli ar neironu skaitu un tīkla dziļumu.

Īpašības pierādīšana uz miljardu parametru transformatora ir skaitļošanas ziņā neiespējama. Visums sasniegtu termisko nāvi, pirms risinātājs būtu izpētījis visas matemātiskās atzarus. Nozare ir uzbūvējusi sistēmas tik sarežģītas, ka pat to radītāji nevar tās pilnībā analizēt.

Šī ir dizaina izvēle, nevis neizbēgamība. Nozare optimizēja iespaidīgus demonstrējumus un etalonu rezultātus, neapsverot, vai šādas sistēmas vispār varētu droši ieviest regulētā vidē.

Dweve arhitektūra: pēc konstrukcijas pārbaudāma

Uzņēmumā Dweve mēs izdarījām citādas arhitektūras izvēles. Mēs veidojām savas sistēmas no paša sākuma tā, lai tās būtu pārbaudāmas, jo sapratām, ka korporatīvajiem un rūpniecības klientiem galu galā būs jāapmierina regulatoru prasības, nevis tikai jāatstāj uz tiem iespaids.

Mūsu pieeja apvieno divus galvenos jauninājumus, kas padara pārbaudi iespējamu.

Bināro ierobežojumu atklāšana: vienkārša matemātika

Tā vietā, lai izmantotu milzīgus peldošā komata neironu tīklus ar miljardiem nepārtrauktu parametru, Dweve sistēmas izmanto bināro ierobežojumu atklāšanu. Zināšanas tiek attēlotas kā diskrēti loģiski ierobežojumi, nevis apgūti nepārtraukti svari.

Mūsu Dweve Core bibliotēkā ir 1 937 aparatūrai optimizēti algoritmi, kas balstīti uz binārajām darbībām: XNOR, AND, OR, POPCNT. Šīm darbībām ir vienkāršas, labi izprotamas matemātiskas īpašības. Binārais ierobežojums vai nu pastāv, vai ne. Nav nekādas varbūtības nenoteiktības.

Ierobežojot matemātiku ar vienkāršām lineārām sakarībām un Būla loģiku, mēs ievērojami samazinām pārbaudes meklēšanas telpu. Problēmas, kas nepārtrauktiem neironu tīkliem būtu neatrisināmas, mūsu bināro ierobežojumu sistēmām kļūst atrisināmas. Pārbaudes problēma pārvēršas no neiespējamas nelineāras optimizācijas par atrisināmu jauktas veselu skaitļu lineārās programmēšanas (MILP) vai SAT problēmu.

Šīs joprojām ir skaitļošanas ziņā sarežģītas problēmas, taču sistēmu izmēram, ko mēs izvietojam drošībai kritiskās lietojumprogrammās, mūsdienu risinātāji tās var apstrādāt sekundēs vai minūtēs, nevis gadsimtos.

Sešu slāņu ierobežotas autonomijas arhitektūra

Mēs nemēģinām pārbaudīt katru mākslīgā intelekta uztveres aspektu. Atzīšana, ka "pikseļu režģis attēlo cilvēku", pēc būtības ir neskaidrs, varbūtības spriedums. Jūs nevarat formāli pierādīt, ka modeļu atpazīšana vienmēr ir pareiza, jo pareizība ir atkarīga no subjektīvām definīcijām.

Tā vietā mēs ieviešam daudzslāņu drošības arhitektūru, kurā varbūtības mākslīgā intelekta komponenti ir ierobežoti ar formāli pārbaudītiem loģiskiem ierobežojumiem. Mākslīgais intelekts var ieteikt darbības, taču šiem ieteikumiem pirms izpildes ir jāiziet cauri pārbaudītiem drošības vārtiem.

Dweve Nexus ievieš sešus drošības nodrošināšanas slāņus:

  1. Nodomu pārbaude: apstiprina, ka mākslīgā intelekta darbības atbilst deklarētajiem mērķiem
  2. Ierobežota autonomija: stingri ierobežojumi tam, kādas darbības ir atļautas neatkarīgi no mākslīgā intelekta ieteikumiem
  3. Satura moderācija: filtrē izvades drošības un atbilstības nolūkos
  4. Ētikas ievērošana: nodrošina atbilstību noteiktiem ētikas ierobežojumiem
  5. Anomāliju atklāšana: identificē, kad mākslīgā intelekta uzvedība atšķiras no paredzamajiem modeļiem
  6. Darbības laika uzraudzība: nepārtraukta pārbaude, ka tiek uzturēti drošības invarianti

Galvenā atziņa ir tāda, ka mums formāli jāpārbauda tikai drošības slāņi, nevis visa mākslīgā intelekta sistēma. Pat ja pamatā esošais mākslīgais intelekts pieļauj kļūdu, ierobežotās autonomijas slānis matemātiski garantē, ka bīstamas komandas nekad nesasniedz izpildmehānismus.

Dweve sešu slāņu ierobežotās autonomijas arhitektūraSensoru ievadeFiziskās pasaules datiDweve Loom456 nozares speciālistu ierobežojumu kopas(Varbūtības uztvere)Sešu slāņu ierobežotā autonomijaFORMĀLI PĀRBAUDĪTSMatemātiskas garantijas VISĀM ieejāmSeši pārbaudītie drošības slāņi1. slānis: Nolūka pārbaudeDarbības atbilst deklarētajiem mērķiem2. slānis: Ierobežotā autonomijaStingri ierobežojumi atļautajām darbībām3. slānis: Satura moderācijaIzvades drošības filtrēšana4. slānis: Ētikas ieviešanaĒtikas ierobežojumu ievērošana5. slānis: Anomāliju noteikšanaUzvedības noviržu uzraudzība6. slānis: Darbības laika uzraudzībaNepārtraukta invariantu pārbaudePiemērs: Medicīniskās ierīces drošības ierobežojumsIF patient_weight AND glucose_level AND insulin_sensitivityTHEN max_dose = f(weight, glucose, sensitivity) // Bounded functionBez ierobežotās autonomijasMākslīgais intelekts iesaka 10x pārdozēšanupretinieka ievades vai malas gadījuma dēļRezultāts: Pacienta kaitējumsAr ierobežoto autonomijuNotiek tā pati MI kļūda, bet 2. slānisierobežo izvadi līdz pārbaudītam drošam diapazonamRezultāts: Pacients aizsargāts
Arhitektūrai nav jāpierāda katrs uztveres spriedums; tā pierāda, ka nedrošas komandas nevar iziet cauri drošības apvalkam.

Regulatīvā matemātika: kāpēc verifikācija rada biznesa vērtību

Mūsu klientiem formālā verifikācija nav akadēmisks vingrinājums. Tā ir konkurences priekšrocība, kas tieši pārtop biznesa rezultātos.

Ātrāka regulatīvā apstiprināšana

Kad medicīnas ierīču ražotājs vēršas pie FDA vai EMA ar mākslīgā intelekta vadītu sistēmu, regulatoru piesardzība ir pamatota. Viņi zina, ka mākslīgais intelekts var būt neparedzams. Standarta apstiprināšanas procesi prasa gadiem ilgus klīniskos pētījumus, lai statistiski pierādītu drošību.

Bet ražotājs, kas izmanto formāli verificētus Dweve komponentus, var mainīt sarunas gaitu. Tā vietā, lai uzrādītu testu rezultātus, kas apliecina "mēs vēl neesam novērojuši kļūmes", viņi var uzrādīt matemātiskus pierādījumus, kas apliecina "kļūmes šajās robežās nav iespējamas".

"Mēs ne tikai domājam, ka šis insulīna sūknis neizraisīs pārdozēšanu. Lūk, formāls pierādījums, ka izvades deva ir matemātiski ierobežota ar pacienta svara un glikozes līmeņa nosacījumiem. Pārkāpums nav tikai maz ticams. Tas ir loģiski neiespējams."

Tas ļauj izmantot paātrinātas izskatīšanas procedūras. Regulatori var patstāvīgi pārbaudīt pierādījumu. Viņiem nav jāpaļaujas uz testēšanas procesu; viņi var tieši izpētīt matemātiku.

Zemākas apdrošināšanas prēmijas

Apdrošināšanas aktuāriji saskaras ar neiespējamu problēmu attiecībā uz tradicionālajām mākslīgā intelekta sistēmām. Kā novērtēt risku tādiem atteices veidiem, kurus nevar paredzēt vai izskaidrot? Rezultāts ir vai nu ārkārtīgi augstas prēmijas, lai segtu nezināmos riskus, vai arī izslēgšanas klauzulas, kas padara apdrošināšanu praktiski nederīgu.

Verificētas sistēmas maina aktuāra aprēķinu. Ja matemātiskais pierādījums garantē, ka noteikti atteices veidi nevar notikt, šos atteices veidus var izslēgt no riska modeļa. Atlikušie riski ir kvantificējami. Prēmijas attiecīgi samazinās.

Daži mūsu klienti ir novērojuši, ka atbildības apdrošināšanas izmaksas samazinās par 40-60% pēc verificētu drošības slāņu ieviešanas, vienkārši tāpēc, ka apdrošinātāji tagad var aprēķināt ierobežotus riskus, nevis noteikt cenu par neierobežotu nenoteiktību.

Juridiskā aizstāvība

Kad mākslīgā intelekta sistēmas nodara kaitējumu, seko tiesvedība. Tradicionālās mākslīgā intelekta ieviešanas gadījumā sistēmas aizstāvēšana ir gandrīz neiespējama. "Kā jūsu sistēma pieņēma šo lēmumu?" "Mēs precīzi nezinām, tas ir neironu tīkls ar miljardiem parametru..." Šī atbilde neapmierina ne tiesnesi, ne žūriju.

Verificētas sistēmas piedāvā citu aizstāvību: "Lūk, drošības ierobežojums. Lūk, matemātiskais pierādījums, ka ierobežojumu nevar pārkāpt. Kaitējums notika ārpus verificētās robežas, kas norāda uz ārējiem faktoriem, nevis sistēmas kļūmi."

Šeit nav runa par atbildības novēršanu. Runa ir par spēju precīzi parādīt, kādas garantijas tika dotas un vai tās tika ievērotas. Tiesas saprot formālo loģiku. Viņi saprot matemātiskos pierādījumus. Viņi nesaprot varbūtības ticamības intervālus.

Formālās verifikācijas biznesa vērtībaRegulatīvais ātrumsTradicionāli: 3-5 gadinepieciešami klīniskie pētījumiVerificēti: 6-18 mēnešipierādījumos balstīta apstiprināšana2-4x ātrāk līdz tirgumApdrošināšanas izmaksasTradicionāli: $$$nenoteikta riska cenasVerificēti: $ierobežota riska cenas40-60% izmaksu samazinājumsJuridiskā pozīcijaTradicionāli: Neaizstāvama"Mēs nezinām, kāpēc"Verificēti: Aizstāvama"Lūk, pierādījums"Skaidra atbildībaKonkurētspējas realitāteSākoties ES AI akta izpildei, verificētas sistēmas kļūst par tirgus prasību, nevis atšķirības pazīmiBez verifikācijasIzslēgti no augsta riska tirgiemVeselības aprūpe, automobiļi, finansesAr verifikācijuPiekļuve regulētiem tirgiemPremium pozicionēšana, uzticamas partnerības

ES Akts par mākslīgo intelektu: verifikācija kļūst obligāta

Teorētiskās formālās verifikācijas priekšrocības kļūst par praktiskām prasībām. ES Aktam par mākslīgo intelektu, kas stājās spēkā 2024. gadā ar pakāpenisku ieviešanu līdz 2027. gadam, būtiski maina to, kas juridiski tiek prasīts no mākslīgā intelekta risinājumiem Eiropā.

"Augsta riska" mākslīgā intelekta sistēmām, kas ietver medicīniskās ierīces, nodarbinātības lēmumus, kredītspējas novērtējumus un daudzus rūpnieciskus lietojumus, Aktā ir noteikts:

  • Riska pārvaldības sistēmas, kas identificē un mazina paredzamus riskus
  • Augstas kvalitātes apmācības dati ar dokumentētu izcelsmi
  • Žurnālfailu reģistrēšanas iespējas, kas ļauj izsekot sistēmas darbībai
  • Pārredzamība lietotājiem par mākslīgā intelekta pieņemtajiem lēmumiem
  • Cilvēka uzraudzības mehānismi, kas ļauj iejaukties
  • Precizitāte, robustums un kiberdrošība, kas atbilst lietojumam

Ievērojiet formulējumu: "paredzami riski", "izsekojama darbība", "lietojumam atbilstoša precizitāte". Tās nav neskaidras vēlmes. Tie ir juridiski pienākumi ar izpildes mehānismiem, tostarp naudas sodiem līdz 35 miljoniem eiro vai 7% no globālā apgrozījuma.

Kā jūs pierādāt, ka esat identificējis un mazinājis "paredzamus riskus" neironu tīklam ar miljardiem parametru, kura lēmumu pieņemšanas process ir necaurredzams pat tā radītājiem? Kā jūs parādāt, ka darbība ir "izsekojama", ja sistēma rada rezultātus ar nesaprotamām matricu reizināšanām?

Tradicionālās mākslīgā intelekta arhitektūras nevar izpildīt šīs prasības tikai ar dokumentāciju un testēšanu. Bet verificētas sistēmas var. Pierādījums ir dokumentācija. Matemātiskā garantija ir riska mazināšana. Loģiskie ierobežojumi ir izsekojamība.

456 jomas speciālisti: verificējams mērogs

Izplatīts iebildums pret verificētu mākslīgo intelektu ir tas, ka verifikācija nav mērogojama. Vienkāršām sistēmām ar dažiem noteikumiem verifikācija, protams, darbojas. Bet reālās pasaules mākslīgajam intelektam ir jāspēj apstrādāt sarežģītu uztveri un spriešanu. Kā verifikācija var darboties lielā mērogā?

Dweve Loom pierāda, ka verifikācija un spējas nav savstarpēji izslēdzošas. Mūsu pamata modelis izmanto 456 specializētus ierobežojumu kopumus, no kuriem katrs satur 64-128 MB bināro ierobežojumu. Bet konkrētam vaicājumam aktivizējas tikai 4-8 jomas speciālisti.

Šī arhitektūra, ko mēs saucam par ultraretu aktivāciju, nozīmē, ka verifikācijas darbs mērogojas ar aktīvo apakškopu, nevis ar visu modeli. Mums nav jāverificē visas 456 jomas speciālistu kombinācijas vienlaikus. Mēs verificējam maršrutēšanas loģiku, kas atlasa jomas speciālistus, un mēs verificējam katra jomas speciālista ierobežojumu kopumu neatkarīgi.

Permuted Agreement Popcount (PAP) maršrutēšanas sistēma izmanto strukturālo modeļu atpazīšanu, lai atlasītu atbilstošos jomas speciālistus. Šis maršrutēšanas slānis pats par sevi ir formāli verificējams, jo tas darbojas ar diskrētām binārām operācijām ar precīzi definētām matemātiskām īpašībām.

Rezultāts ir sistēma, kas spēj apstrādāt sarežģītus, reālās pasaules uzdevumus, vienlaikus saglabājot verifikācijas veicamību. Mēs iegūstam ekspertu maisījuma arhitektūru spēju priekšrocības ar formālās verifikācijas drošības priekšrocībām.

Ieviešana: kā verifikācija patiesībā izskatās

Organizācijām, kas apsver verificēta mākslīgā intelekta ieviešanu, praktiskais process ietver vairākus posmus.

1. posms: īpašību specifikācija

Pirms verifikācijas sākšanas jums ir jādefinē, kādas īpašības ir jāverificē. Tas bieži vien ir vissarežģītākais solis, kas prasa ciešu sadarbību starp jomas ekspertiem, inženieriem un juridiskās/atbilstības komandām.

Īpašībām jābūt precīzām un matemātiski izsakāmām. "Sistēmai jābūt drošai" nav verificējama īpašība. "Motora ātruma komanda nedrīkst pārsniegt V_max, kad tuvuma sensors norāda attālumu, kas mazāks par D_min" ir verificējama.

Uzņēmumā Dweve mēs palīdzam klientiem šajā specifikācijas procesā, izmantojot Spindle, mūsu uzņēmuma zināšanu pārvaldības platformu. 32 aģentu hierarhijā ietilpst normatīvās atbilstības speciālisti, kas palīdz pārvērst juridiskās prasības formālos ierobežojumos.

2. posms: arhitektūras kartēšana

Mākslīgā intelekta sistēmas arhitektūra ir jākartē formālā modelī, ko verifikācijas rīki var analizēt. Dweve sistēmām šī kartēšana ir vienkārša, jo mūsu binārā ierobežojumu arhitektūra tika veidota ar verifikācijas iespējām.

Organizācijām ar esošiem neironu tīklu risinājumiem šis posms var prasīt arhitektūras izmaiņas. Pievienojot ierobežotas autonomijas slāņus esošajiem modeļiem, ieviešot drošības ierobežojumus kā verificētus apvalkus vai dažos gadījumos aizstājot neverificējamas sastāvdaļas ar Dweve ekvivalentiem.

3. posms: verifikācijas izpilde

Mūsdienu SMT risinātāji un formālās verifikācijas rīki analizē sistēmas modeli, lai vai nu pierādītu noteiktās īpašības, vai identificētu kontrpiemērus. Kontrpiemēri ir nenovērtējami, jo tie atklāj, kuri ievaddati tieši varētu pārkāpt drošības ierobežojumus, ļaujot veikt mērķtiecīgus labojumus.

Dweve sistēmām verifikācija parasti tiek pabeigta dažu minūšu līdz dažu stundu laikā atkarībā no ierobežojumu sarežģītības. 1 937 algoritmi Dweve Core jau ir iepriekš verificēti attiecībā uz izplatītākajām drošības īpašībām, tāpēc verifikācija bieži ietver iepriekš verificētu komponentu apvienošanu, nevis sākšanu no nulles.

4. posms: sertifikācija un dokumentācija

Verificētās īpašības ģenerē pierādījumu artefaktus, kas kalpo kā sertifikācijas pierādījumi. Šie pierādījumi ir mašīnverificējami, kas nozīmē, ka regulatori tos var neatkarīgi pārbaudīt, izmantojot standarta pierādījumu pārbaudes rīkus, nepaļaujoties uz sākotnējo verifikācijas procesu.

Dweve Fabric, mūsu vienotā platformas informācijas panelis, automātiski ģenerē atbilstības dokumentāciju no verifikācijas rezultātiem. Tie paši pierādījumi, kas apmierina risinātāju, kļūst par pierādījumu paketi normatīvajai iesniegšanai.

Tas pats mašīnverificējamais pierādījums var atbalstīt normatīvo pārskatīšanu, apdrošināšanas cenu noteikšanu un juridisko aizstāvību, neprasot nevienam uzticēties informācijas panelim.

Nākotne: verificēts MI kā standarta prakse

Mēs atrodamies MI ieviešanas pagrieziena punktā. "Ātri kusties un lauz lietas" laikmets augsta riska lietojumiem tuvojas beigām. Normatīvā vide kļūst stingrāka. Atbildības risks palielinās. Apdrošināšanas izaicinājumi pieaug.

Organizācijām, kas ievieš MI regulētās nozarēs, ir jāizdara izvēle. Tās var turpināt ar tradicionālajām arhitektūrām un saskarties ar pieaugošu berzi: ilgākiem apstiprināšanas procesiem, augstākām apdrošināšanas izmaksām, lielāku juridisko atbildību, iespējamu tirgus izslēgšanu, kad regulas stājas spēkā.

Vai arī tās var pieņemt verificētas arhitektūras, kas apmierina regulatorus ar matemātisku pārliecību, nevis statistisku cerību.

Verifikācijas revolūcija nav par to, lai MI būtu mazāk spējīgs. Tā ir par to, lai MI būtu uzticams veidos, kas ir svarīgi visiem ārpus pētniecības laboratorijas: pacientiem, operatoriem, apdrošinātājiem, regulatoriem un tiesām. Tā ir par tāda MI veidošanu, ko cilvēki patiešām var ieviest ar pārliecību.

Uzņēmumā Dweve mēs uzskatām, ka nākotne pieder MI sistēmām, kas var pierādīt savu drošību, nevis tikai to solīt. Mūsu arhitektūra, sākot no 1 937 verificētiem algoritmiem Core līdz sešu slāņu ierobežotai autonomijai Nexus un 456 nozares speciālistu ierobežojumu kopām Loom, ir veidota no pamatiem tieši šai nākotnei.

Matemātikas noteiktība nav ierobežojums AI attīstībai. Tā ir pamats AI ieviešanai plašā mērogā.

Vai esat gatavi ieviest AI, ko regulatoriem ir iespējams apstiprināt? Dweve formāli verificētā arhitektūra nodrošina matemātiskas garantijas, kas pārvērš regulatīvos šķēršļus konkurences priekšrocībās. Sazinieties ar mums, lai pārrunātu, kā verifikācija var paātrināt jūsu ceļu uz tirgu, vienlaikus samazinot jūsu atbildības risku.