Formele verificatie: De enige manier om AI-toezichthouders tevreden te stellen

De advocaat en de ingenieur: Een dovemansgesprek

Er is sprake van een fundamentele ruis in het huidige gesprek tussen AI-ingenieurs en toezichthouders van de overheid. Het is een taalbarrière, maar niet een van nationaliteit. Het is een barrière van epistemologie: een meningsverschil over hoe we weten wat we weten en wat 'waarheid' inhoudt.

De AI-ingenieur staat op en zegt: "Dit systeem is veilig. We hebben het door 10 miljoen gesimuleerde testscenario's gehaald. We hebben het gebenchmarkt op de standaard datasets. Het werkte in 99,99% van de gevallen correct. Het is state-of-the-art."

De toezichthouder (en de rechter, en de verzekeringsactuaris) hoort iets heel anders. Zij horen: "Er is een kans van 0,01% dat dit systeem catastrofaal faalt. We weten niet wanneer dat zal gebeuren. We weten niet waarom dat zal gebeuren. En we kunnen niet garanderen dat het morgen niet gebeurt wanneer het in een ziekenhuis wordt ingezet."

In de wereld van consumenten-apps (aanbevelingsmachines, chatbots, fotofilters) is deze probabilistische benadering acceptabel. Als Spotify een nummer aanbeveelt dat je haat, gaat er niemand dood. Maar naarmate AI de fysieke wereld en besluitvorming met grote gevolgen betreedt (autonoom rijden, medische diagnoses, beheer van elektriciteitsnetten, kredietgoedkeuring), verdampt de tolerantie voor 'probabilistische veiligheid'.

Je kunt aan een rechter niet uitleggen dat jouw autonome auto een voetganger heeft doodgereden omdat het een "statistisch randgeval" was. Je kunt een patiënt niet troosten door te zeggen dat de overdosis straling een "afwijking van 0,01%" was. In de wereld van aansprakelijkheid is "vrijwel zeker" geen verdediging.

Het falen van probabilistisch testen

Het dominante paradigma in AI-evaluatie is tegenwoordig empirisch testen op een hold-out dataset. Je traint op data A en je test op data B. Als het model hoog scoort op B, neem je aan dat het de taak heeft "geleerd" en dat dit zich generaliseert naar de echte wereld.

Maar Deep Neural Networks zijn hoog-dimensionale, niet-lineaire functies. Ze zijn notoir broos. Ze lijden aan een fenomeen dat bekend staat als "adversarial vulnerability". Een model kan een stopbord 99% van de tijd perfect classificeren, maar als je de afbeelding 3 graden draait en een specifiek, onwaarneembaar ruispatroon toevoegt, kan het model het vol vertrouwen classificeren als een broodrooster. Of als een snelheidsbord dat 80 km/u aangeeft.

Dit gebeurt omdat het model niet daadwerkelijk het concept van een "Stopbord" (een achthoekige rode vorm met witte tekst bedoeld om verkeer te stoppen) heeft geleerd. Het heeft een statistische correlatie van pixeltexturen geleerd. Het werkt in het gemiddelde geval, maar het faalt in het ergste geval.

Testen (hoe uitgebreid ook) kan alleen de aanwezigheid van bugs aantonen, niet hun afwezigheid. Je kunt een miljard kilometer aan simulaties draaien, maar je kunt de oneindige invoerruimte van de echte wereld niet dekken. Testen is zoeken naar een speld in een hooiberg door willekeurige stukjes hooi op te pakken. Als je de speld niet vindt, betekent dit niet dat hij er niet is; het betekent alleen dat je hem nog niet hebt aangeraakt.

Wanneer de EU AI Act eist dat risicovolle AI-systemen "robuust, nauwkeurig en cyberveilig" zijn, vragen ze impliciet om een garantie die probabilistisch testen simpelweg niet kan bieden.

Enter Formele Verificatie: De wiskunde van zekerheid

Formele verificatie is het tegengif voor onzekerheid. Het is een techniek die is geleend van hardware-ontwerp en kritieke systeemtechniek (zoals luchtvaartelektronica en besturing van kernreactoren). In plaats van steekproeven te testen, gebruikt het wiskundige logica om eigenschappen van het systeem te bewijzen voor alle mogelijke invoer.

Stel je een eenvoudig neuraal netwerk voor dat een robotarm bestuurt. We willen een veiligheidseigenschap garanderen: "De arm mag nooit sneller bewegen dan 2 meter per seconde wanneer er een mens binnen 1 meter wordt gedetecteerd."

• De testbenadering: Laat de arm 1.000 keer draaien met willekeurige invoer (posities van mensen, snelheden). Meet de armsnelheid. Als deze nooit hoger is dan 2 m/s, noem het dan veilig. (Risico: Invoer #1.001 kan een piek veroorzaken).
• De formele verificatiebenadering: We draaien het systeem niet. We modelleren het systeem. We behandelen het neurale netwerk als een enorme set wiskundige vergelijkingen. We definiëren de invoerbeperkingen (Afstand Mens < 1m) en de uitvoerbeperkingen (Armsnelheid < 2m/s). Vervolgens gebruiken we een gespecialiseerd algoritme genaamd een SMT-solver (Satisfiability Modulo Theories).

We vragen de solver: "Bestaat er ENIGE invoerconfiguratie X, binnen het geldige bereik, zodanig dat de uitvoersnelheid(X) > 2?"

De solver verkent de wiskundige structuur van het netwerk. Hij probeert niet zomaar willekeurige punten; hij analyseert de geometrie van de functie. Als hij "UNSAT" (Unsatisfiable/Onvervulbaar) retourneert, hebben we een wiskundig bewijs dat de snelheidslimiet nooit kan worden overschreden. Het is fysiek onmogelijk voor de software om dat commando te genereren.

Dit is geen statistische schatting. Het is een garantie. Het is het verschil tussen "Ik ben er vrij zeker van dat de brug niet zal instorten" en "De fysica van de materialen dicteert dat de brug onder deze belasting niet kan instorten."

Waarom Deep Learning een hekel heeft aan formele verificatie

Als formele verificatie zo geweldig is, waarom gebruikt dan niet iedereen het? Waarom vertrouwen OpenAI en Google op "Red Teaming" (menselijke testers die proberen het model te kraken) in plaats van op wiskundige bewijzen?

Het antwoord is rekenkundige complexiteit. Standaard deep learning-modellen zijn nachtmerries om te verifiëren.

Een typisch Transformer-model (zoals GPT-4) heeft miljarden of biljoenen parameters. Het maakt gebruik van complexe, niet-lineaire activatiefuncties zoals GeLU of Swish. De wiskundige complexiteit van het verifiëren van een dergelijk systeem schaalt exponentieel met het aantal neuronen. Een eigenschap bewijzen op een grote Transformer is rekenkundig onmogelijk; het universum zou al aan warmtedood zijn overleden voordat de solver klaar zou zijn met het controleren van alle vertakkingen.

De industrie heeft geoptimaliseerd voor "Expressiviteit" (het vermogen om coole gedichten en code te genereren) ten koste van "Verifieerbaarheid" (het vermogen om te bewijzen dat het werkt). Ze hebben een brein gebouwd dat zo complex is dat zelfs de makers het niet kunnen analyseren.

De Dweve-aanpak: Geverifieerd bij ontwerp

Bij Dweve hebben we een ander pad gekozen. We hebben besloten dat voor industriële toepassingen en ondernemingen met hoge inzet, verifieerbaarheid belangrijker is dan het schrijven van haiku's. Dus hebben we onze architectuur ontworpen met verificatie in gedachten.

We gebruiken twee primaire strategieën om AI verifieerbaar te maken:

1. Vereenvoudiging: Binaire en stuksgewijze lineaire netwerken

We gebruiken Binaire Neurale Netwerken (BNN's) en netwerken met eenvoudige, stuksgewijze lineaire activatiefuncties (zoals ReLU's). We vermijden de complexe curven van GeLU/Swish.

Door de wiskunde te beperken tot eenvoudige lineaire relaties en booleaanse logica (nullen en enen), verkleinen we de zoekruimte voor de solver drastisch. Het verificatieprobleem verandert van een onmogelijk niet-lineair optimalisatieprobleem in een oplosbaar Mixed Integer Linear Programming (MILP) probleem of een SAT-probleem. Dit zijn nog steeds "NP-harde" problemen, maar voor de omvang van de netwerken die we in besturingssystemen gebruiken, kunnen moderne solvers ze binnen seconden of minuten aan.

2. De Neuro-Symbolische "Safety Shell"

We proberen niet het hele "brein" te verifiëren. We accepteren dat het perceptuele deel van de AI (het deel dat naar een camerabeeld kijkt en zegt "Dat is een mens") inherent probabilistisch is. Je kunt niet formeel bewijzen dat een pixelraster een mens is; "mens" is een vaag concept.

In plaats daarvan verpakken we het neurale netwerk in een "Safety Shell": een symbolische logische laag die de beperkingen handhaaft. De architectuur ziet er als volgt uit:

1. Neurale Laag (Perceptie): Analyseert invoer en stelt een actie voor. "Ik zie een mens. Ik stel voor om de arm te bewegen met een snelheid van 2,5 m/s."
2. Safety Shell (Logica): Onderschept de suggestie. Het controleert deze aan de hand van een reeks formeel geverifieerde invarianten (regels die nooit mogen worden overtreden).
3. Regelcontrole: "Regel #1: ALS Mens_Gedetecteerd DAN Max_Snelheid = 2,0 m/s."
4. Interventie: De Safety Shell ziet dat 2,5 > 2,0. Het verwerpt de suggestie van het neurale net en kapt de waarde af op 2,0 m/s.

In deze architectuur hoeven we alleen de Safety Shell (die klein, logisch en deterministisch is) formeel te verifiëren. We hoeven het enorme neurale net niet te verifiëren. Zelfs als het neurale net hallucineert en de operator probeert te doden, garandeert de Safety Shell wiskundig dat het commando de motoren nooit zal bereiken.

Het regelgevende concurrentievoordeel

Voor onze klanten is dit niet slechts een academische oefening. Het is een enorme business enabler. Het is het verschil tussen het verkrijgen van een vergunning om te opereren en gesloten worden.

Wanneer een fabrikant van medische hulpmiddelen de FDA (VS) of de EMA (Europa) benadert voor goedkeuring van een AI-gestuurde insulinepomp, zijn de toezichthouders doodsbang. Ze weten dat AI onvoorspelbaar kan zijn. Ze zullen jaren van klinische proeven eisen om de veiligheid statistisch aan te tonen.

Maar als die fabrikant een formeel geverifieerd Dweve-model gebruikt, verandert het gesprek. Ze kunnen de toezichthouder een wiskundig bewijs overhandigen voor de kritieke veiligheidseigenschappen. "We denken niet alleen dat het de patiënt geen overdosis zal geven. Hier is het formele bewijs dat het uitvoerdoseringscommando wiskundig wordt begrensd door de beperkingen van het gewicht en de glucosespiegel van de patiënt."

Dit maakt "Fast-Track" goedkeuring mogelijk. Het verlaagt de premies voor aansprakelijkheidsverzekeringen. Het schept vertrouwen.

Van "Move Fast and Break Things" naar "Move Fast and Prove Things"

Het tijdperk van "Move Fast and Break Things" werkt voor sociale netwerken. Het werkt niet voor zelfrijdende auto's, elektriciteitsnetten of medische robots. Wanneer je dingen in de fysieke wereld breekt, breek je mensen.

Nu de EU AI Act volledig van kracht wordt en de aansprakelijkheidswetgeving de technologie inhaalt, lopen de dagen van het Wilde Westen van de AI ten einde. De toekomst behoort toe aan systemen die robuust, uitlegbaar en verifieerbaar zijn.

We betreden het tijdperk van "Move Fast and Prove Things". En de enige manier om dingen in het digitale domein te bewijzen is met wiskunde. Bij Dweve bouwen we de compilers en de architecturen om die wiskunde toegankelijk te maken voor elke ontwikkelaar.

Heb je AI nodig die bestand is tegen toezicht door regelgevende instanties? De formeel geverifieerde architecturen van Dweve bieden de wiskundige garanties die toezichthouders eisen. Neem contact met ons op om te ontdekken hoe onze Safety Shell-technologie jouw AI-goedkeuringsproces kan versnellen en jouw blootstelling aan aansprakelijkheid kan verminderen.