Neurosymbolisch, een jaar later: wat het onderzoek van 2026 daadwerkelijk laat zien
Een jaar geleden was het vooral een betoog
In november 2025 publiceerden we "The neuro-symbolic renaissance", een essay met de stelling dat de nuttigste AI-systemen van de komende jaren niet louter grotere taalmodellen zouden zijn. Ze zouden geleerde modellen, goed in waarneming, taal en patronen, combineren met een expliciete symbolische structuur, goed in regels, beperkingen, herkomst en bewijs. Dat betoog bouwden we op vanuit eerste principes en vanuit onze eigen engineeringervaring, want zo is Dweve opgebouwd: Loom, onze redeneermotor, verdeelt werk over 528 specialisten, waarvan er veel symbolische solvers, verifiers en rule engines zijn in plaats van neurale netwerken, en het antwoord dat eruit komt draagt een spoor van welke onderdelen wat deden.
Een betoog vanuit eerste principes is een redelijk uitgangspunt. Het is geen bewijs. Dus is het de moeite waard om een jaar later te vragen wat het gepubliceerde onderzoek nu laat zien. Niet de persberichten, en niet het algemene enthousiasme over het woord "neurosymbolic", dat inmiddels zo modieus is dat het op bijna alles wordt geplakt. De concrete, gemeten resultaten.
Twee artikelen uit 2026 zijn bijzonder nuttig, omdat ze de kernclaims rechtstreeks toetsen en cijfers rapporteren die te controleren zijn. Het ene gaat over agents die in een wereld moeten handelen: worden de plannen van een taalmodel uitvoerbaar als je er symbolische beperkingen en zoektechnieken aan toevoegt? Het andere gaat over vraagbeantwoording op basis van kennis: worden antwoorden beter traceerbaar als je de kennisstructuur deterministisch opbouwt uit gezaghebbende bronnen, in plaats van die met een taalmodel te extraheren? Op beide vragen is het antwoord ja, met ruime marges. En beide zijn zorgvuldig over wat ze niet hebben aangetoond, wat minstens zo leerzaam is als wat ze wel hebben aangetoond.
Plausibel is niet hetzelfde als uitvoerbaar
Het eerste artikel, "Neurosymbolic Embodied Agents" van Albinhassan, Feng, Russo en Madhyastha, in augustus 2026 op arXiv geplaatst, begint met een observatie die iedereen die een taalmodel als planner heeft geprobeerd te gebruiken zal herkennen. Taal- en visietaalmodellen, zo staat in het abstract, "generate plausible embodied plans but do not guarantee executability, as their outputs can violate environment dynamics or act on incorrectly grounded entities."
Het onderscheid tussen plausibel en uitvoerbaar is het hele probleem in één zin. Een model dat wordt gevraagd thee te zetten in een gesimuleerde keuken, produceert een reeks stappen die lekker leest: ga naar de keuken, pak de ketel, vul hem, zet hem aan. Maar het probeert misschien een ketel te pakken die er niet is, of vult een ketel die in een gesloten kast staat, of schenkt uit een ketel die niet heeft gekookt. Elke stap is plausibel. Het plan als geheel mislukt, omdat het model de toestand van de wereld niet bijhoudt en de regels niet kent waarmee acties die toestand veranderen.
De agent in het artikel splitst huishoudelijke taken met een lange horizon in twee fasen. In de eerste fase verwerven een visietaalmodel en een exploratieharnas doelrelevante predicaten en instantiekoppelingen uit egocentrische observaties en gegronde interacties, wat een symbolische beschrijving van de begintoestand oplevert: deze ketel staat hier, deze kast is dicht, deze beker is leeg. In de tweede fase "restricts decoding to tokens that extend applicable actions" een PDDL-transitiemodel, een formele beschrijving van welke acties in welke toestanden toepasbaar zijn en wat ze veranderen. Het taalmodel kan alleen acties genereren waarvan het symbolische model zegt dat ze mogelijk zijn. Monte Carlo tree search evalueert vervolgens uitvoerbare vervolgen met een domeinonafhankelijke planningsheuristiek.
De consequentie is, in de woorden van de auteurs, dat "de resulterende plannen door constructie uitvoerbaar zijn onder het transitiemodel, waarbij overdracht naar de omgeving afhankelijk is van correcte visuele grounding." Die laatste clausule is belangrijk, en daar komen we hieronder op terug.
Kleine begrensde modellen verslaan één groot onbegrensd model
De resultaten zijn opvallend. Op twee standaardmetingen voor huishoudelijke taken, VirtualHome en ALFWorld, meldt de samenvatting dat "open modellen van 4B-27B in beide omgevingen meer dan 90% succes halen, en onze kleinste agent presteert in elk van beide duidelijk beter dan een direct visueel beleid van 27B." In de resultaten van het artikel lopen de succespercentages van 94,5 tot 99,5 procent op VirtualHome en van 90,3 tot 97,8 procent op ALFWorld, over de verschillende modelgroottes. De agent met 4 miljard parameters presteert 32,0 procentpunt beter dan het directe visuele beleid met 27 miljard parameters op de ene benchmark en 63,4 op de andere.
Dat tweede resultaat verdient een langzame lezing. Een model dat ongeveer een zevende zo groot is, krijgt expliciete structuur over de wereld en een zoekprocedure over uitvoerbare acties, en doet het daarmee dramatisch beter dan een veel groter model dat direct moet handelen. Het verschil is geen marginale afstelling. Het is het verschil tussen een systeem dat grotendeels werkt en een dat grotendeels niet werkt.
Voor iedereen die zich bezighoudt met de kosten, het energiegebruik en de bestuurbaarheid van AI-systemen is dit van belang. Een klein open model kan op bescheiden hardware draaien, kan worden geïnspecteerd, kan aan een versie worden vastgezet en kan worden gehost waar de beheerder dat wil. Als het toevoegen van structuur zo'n model beter laat presteren dan een groot model bij taken die betrouwbaar handelen vereisen, dan worden de argumenten voor soevereiniteit en efficiëntie van kleine modellen veel sterker. Grootte is niet de enige route naar bekwaamheid. Structuur is een andere.
Beperkingen en zoeken vullen elkaar aan, ze zijn niet inwisselbaar
De interessantste bevinding is voor ons een ablatie. De auteurs testten beperkingen en zoeken afzonderlijk. In ALFWorld lost elk van beide alleen "minder dan een derde van de taken op, terwijl hun combinatie meer dan 95% oplost." De gedetailleerde cijfers zijn 32,3 procent voor beperkingen alleen en 29,2 procent voor zoeken alleen, tegenover 95,5 procent gecombineerd.
Dit is een resultaat dat een simpel verhaal over neurosymbolische AI niet zou voorspellen. Je zou verwachten dat beperkingen, door ongeldige acties te voorkomen, het meeste werk doen, en dat zoeken een beetje toevoegt. Of dat zoeken, door veel paden te verkennen, goede plannen vindt en beperkingen het alleen maar versnellen. In plaats daarvan faalt elk afzonderlijk op de meeste taken, en samen slagen ze op bijna alle.
De intuïtie is niet moeilijk te reconstrueren. Beperkingen zonder zoekproces garanderen dat elke stap geldig is, maar doen niets om te waarborgen dat de reeks geldige stappen het doel bereikt. Een model kan eindeloos door de keuken blijven dwalen met volkomen toegestane acties. Een zoekproces zonder beperkingen verkent veel vervolgen, maar de meeste daarvan bevatten ongeldige acties, waardoor de zoekruimte wordt gedomineerd door plannen die zullen mislukken en de heuristiek weinig houvast heeft. Samen snoeien beperkingen de ruimte tot geldige plannen en vindt het zoekproces de goede daartussen.
Die complementariteit is volgens ons de sterkste empirische ondersteuning tot nu toe voor de architectonische claim die we een jaar geleden hebben gedaan. De waarde zit er niet in dat je een symbolische module op een neurale module vastschroeft. Ze zit in een specifieke taakverdeling, waarin elk deel doet waar het goed in is en de zwakte van het andere compenseert.
Minder tokens, en fouten die ergens naartoe wijzen
Twee verdere resultaten uit het artikel zijn gemakkelijk te missen en verdienen aandacht.
Het eerste is efficiëntie. Het abstract meldt dat de methode "several times fewer generated tokens than extended thinking and far fewer model-visible images than direct interaction" gebruikt. In het artikel wordt de vermindering in tokens ten opzichte van extended thinking gerapporteerd als maximaal vier keer. Extended thinking, waarbij een model lange redeneerketens uitschrijft voordat het handelt, is de belangrijkste alternatieve strategie om de betrouwbaarheid van modelplannen te verbeteren. Het werkt tot op zekere hoogte, maar het is duur: elke redeneertoken wordt berekend en, bij gehoste diensten, betaald. Een methode die betere resultaten behaalt met een fractie van de tokens is beter op het gebied van kosten en energie, én op succes.
Het tweede is diagnosticeerbaarheid. Het abstract merkt op dat "residual failures localize to state acquisition rather than plan generation without any specialized training." Wanneer de agent faalt, faalt hij omdat zijn beeld van de wereld onjuist was, niet omdat hij slecht plande gegeven dat beeld. Dat is precies wat je hoopt van een systeem waarvan de plannen door de opzet uitvoerbaar zijn. Het vertelt de ingenieur ook waar hij vervolgens moet werken. In een end-to-end neuraal systeem is een fout vaak een diffuus eigenschap van het hele model, en het enige remedie is meer data of een groter model. In een gefactoriseerd systeem heeft een fout een adres.
Wij vinden dat diagnosticeerbaarheid in AI-onderzoek wordt onderschat. Een systeem dat minder vaak faalt, is goed. Een systeem waarvan de fouten kunnen worden gelokaliseerd, verklaard en verholpen, is beter, omdat het gericht kan worden verbeterd en omdat je op zijn gedrag kunt vertrouwen in de gevallen waarin de componenten aantoonbaar betrouwbaar zijn.
Hetzelfde patroon duikt op bij vraagbeantwoording
Het tweede artikel behandelt een ander probleem, met een opvallend vergelijkbaar resultaat. "Ontology-guided neuro-symbolic GraphRAG for grounded query answering", van Domenico Benfenati en Antonio Maria Rinaldi van de Universiteit van Napels Federico II, verscheen in oktober 2026 in Neural Computing and Applications. Het onderzoekt vraagbeantwoording over kennis op het gebied van cybersecurity: kwetsbaarheden, zwaktes, aanvalspatronen en getroffen producten, afkomstig uit openbare repositories zoals CVE, CWE, CAPEC en CPE.
De vergelijking betreft twee manieren om de knowledge graph op te bouwen waarop een taalmodel zich baseert bij het beantwoorden van vragen. Bij de veelgebruikte GraphRAG-aanpak leest een taalmodel ongestructureerde tekst en extraheert het entiteiten, relaties en community-samenvattingen, die vervolgens als retrieval-substraat dienen. In de aanpak van de auteurs wordt de graaf top-down gematerialiseerd uit de gezaghebbende repositories, via gericht crawlen, ontologiegestuurde schema-unificatie en regelgebaseerde symbolische inferentie, zoals transitieve chaining en multi-hop productimpact. De ontologie zelf is afgeleid van de veldstructuur van de echte repositories in plaats van gesynthetiseerd door een model. Het taalmodel krijgt vervolgens bewijs uit deze graaf aangeboden, in wat de auteurs een strikt eenrichtingsverkeer noemen: het symbolische substraat is "volledig deterministisch, herkomstbehoudend en onafhankelijk te inspecteren".
De herkomstaudit is het meest onthullende experiment. In de ontologiegestuurde graaf was 100 procent van de bemonsterde randen herleidbaar tot gezaghebbende bronrecords of tot verklaarde inferentieregels. In de door het LLM geëxtraheerde graaf was 83 procent herleidbaar, en slechts 58 procent verbond eindpunten met canonieke identificatoren. Het verschil werkt door in de antwoorden: het ontologiegestuurde systeem behaalde 95 procent citatieprecisie, tegenover 66 procent voor de GraphRAG-baseline.
De structurele verklaring van de auteurs is het belangrijkste deel. Bij door een LLM geëxtraheerde GraphRAG zijn antwoorden gegrond in samenvattingen die zijn geschreven door hetzelfde soort model dat het antwoord genereert, waardoor de herkomstketen stopt bij een neurale tussenstap in plaats van een gezaghebbende bron te bereiken. Een verwijzing naar een door een model geschreven samenvatting is een verwijzing naar een interpretatie. Een verwijzing naar een bronrecord, via randen die elk herleidbaar zijn tot dat record of tot een verklaarde regel, is een verwijzing naar bewijs.
Citaties zijn niet de hele herkomst
Een derde, kleiner artikel uit 2026 voegt een nuttige complicatie toe. "Why Neighborhoods Matter: Traversal Context and Provenance in Agentic GraphRAG", in mei 2026 op arXiv gepubliceerd, onderzoekt systemen waarin een agent een knowledge graph verkent voordat hij antwoordt en vervolgens een kleine set entiteiten citeert. De vraag is of de uiteindelijke citaties volstaan om het bewijs te verklaren waarop het antwoord berustte.
De conclusie is dat ze dat niet doen. Geciteerde entiteiten zijn meestal wel van belang: ze weglaten verandert antwoorden aanzienlijk en verlaagt de nauwkeurigheid. Maar de experimenten laten zien dat een nauwkeurig antwoord ook afhangt van de verkenning van de graaf, de structuur van de omgeving en entiteiten die de agent heeft bezocht maar niet heeft geciteerd. De auteurs concluderen dat een getrouwe citatie "ook rekening moet houden met de grafcontext en het ophaalpad die het uiteindelijke antwoord vormgeven."
Die bevinding verscherpt de les van het artikel van Benfenati en Rinaldi. Een deterministische, traceerbare graaf is noodzakelijk voor antwoorden waarvan het bewijs te controleren is. Hij is niet voldoende als het systeem alleen vastlegt wat het citeert en niet wat het heeft gelezen. Herkomst moet het pad omvatten, niet alleen de bestemming. Dat is, zoals het uitkomt, dezelfde conclusie die wij van de technische kant bereikten bij het ontwerpen van Knot, het gebeurtenissenlog dat we in het vierde kwartaal van 2026 publiceren: het verslag van een agent-run moet elke leesactie en elke tussenstap bevatten, niet alleen de uiteindelijke uitvoer, omdat de stappen zijn wat de uitvoer verklaart.
Wat de resultaten niet aantonen
Beide hoofdartikelen zijn zorgvuldig over hun beperkingen, en die beperkingen verdienen een duidelijke vermelding, want enthousiasme over een resultaat veegt de voorwaarden ervan nogal eens weg.
De resultaten met belichaamde agents komen uit simulatie. VirtualHome en ALFWorld zijn gevestigde metingen, maar het zijn gesimuleerde huishoudelijke omgevingen met bekende dynamiek. De garantie dat plannen "by construction" uitvoerbaar zijn, geldt onder het transitiemodel, dat wil zeggen onder de symbolische beschrijving van hoe de wereld werkt. Als die beschrijving onjuist of onvolledig is, gaat de garantie niet over. In de echte wereld is het moeilijk om een volledig en correct transitiemodel te schrijven, en de wereld heeft de gewoonte dingen te bevatten die het model niet had voorzien.
Dezelfde resultaten zijn afhankelijk van een correcte visuele grounding. Dat staat letterlijk in de samenvatting. Als de verkenningsfase een object verkeerd identificeert of er een mist, klopt de symbolische toestand niet, en een plan dat onder de verkeerde toestand perfect uitvoerbaar lijkt, kan in de praktijk mislukken. De bevinding van het artikel dat resterende fouten zich beperken tot het verwerven van de toestand is goed nieuws voor de diagnoseerbaarheid, en het is tegelijk een herinnering dat perceptie het moeilijke deel blijft.
De GraphRAG-resultaten komen uit één domein, cybersecurity, waar gezaghebbende gestructureerde repositories bestaan met stabiele identifiers. Veel domeinen zijn niet zo. Waar kennis vooral in ongestructureerde documenten zit zonder canonieke identifiers, is top-down materialisatie niet beschikbaar en is een vorm van extractie onvermijdelijk. De methode in het artikel laat zien wat mogelijk wordt wanneer er goede bronnen zijn. Ze laat niet zien hoe je die maakt waar ze ontbreken.
Bij de GraphRAG-evaluatie van de juistheid van antwoorden werd een taalmodel als beoordelaar gebruikt, Gemini 2.5 Flash, over vijftien vragen per taak. Dat is een redelijke opzet voor een onderzoeksartikel, en de herkomstaudit is een directere meting. Maar lezers moeten de cijfers over antwoordkwaliteit als indicatief beschouwen, niet als definitief, en de herkomstcijfers als het sterkere resultaat.
Geen van deze beperkingen ondermijnt de artikelen. Het zijn de normale voorwaarden van goed onderzoek. Maar ze zijn van belang voor iedereen die geneigd is "neurosymbolisch" te lezen als een algemene oplossing. Het is een reeks architectuurkeuzes die heel goed werken wanneer aan de voorwaarden is voldaan: een correct symbolisch model van het domein, betrouwbare grounding van perceptie in dat model, en gezaghebbende bronnen voor de kennis. Veel van het praktische werk zit in het tot stand brengen van die voorwaarden.
Wat er gebeurt na de eerste fout
Slagingspercentages vertellen je hoe vaak een systeem een taak afmaakt. Ze vertellen je niet hoe het zich gedraagt wanneer er iets misgaat, en dat is voor wie het moet inzetten vaak de belangrijkere vraag. Het artikel over belichaamde agents bevat een appendix die daar antwoord op geeft, en het is een van de meest onthullende delen van het werk.
De auteurs maten wat policies deden "following the first ungroundable or failed execution", en rapporteerden hoe vaak taken zo'n gebeurtenis bevatten, hoe vaak de policy de taak daarna alsnog herstelde, hoe vaak ze het mislukte verzoek onmiddellijk herhaalde en hoe vaak ze in een aanhoudende actielus belandde. De resultaten voor de directe visuele policies, die plannen zonder de symbolische beperkingen, zijn opvallend.
In VirtualHome liep de directe Qwen-policy van 4B in 64,5 procent van de taken tegen een fout aan. In 5,4 procent van die gevallen herstelde ze de taak, in 74,5 procent herhaalde ze het mislukte verzoek onmiddellijk en in 45,5 procent eindigde ze in een aanhoudende lus. In ALFWorld liep hetzelfde model in 73,9 procent van de taken tegen een fout aan, herstelde het in 1,0 procent en eindigde het in 94,8 procent in een aanhoudende lus. Het grootste directe model deed het beter, zoals te verwachten valt: in VirtualHome liep de policy van 27B in 29,0 procent van de taken tegen een fout aan, herstelde ze in 37,9 procent, herhaalde ze het verzoek in 8,3 procent en belandde ze in 9,5 procent in een lus. In ALFWorld herstelde zelfs dat model in slechts 25,7 procent van de gevallen.
De inleiding van het artikel legt uit waarom dit gebeurt. Een directe policy moet objecten identificeren, hun toestand bijhouden, toepasselijke acties kiezen en redeneren over uitgestelde effecten "inside one autoregressive history, where they are free to compound". De auteurs merken op dat "execution feedback can expose such an error after it occurs, but does not prevent the model from repeating an invalid choice or drifting from the state its own actions induced."
Die zin beschrijft een patroon dat veel mensen zullen herkennen van agents buiten het laboratorium. Een agent probeert iets, het mislukt, de fout wordt teruggekoppeld en de agent probeert hetzelfde opnieuw, of iets wat daarop neerkomt. Feedback is informatie, maar informatie beperkt niets. Een systeem dat de geldigheid van een actie als iets beschouwt dat moet worden afgeleid in plaats van afgedwongen, kan te horen krijgen dat het fout zat zonder dat wordt voorkomen dat het opnieuw fout gaat.
De beperkte aanpak verandert dat door toepasbaarheid, in de woorden van het artikel, te maken tot "een beperking die tijdens generatie en zoeken wordt gehandhaafd". Een actie waarvan niet aan de voorwaarden is voldaan, wordt nooit geproduceerd, dus er is niets om te herhalen. Dat maakt het systeem niet onfeilbaar. Het verplaatst falen naar een andere plek.
Het artikel lokaliseert zijn eigen fouten
Een eerlijk verslag van de resultaten moet zeggen waar de beperkte agent faalt, en dat doet het artikel. De symbolische planner kan alleen plannen over de staat die hem wordt gegeven. Wanneer de fase van visuele verkenning een vereist object mist, schrijven de auteurs, "plant de fout zich vervolgens voort omdat de gegronde begintoestand een vereist object weglaat. Dit is een beperking van de component voor visuele toestandsverwerving, niet van de garantie op toepasbaarheid."
Dat onderscheid is belangrijk. De garantie die het systeem biedt, is smal en sterk: elke actie die het plant, is toepasbaar in de staat waarin het meent te verkeren. Of die overtuiging overeenkomt met de werkelijkheid hangt af van waarneming, en waarneming gebeurt nog steeds door een neuraal model met alle onzekerheid van dien. De auteurs verwachten dat "verbeteringen in visuele herkenning en actieve selectie van gezichtspunten zich direct zouden moeten vertalen naar de volledige methode", wat een redelijke verwachting is en tegelijk een herinnering dat het symbolische deel niet kan compenseren wat het neurale deel niet ziet.
Voor wie zulke systemen beoordeelt, is de les om te vragen waar de garantie ophoudt. Een neurosymbolisch systeem biedt doorgaans zekerheid over één deel van het proces (het plan is geldig, de gevolgtrekking volgt uit de regels, het antwoord wordt ondersteund door de graaf) en erft onzekerheid van de delen die eraan voeden. Een goed systeem maakt die grens zichtbaar. Het legt vast wat het heeft waargenomen, wat het heeft aangenomen en wat het heeft afgeleid, zodat een beoordelaar kan zien of een fout uit de redenering kwam of uit de input voor de redenering.
Dat is ook waarom foutanalyse zoals in de appendix van het artikel zo waardevol is. Weten dat een systeem vooral faalt bij het gronden en niet bij het plannen, vertelt een engineer waar die moet investeren, en vertelt een deployer welk soort toezicht nodig is. Een menselijke beoordelaar die het werk van een beperkte agent controleert, moet diens beeld van de wereld controleren, niet diens rekenwerk.
De traversalstudie is klein, en zegt dat zelf ook
Het artikel over traversal-context is ook zorgvuldig over zijn eigen beperkingen. De auteurs schrijven dat het onderzoek "beperkt is door de kleine omvang van de benchmark en door het gebruik van een gecontroleerde knowledge graph die is opgebouwd uit 2WikiMultiHopQA in plaats van een grote knowledge graph uit de praktijk." Ze pleiten voor evaluatie "op grotere datasets, rijkere grafstructuren en domeinspecifieke knowledge bases", en voor citatiemechanismen "die niet alleen de uiteindelijke ondersteunende entiteiten blootleggen, maar ook de relevante traversal-context."
Die openheid is nuttig. De bevinding dat citaties noodzakelijk maar niet voldoende zijn om het antwoord van een agent te verantwoorden, is aannemelijk en belangrijk, maar ze berust op een gecontroleerde opzet. Voordat iemand er beleid op baseert, moet ze worden gereproduceerd op de soorten grafen die echte systemen gebruiken: enterprise knowledge bases, regelgevende corpora, productcatalogi. Tot die tijd kun je het beter lezen als een goed opgezette waarschuwing dan als een definitieve meting.
Die waarschuwing blijft het waard om ter harte te nemen. De auteurs concluderen dat "provenance bij agentic retrieval op basis van grafen moet worden behandeld als een eigenschap op trajectniveau". Voor systeembouwers betekent dat: leg het pad vast, niet alleen de bestemming. Welke entiteiten zijn bezocht, welke edges zijn gevolgd, welke buren zijn gezien maar niet geciteerd. Een citatielijst is een samenvatting van dat pad. Zoals elke samenvatting kan die accuraat zijn en toch iets weglaten dat ertoe deed.
Het vastleggen van het pad heeft een praktische prijs, en die moet worden genoemd. Traversal-records zijn groter dan citatielijsten, ze kunnen materiaal bevatten dat de gebruiker nooit te zien kreeg, en ze vragen dezelfde zorg rond toegang en bewaring als elk ander log. Maar het alternatief is erger. Wanneer een antwoord wordt betwist, kan een systeem dat alleen zijn citaties bewaarde laten zien waar het naar verwees. Een systeem dat zijn traject bewaarde, kan laten zien hoe het daar is gekomen, en dat is de vraag die een reviewer werkelijk zal stellen. Bij agentic retrieval zal dat verschil waarschijnlijk bepalen of een uitleg wordt geaccepteerd of slechts getolereerd.
Het oudere debat over uitleg is nog steeds van toepassing
Dit is in essentie niet nieuw. Het debat over uitleg in machine learning loopt al jaren, en de resultaten uit 2026 passen daarin in plaats van het te vervangen.
In 2017 stelden Finale Doshi-Velez en Been Kim vast dat "ondanks de belangstelling voor interpreteerbaarheid er heel weinig consensus bestaat over wat interpreteerbare machine learning is en hoe je het moet meten." In 2018 betoogde Cynthia Rudin dat "het proberen uit te leggen van blackboxmodellen, in plaats van het maken van modellen die in de eerste plaats interpreteerbaar zijn, waarschijnlijk slechte praktijken in stand houdt en mogelijk catastrofale schade aan de samenleving kan veroorzaken." In hetzelfde jaar toonden Julius Adebayo en collega's aan dat sommige saliency-methoden "onafhankelijk zijn van zowel het model als van het proces dat de data genereert", en vergelijkbare verklaringen opleveren ongeacht of het model iets had geleerd.
De resultaten over constrained planning en GraphRAG kun je lezen als bewijs voor Rudins standpunt in een nieuwe context. Wanneer het plan tot stand komt via een zoekproces over expliciete regels, is de geldigheid ervan een eigenschap van hoe het is gemaakt, en valt een uitleg van waarom een actie is gekozen af te lezen uit dat zoekproces. Wanneer een antwoord tot stand komt door een graaf te doorlopen, is de provenance ervan een eigenschap van de traversal, mits die traversal is vastgelegd. In beide gevallen is de uitleg niet de interpretatie van een tweede model over het eerste. Het is het verslag van wat het eerste heeft gedaan.
Wat de resultaten van 2026 toevoegen, is bewijs dat dit soort systemen ook goed kunnen presteren. Het oude bezwaar tegen interpreteerbare benaderingen was dat ze ten koste gaan van nauwkeurigheid. Resultaten zoals deze, waarbij kleine modellen met beperkingen grotere modellen zonder beperkingen verslaan op gestructureerde taken, beslechten die vraag niet in het algemeen. Ze laten wel zien dat de afweging bij taken met expliciete regels en controleerbare uitkomsten niet de afweging is die mensen veronderstelden.
Langer nadenken hielp niet, en de makkelijke benchmark verbergt dat
De componentablation in het artikel over belichaamde agents bevat twee verdere details die aandacht verdienen, omdat ze ingaan tegen gangbare aannames.
Het eerste betreft uitgebreid redeneren. Met het 27B Qwen-model bereikte gewone greedy decoding 61,0 procent succes in VirtualHome en 15,4 procent in ALFWorld. Hetzelfde model in denkmodus, met een budget van maximaal 32.768 outputtokens volgens de decodinginstellingen in het artikel, bereikte 59,0 en 16,9 procent. Het model veel langer laten redeneren maakte vrijwel geen verschil. Het toevoegen van toepasbaarheidsbeperkingen aan greedy decoding verhoogde het succes in VirtualHome daarentegen van 61,0 naar 98,5 procent. In de woorden van de auteurs toont dat aan dat "toepasbaarheidsbeperkingen het grootste deel van de winst verklaren".
Dat is een nuttige correctie op het idee dat meer redeneertokens een algemeen middel zijn tegen planningsfouten. Wanneer de fout erin bestaat een actie te kiezen waarvan niet aan de voorwaarden is voldaan, stopt meer intern beraad dat niet betrouwbaar. Een regel die zulke acties onmogelijk maakt, doet dat wel.
Het tweede detail betreft de moeilijkheid van de benchmark. In VirtualHome bereikte zoeken zonder beperkingen alleen al 99,0 procent, hetzelfde als de volledige methode, al merken de auteurs op dat dit gebeurde "tegen de hogere generatiekosten" die in hun figuren te zien zijn. Een lezer die alleen naar VirtualHome kijkt, zou kunnen concluderen dat zoeken alles is wat nodig is. ALFWorld laat iets anders zien: beperkingen alleen bereikten 32,3 procent, zoeken zonder beperkingen 29,2 procent, en de combinatie 95,5 procent. De auteurs schrijven het grotere verschil toe aan een moeilijker planningsprobleem. Succesvolle plannen van het 27B-model hadden gemiddeld 8,0 acties op hoog niveau in ALFWorld en 6,4 in VirtualHome, met maxima van 30 en acht, en ALFWorld "introduceert meer instantie- en receptaclebindingen in elke fase."
De algemene les is dat een makkelijke benchmark twee verschillende ontwerpen gelijk kan laten lijken. Pas wanneer het probleem lang genoeg en beperkt genoeg wordt, komen de verschillen aan het licht. Wie agentarchitecturen vergelijkt, zou ze moeten testen op taken die minstens zo lang en zo strak beperkt zijn als de taken die men wil inzetten, niet op de kortste taken die voorhanden zijn.
De experimenten zijn reproduceerbaar door hun opzet
Nog een kenmerk van het artikel is het vermelden waard, omdat het aansluit bij een thema elders in deze reeks. De auteurs publiceren hun decodinginstellingen volledig. De fasen met beperkingen voor Qwen draaien op temperatuur 0,0. Waar nucleus sampling wordt gebruikt, voor de aanvullende denkruns en de belichaamde baselines, worden de evaluaties herhaald met drie genoemde seeds: 0, 42 en 1738. Zoeken is beperkt tot 250 seconden per taak, en het artikel stelt dat de zoekhyperparameters "empirisch zijn geselecteerd".
Die details zijn wat een resultaat controleerbaar maakt. Een lezer die het werk wil reproduceren, weet welke instellingen te gebruiken, hoeveel runs te doen en hoeveel variatie te verwachten. Ze maken ook de grenzen zichtbaar: empirisch geselecteerde hyperparameters moeten mogelijk opnieuw worden afgestemd in andere omgevingen, en een tijdslimiet betekent dat sommige taken kunnen mislukken bij gebrek aan tijd, niet bij gebrek aan een plan. Beide vermelden is goede praktijk. Het is de standaard waaraan naar onze mening elk gepubliceerd resultaat, ook het onze, zou moeten voldoen. Een resultaat dat niet opnieuw kan worden uitgevoerd, kan nog steeds interessant zijn, maar er kan nog niet op worden vertrouwd, en dat verschil weegt het zwaarst wanneer het resultaat wordt gebruikt om een ontwerp te rechtvaardigen.
Het woord wordt een label, dus is er een test nodig
Succes leidt tot navolging, en "neurosymbolisch" wordt nu gebruikt voor systemen die weinig gemeen hebben met de architecturen uit deze papers. Een taalmodel met een prompt als "denk stap voor stap" wordt soms neurosymbolisch genoemd. Dat geldt ook voor een model dat een rekenmachine aanroept, een chatbot met een op regels gebaseerde begroeting, of een retrievalsysteem dat een database gebruikt. Elk daarvan combineert iets neuraals met iets dat dat niet is, en het woord wordt betekenisloos als het op al deze gevallen van toepassing is.
Wij vinden het nuttig om een eenvoudige test toe te passen, ontleend aan wat de resultaten van 2026 liet werken. Een systeem verdient het woord wanneer het symbolische deel het neurale deel beperkt of verifieert op een manier die verandert wat het systeem kan uitvoeren, en wanneer die beperking kan worden geïnspecteerd.
In het artikel over belichaamde agents beperkt het PDDL-transitiemodel de decodering tot toepasbare acties. Het taalmodel kan letterlijk geen ongeldige actie produceren. Dat is een beperking die de uitvoerruimte verandert, en het transitiemodel kan door iedereen worden gelezen. In het GraphRAG-artikel wordt de kennisgraaf opgebouwd volgens vastgelegde regels uit gezaghebbende registraties, en het taalmodel ontvangt alleen bewijs uit die graaf. De herkomst van elke rand kan worden gecontroleerd. Beide systemen slagen voor de test.
Een prompt die een model vraagt zorgvuldig te redeneren slaagt niet. Het kan de uitvoer verbeteren, maar het beperkt die niet, en niets erin kan worden geïnspecteerd om te zien wat het model mag zeggen. Een model dat een rekenmachine mag aanroepen slaagt slechts gedeeltelijk: het resultaat van de rekenmachine is exact, maar het model beslist of het die aanroept en wat het met het resultaat doet, en niets weerhoudt het ervan het resultaat te negeren of zelf te rekenen. De test gaat niet over zuiverheid. Het gaat erom waar garanties vandaan komen.
Vragen om te stellen aan een systeem dat het woord opeist
Voor organisaties die systemen beoordelen die als neurosymbolisch worden beschreven, vertaalt de test zich in een paar concrete vragen.
Wat voorkomt het symbolische deel? Een nuttig antwoord noemt een klasse van uitvoer die het systeem niet kan produceren, zoals ongeldige acties, niet-onderbouwde beweringen of schendingen van regels, en legt het mechanisme uit. Een antwoord dat zegt dat het symbolische deel het model "stuurt" of "informeert", zonder iets te noemen dat het voorkomt, is een teken dat de garantie zwak is.
Kan het symbolische deel worden gelezen? Regels, beperkingen, ontologieën en transitiemodellen moeten beschikbaar zijn voor inspectie door de mensen die op het systeem vertrouwen, ten minste in de vorm die relevant is voor hun beslissingen. Als de symbolische laag zelf een geleerde, ondoorzichtige component is, biedt die niet het soort garantie dat neurosymbolische ontwerpen waardevol maakt.
Waar stopt de herkomst? Volg voor elk antwoord de verwijzingen. Leiden ze naar gezaghebbende bronregistraties, via traceerbare stappen, of naar tussentijdse teksten die door een model zijn geschreven? De herkomstaudit van GraphRAG is een sjabloon voor deze controle.
Waar zitten de fouten? Vraag om een uitsplitsing van faalgevallen per component. Een goed opgebouwd systeem zou moeten kunnen zeggen of zijn fouten ontstaan bij waarneming, grounding, retrieval, redeneren of generatie. Een systeem dat dat niet kan zeggen, is ofwel niet opgedeeld ofwel niet gemeten.
Wat wordt vastgelegd? Vraag of het systeem het gevolgde pad vastlegt, inclusief wat het heeft gelezen en welke componenten hebben bijgedragen, niet alleen het uiteindelijke antwoord. De bevindingen uit de agentische GraphRAG laten zien waarom dit ertoe doet.
Geen van deze vragen vereist diepgaande expertise om te stellen. Allemaal scheiden ze architecturen die controleerbare garanties bieden van systemen die het vocabulaire gebruiken.
Waarom dit ertoe doet voor uitleg en toezicht
Er zit een regelgevende dimensie aan deze resultaten die het waard is om uit te werken, omdat die onderzoeksarchitectuur verbindt met verplichtingen die voor veel organisaties gaan gelden.
De AI Act vraagt om heel wat uitleg. Artikel 13 verplicht hoogrisicosystemen zo te ontwerpen dat gebruikers de uitvoer kunnen interpreteren en op de juiste manier kunnen inzetten. Artikel 14 bepaalt dat mensen die met toezicht zijn belast, de uitvoer van het systeem correct kunnen interpreteren en kunnen besluiten die naast zich neer te leggen, te overrulen of terug te draaien. Artikel 86 geeft betrokkenen recht op duidelijke en betekenisvolle uitleg over de rol van een AI-systeem bij bepaalde beslissingen. Die verplichtingen gelden vanaf december 2027 of augustus 2028 voor hoogrisicosystemen, na de Digital Omnibus, maar de ontwerpkeuzes die ze haalbaar maken, worden nu al gemaakt.
Een gefactoreerd, neurosymbolisch systeem is veel eenvoudiger uit te leggen dan een end-to-endmodel, precies om de redenen die de artikelen uit 2026 laten zien. Wanneer een plan onder een transitiemodel uitvoerbaar is door zijn opbouw, verwijst de uitleg waarom een stap was toegestaan naar de regel die hem toestond. Wanneer een antwoord verwijst naar koppelingen die herleidbaar zijn tot gezaghebbende registraties, is de uitleg waarom een bewering is gedaan de keten van registraties. Wanneer fouten zich tot één component beperken, noemt de uitleg waarom het systeem ernaast zat die component. Elke uitleg is een uitspraak over iets dat bestaat en kan worden onderzocht, niet een rationalisatie achteraf van een neurale berekening.
Daarmee is uitleg nog niet triviaal. Iemand moet de regels en registraties nog altijd omzetten in taal die een betrokkene begrijpt. Maar het verandert de aard van de taak: van reconstructie naar presentatie. Reconstructie vraagt "wat zou deze uitvoer hebben veroorzaakt?" en kan alleen hypothesen bieden. Presentatie vraagt "hoe tonen we de regels en registraties die deze uitvoer hebben voortgebracht?" en kan bewijs bieden. Voor toezicht en voor het recht op uitleg is dat verschil beslissend.
Daarom denken wij dat de efficiëntieresultaten niet alleen ingenieurs moeten interesseren, maar ook toezichthouders. Een klein, beperkt model dat goedkoper is om te draaien, is ook een model dat goedkoper te auditen is: het kan worden gehost waar de auditor erbij kan, voor de duur van een onderzoek aan een versie worden vastgezet en deterministisch worden herhaald op dezelfde invoer. De argumenten voor soevereiniteit, energie en verantwoording bij gestructureerde kleine systemen blijken hetzelfde argument te zijn, van drie kanten bekeken.
Wat wij eruit meenemen
Voor ons eigen werk bevestigen de resultaten uit 2026 drie ontwerpkeuzes en scherpen ze een vierde aan.
Ze bevestigen dat kleine modellen met structuur grotere modellen zonder structuur kunnen overtreffen bij taken die betrouwbaarheid vereisen. Dat is het uitgangspunt achter de routering van Loom over 528 specialisten: de meeste vragen worden het best beantwoord door de juiste specialist, vaak een klein model of een symbolische solver, en niet door het grootste beschikbare model. De ablatie met belichaamde agents is het duidelijkste gepubliceerde bewijs dat wij kennen dat dit uitgangspunt opgaat voor planning.
Ze bevestigen dat kennis moet worden opgebouwd uit gezaghebbende bronnen met vastgelegde regels en moet worden geciteerd naar de bron. De kennislaag van Dweve citeert elk stuk kennis dat in een antwoord wordt gebruikt, met knooppunt en versiehash, zodat een reviewer de verwijzing kan volgen naar de exacte registratie en versie. De herkomstaudit van GraphRAG laat zien wat verloren gaat wanneer die keten stopt bij een door een model geschreven tussenstap.
Ze bevestigen dat het vastleggen van het pad net zo belangrijk is als het vastleggen van het antwoord. De bevinding uit het agentic GraphRAG-artikel over bezochte maar niet-geciteerde entiteiten is precies de reden waarom Knot leesacties en tussenstappen vastlegt, en waarom de trace van Loom laat zien welke specialisten hebben bijgedragen.
En ze scherpen onze aandacht aan voor onderbouwing. Beide papers situeren hun resterende tekortkomingen op het punt waar de wereld, of de bron, wordt vertaald naar de symbolische representatie. Dat is de grens waar neurale perceptie overgaat in symbolisch redeneren, en daar zou de verificatie-inspanning zich moeten concentreren. Een symbolische laag die perfect redeneert over een verkeerde toestand levert een zelfverzekerd fout antwoord op. De technische vraag voor het komende jaar is hoe we die grens even controleerbaar kunnen maken als de lagen aan weerszijden ervan.
De renaissance, met cijfers
Een jaar geleden was de bewering dat neurosymbolische systemen beter zouden presteren dan pure taalmodellen bij taken die betrouwbaarheid vereisen, een argument. In 2026 zijn er cijfers: meer dan 90 procent succes voor kleine open modellen bij huishoudelijke planning, een agent met 4 miljard parameters die een direct beleid met 27 miljard parameters ruim verslaat, constraints en search die elk minder dan een derde van de taken alleen oplossen en samen meer dan 95 procent, en elke edge in een op een ontologie gebouwde graaf die herleidbaar is tot de bron, tegenover 83 procent voor een geëxtraheerde graaf.
Die cijfers komen met voorwaarden, en de voorwaarden zijn net zo belangrijk als de resultaten. Maar de richting is duidelijk. Wanneer een AI-systeem op controleerbare manieren juist moet zijn, is structuur geen belemmering voor technisch vermogen. Het is een van de bronnen daarvan.
Waarom het ontwerp van de benchmark net zo belangrijk is als het resultaat
In beide papers zit een bredere methodologische les die een korte opmerking verdient, omdat ze raakt aan hoe het hele vakgebied systemen zou moeten evalueren die claimen betrouwbaar te zijn.
Beide papers meten iets anders dan vloeiendheid. Het paper over de belichaamde agent meet succes: is de huishoudelijke taak in de omgeving uitgevoerd? Het GraphRAG-paper meet herkomst: is elke edge, en elke verwijzing, herleidbaar tot een gezaghebbende registratie? Geen van beide leunt in de eerste plaats op de vraag of een antwoord goed leest of overeenkomt met een referentietekst. Dat is belangrijk, want een groot deel van de AI-evaluatie beloont nog steeds oppervlakkige kwaliteit. De reeks werk rond "Why Neighborhoods Matter" en verwant evaluatieonderzoek hebben hetzelfde punt vanuit een andere richting gemaakt: de lexicale overlap met een referentieantwoord kan hoog zijn terwijl het bewijs voor het antwoord ontbreekt.
Voor organisaties die AI-systemen evalueren voor beslissingen die ertoe doen, is de les: vraag wat een benchmark meet voordat je vraagt welke score een systeem heeft behaald. Een systeem dat goed scoort op een op vloeiendheid gebaseerde benchmark kan nog steeds plannen opleveren die niet uitvoerbaar zijn of antwoorden waarvan de verwijzingen nergens heen leiden. Een systeem dat goed scoort op uitvoerbaarheid of herkomst heeft iets aangetoond dat dichter bij wat een besluitvormer nodig heeft ligt. We zouden meer inkoopevaluaties willen zien die zijn opgezet zoals deze twee papers: met een taak die op een controleerbare manier slaagt of faalt, en met een audit van waar het bewijs voor elk antwoord vandaan komt.
Bronnen
- Neurosymbolic Embodied Agents, Albinhassan, Feng, Russo en Madhyastha, arXiv, augustus 2026. Gebruikt voor het geciteerde abstract, de tweefasemethode, de componentablatie (tabel 2), de decoderingsinstellingen (tabel 3), de cijfers over faalreacties (tabel 10), de slagingspercentages op VirtualHome en ALFWorld, de vergelijking met een direct beleid van 27B, de ablatie van beperkingen en zoekacties, token-efficiëntie en het lokaliseren van fouten.
- Ontology-guided neuro-symbolic GraphRAG for grounded query answering, Domenico Benfenati en Antonio Maria Rinaldi, Neural Computing and Applications, 2026. Gebruikt voor de constructiemethode, de herkomstaudit, de citatieprecisie en het evaluatieontwerp.
- Why Neighborhoods Matter: Traversal Context and Provenance in Agentic GraphRAG, arXiv, mei 2026. Gebruikt voor de bevinding dat eindcitaten niet de volledige bewijsbasis van agentische antwoorden vastleggen, en voor de vermelde beperkingen van het onderzoek.
- Artikel 13: Transparantie en verstrekking van informatie aan gebruikers, AI Act Service Desk van de Europese Commissie. Gebruikt voor de interpreteerbaarheidseis voor hoogrisicosystemen.
- Artikel 14: Menselijk toezicht, AI Act Service Desk van de Europese Commissie. Gebruikt voor de toezichtmogelijkheden.
- Artikel 86: Recht op uitleg van individuele besluitvorming, AI Act Service Desk van de Europese Commissie. Gebruikt voor het recht op uitleg.
- Towards A Rigorous Science of Interpretable Machine Learning, Finale Doshi-Velez en Been Kim, arXiv, 2017. Gebruikt voor de geciteerde observatie over het ontbreken van consensus over interpreteerbaarheid.
- Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead, Cynthia Rudin, arXiv, 2018. Gebruikt voor het geciteerde pleidooi voor inherent interpreteerbare modellen.
- Sanity Checks for Saliency Maps, Julius Adebayo en anderen, arXiv, 2018. Gebruikt voor de geciteerde bevinding dat sommige saliency-methoden onafhankelijk zijn van model en data.