Dweve

Neurosümboolne lähenemine aasta hiljem: mida 2026. aasta uurimistöö tegelikult näitab

Aasta tagasi väitsime, et järgmine samm tehisintellektis ühendab õpitud mudelid selgesõnalise struktuuriga. 2026. aasta uurimistöö annab sellele väitele...

Neurosümboolne lähenemine aasta hiljem: mida 2026. aasta uurimistöö tegelikult näitab

Aasta tagasi oli see väide enamjaolt lihtsalt väide

Novembris 2025 avaldasime essee „The neuro-symbolic renaissance“, milles väitsime, et järgmiste aastate kõige kasulikumad tehisintellekti süsteemid ei ole üksnes suuremad keelemudelid. Need ühendavad õpitud mudelid, mis on tugevad tajumises, keeles ja mustrites, selgesõnalise sümboolse struktuuriga, mis on tugev reeglites, piirangutes, päritolus ja tõestuses. Esitasime selle väite esimestest põhimõtetest lähtudes ja oma insenerikogemusele tuginedes, sest nii on Dweve üles ehitatud: Loom, meie arutlusmootor, suunab tööd 528 spetsialisti vahel, kellest paljud on pigem sümboolsed lahendajad, verifitseerijad ja reeglimootorid kui närvivõrgud, ning vastus, mille see tagastab, kannab jälge sellest, millised osad mida tegid.

Esimestest põhimõtetest lähtuv väide on mõistlik lähtepunkt. See ei ole tõendusmaterjal. Seega tasub aasta hiljem küsida, mida näitavad nüüd avaldatud teadustööd. Mitte pressiteated ja mitte üldine vaimustus sõna „neurosümboolne“ vastu, mis on muutunud piisavalt moekaks, et seda saab rakendada peaaegu kõigele. Konkreetsed, mõõdetud tulemused.

Kaks 2026. aasta artiklit on eriti kasulikud, sest need kontrollivad tuumväiteid otseselt ja esitavad numbreid, mida saab üle kontrollida. Üks käsitleb agente, kes peavad maailmas tegutsema: kas sümboolsete piirangute ja otsingu lisamine keelemudelile muudab selle plaanid täidetavaks? Teine käsitleb teadmistepõhist küsimustele vastamist: kas teadmiste struktuuri deterministlik ülesehitamine autoriteetsetest allikatest, mitte selle eraldamine keelemudeliga, muudab vastused paremini jälgitavaks? Mõlemad vastavad jaatavalt, suure vahega. Ja mõlemad on hoolikad selles osas, mida nad ei näidanud, mis on vähemalt sama õpetlik kui see, mida nad näitasid.

Usutav ei ole sama mis täidetav

Esimene artikkel, Albinhassani, Fengi, Russo ja Madhyastha „Neurosymbolic Embodied Agents“, mis postitati arXivisse 2026. aasta augustis, algab tähelepanekust, mille tunneb ära igaüks, kes on proovinud keelemudelit planeerijana kasutada. Keele- ja nägemiskeelmudelid, seisab selle kokkuvõttes, „genereerivad usutavaid kehastatud plaane, kuid ei taga täidetavust, sest nende väljundid võivad rikkuda keskkonna dünaamikat või tegutseda valesti maandatud üksuste kallal.“

Usutava ja täidetava eristamine on kogu probleem ühes lauses. Mudel, kellel palutakse simuleeritud köögis teed teha, toodab sammude jada, mis kõlab hästi: mine kööki, võta veekeetja, täida see, lülita sisse. Kuid see võib proovida võtta veekeetjat, mida pole olemas, või täita veekeetjat, mis on suletud kapis, või valada veekeetjast, mis ei ole keema läinud. Iga samm on usutav. Plaan tervikuna ebaõnnestub, sest mudel ei jälgi maailma olekut ega reegleid selle kohta, kuidas tegevused seda muudavad.

Artikli agent jaotab pika horisondiga majapidamisülesanded kahte faasi. Esimeses omandavad nägemiskeelmudel ja uurimisraamistik egotsentrilistest vaatlustest ja maandatud interaktsioonidest eesmärgiga seotud predikaadid ja eksemplarisidemed, luues algoleku sümboolse kirjelduse: see veekeetja on siin, see kapp on suletud, see tass on tühi. Teises piirab PDDL-üleminekumudel, formaalne kirjeldus sellest, millised tegevused on millistes olekutes rakendatavad ja mida need muudavad, „dekodeerimist tokenitele, mis laiendavad rakendatavaid tegevusi.“ Keelemudel saab genereerida ainult tegevusi, mille sümboolne mudel ütleb olevat võimalikud. Seejärel hindab Monte Carlo puuotsing täidetavaid jätkusid, kasutades valdkonnast sõltumatut planeerimisheuristikat.

Tagajärg on autorite sõnade kohaselt see, et „saadud plaanid on üleminekumudeli kohaselt konstruktsiooni poolest täidetavad, kusjuures ülekandmine keskkonda on tingitud korrektsest visuaalsest maandamisest.“ See viimane osalause on oluline ja tuleme selle juurde allpool tagasi.

Kokkuvõte Albinhassani, Fengi, Russo ja Madhyastha artiklist Neurosymbolic Embodied Agents, arXiv 2608.16794.

Väikesed piiratud mudelid ületavad suurt piiramata mudelit

Tulemused on silmatorkavad. Kahel standardsel majapidamistööde võrdlusalusel, VirtualHome ja ALFWorld, teatab kokkuvõte, et "avatud 4B-27B mudelid ületavad mõlemas keskkonnas 90% edukust ja meie väikseim agent ületab mõlemas oluliselt 27B otsest visuaalset poliitikat." Artikli tulemustes ulatuvad edukusmäärad mudeli suuruse lõikes VirtualHome'is 94,5 kuni 99,5 protsendini ja ALFWorldis 90,3 kuni 97,8 protsendini. 4 miljardi parameetriga agent ületab 27 miljardi parameetriga otsest visuaalset poliitikat ühel võrdlusalusel 32,0 protsendipunkti ja teisel 63,4 protsendipunkti võrra.

Teist tulemust tasub aeglaselt lugeda. Mudel, mis on ligikaudu üks seitsmendik suurusest, saab maailma kohta selge struktuuri ja täidetavate tegevuste otsingumenetluse, ning teeb dramaatiliselt paremini kui palju suurem mudel, millel palutakse otse tegutseda. Erinevus ei ole marginaalne häälestus. See on erinevus süsteemi vahel, mis enamasti töötab, ja süsteemi vahel, mis enamasti ei tööta.

See on oluline kõigile, keda huvitab AI-süsteemide maksumus, energiakasutus ja juhitavus. Väike avatud mudel suudab töötada tagasihoidlikul riistvaral, seda saab üle vaadata, kinnitada kindla versiooni külge ja majutada seal, kus operaator valib. Kui struktuuri lisamine võimaldab sellisel mudelil ületada suurt mudelit ülesannetes, mis nõuavad usaldusväärset tegutsemist, muutuvad väikeste mudelite suveräänsus- ja tõhususe argumendid palju tugevamaks. Suurus ei ole ainus tee võimekuseni. Struktuur on teine.

Piirangud ja otsing täiendavad teineteist, neid ei saa omavahel asendada

Meie jaoks kõige huvitavam leid on ablatsioon. Autorid katsetasid piiranguid ja otsingut eraldi. ALFWorldis lahendab kumbki üksi "alla kolmandiku ülesannetest, samas kui nende kombinatsioon lahendab üle 95%." Üksikasjalikud arvud on 32,3 protsenti ainult piirangute korral ja 29,2 protsenti ainult otsingu korral, võrreldes 95,5 protsendiga kombineeritult.

See on tulemus, mida lihtne lugu neurosümboolsest AI-st ei ennustaks. Võiks eeldada, et piirangud, takistades kehtetuid tegevusi, teevad suurema osa tööst, ja otsing lisab veidi. Või et otsing, uurides paljusid radu, leiab head plaanid ja piirangud ainult kiirendavad seda. Selle asemel ebaõnnestub kumbki üksi enamiku ülesannete puhul ja koos õnnestuvad nad peaaegu kõigil.

Intuitsiooni pole raske taastada. Piirangud ilma otsinguta tagavad, et iga samm on lubatud, kuid ei tee midagi selleks, et lubatud sammude jada jõuaks eesmärgini. Mudel võib lõputult köögis ringi hulkuda, sooritades täiesti seaduslikke toiminguid. Otsing ilma piiranguteta uurib paljusid jätkuteid, kuid enamik neist sisaldab lubamatuid toiminguid, mistõttu otsinguruumi domineerivad plaanid, mis ebaõnnestuvad, ja heuristikal pole millegi peale toetuda. Koos kärbivad piirangud ruumi lubatud plaanideks ja otsing leiab nende seast head.

See täiendavus on meie hinnangul seni tugevaim empiiriline kinnitus arhitektuurilisele väitele, mille esitasime aasta tagasi. Väärtus ei seisne selles, et sümboolne moodul kruvitakse närvivõrgu külge. See seisneb konkreetses tööjaotuses, kus kumbki osa teeb seda, milles on hea, ja kompenseerib teise nõrkust.

Arvud, nagu on esitatud arXiv 2608.16794. Kumbki komponent üksi lahendab alla kolmandiku ülesannetest.

Vähem tokeneid ja ebaõnnestumised, mis osutavad kuhugi

Veel kaks artikli tulemust on kergesti tähelepanuta jäetavad ja väärivad tähelepanu.

Esimene on tõhusus. Kokkuvõttes on öeldud, et meetod "kasutab mitu korda vähem genereeritud tokeneid kui laiendatud mõtlemine ja oluliselt vähem mudelile nähtavaid pilte kui otsene suhtlus". Artiklis on tokenite vähenemist laiendatud mõtlemisega võrreldes esitatud kuni neljakordsena. Laiendatud mõtlemine, mille puhul mudel kirjutab enne tegutsemist välja pikad arutlusahelad, on peamine alternatiivne strateegia mudeli plaanide usaldusväärsuse parandamiseks. See toimib teatud määral, kuid on kulukas: iga arutlemisele kuluv token arvutatakse ja hostitud teenuste puhul makstakse selle eest. Meetod, mis saavutab paremaid tulemusi murdosaga tokenitest, on parem nii kulult ja energialt kui ka edukuselt.

Teine on diagnoositavus. Kokkuvõttes on märgitud, et "jääk-ebaõnnestumised paiknevad oleku omandamises, mitte plaani genereerimises, ilma igasuguse spetsiaalse treenimiseta". Kui agent ebaõnnestub, siis seetõttu, et tema pilt maailmast oli vale, mitte seetõttu, et ta oleks selle pildi põhjal halvasti planeerinud. Just seda võikski loota süsteemilt, mille plaanid on konstruktsioonilt täidetavad. See ütleb ka insenerile, kus järgmisena töötada. Otsast-otsani närvisüsteemis on ebaõnnestumine sageli kogu mudeli hajus omadus ja ainus abinõu on rohkem andmeid või suurem mudel. Faktoreeritud süsteemis on ebaõnnestumisel aadress.

Meie hinnangul on diagnoositavus AI-uurimises alahinnatud. Süsteem, mis ebaõnnestub harvem, on hea. Süsteem, mille ebaõnnestumisi saab paikapidavalt tuvastada, selgitada ja parandada, on parem, sest seda saab teadlikult täiustada ja selle käitumist saab usaldada juhtudel, kus komponendid on teadaolevalt usaldusväärsed.

Sama muster kordub küsimustele vastamises

Teine artikkel käsitleb teistsugust probleemi, kuid tulemus on silmatorkavalt sarnane. Domenico Benfenati ja Antonio Maria Rinaldi (Napoli Federico II ülikool) artikkel "Ontology-guided neuro-symbolic GraphRAG for grounded query answering" ilmus ajakirjas Neural Computing and Applications 2026. aasta oktoobris. See uurib küsimustele vastamist küberturvalisuse teadmiste põhjal: haavatavused, nõrkused, ründemustrid ja mõjutatud tooted, mis pärinevad avalikest hoidlatest nagu CVE, CWE, CAPEC ja CPE.

Võrreldakse kahte viisi, kuidas ehitada teadmiste graafi, millele keelemudel küsimustele vastates toetub. Laialt kasutatavas GraphRAG-i lähenemises loeb keelemudel struktureerimata teksti ning eraldab entiteedid, seosed ja kogukonna kokkuvõtted, mis seejärel toimivad otsingu alusmaterjalina. Autorite lähenemises materialiseeritakse graaf ülalt alla autoriteetsetest hoidlatest, kasutades sihitud roomamist, ontoloogiapõhist skeemide ühtlustamist ja reeglipõhist sümboolset tuletamist, nagu transitiivne aheldamine ja toote mitmeastmeline mõju. Ontoloogia ise tuletatakse tegelike hoidlate valdkonnastruktuurist, mitte ei sünteesita mudeli poolt. Seejärel antakse keelemudelile tõendusmaterjal sellest graafist, mida autorid kirjeldavad rangelt ühesuunalise voona: sümboolne alusmaterjal on "täielikult deterministlik, päritolu säilitav ja sõltumatult kontrollitav".

Päritoluaudit on kõige paljastavam katse. Ontoloogiajuhitud graafis oli 100 protsenti valimisse kuulunud servadest jälgitav autoriteetsete allikakirjeteni või deklareeritud tuletusreegliteni. LLM-i eraldatud graafis oli jälgitav 83 protsenti ning ainult 58 protsenti ühendasid otspunkte kanooniliste identifikaatoritega. Erinevus kandub edasi vastustesse: ontoloogiajuhitud süsteem saavutas 95-protsendilise viitamistäpsuse, GraphRAG-i võrdlusalus 66 protsenti.

Oluline on autorite struktuurne selgitus. LLM-i eraldatud GraphRAG-is põhinevad vastused kokkuvõtetel, mille on kirjutanud sama tüüpi mudel, mis vastuse genereerib, mistõttu päritoluahel peatub neurovahendaja juures ega jõua autoriteetse kirjeni. Viide mudeli kirjutatud kokkuvõttele on viide tõlgendusele. Viide allikakirjele, läbi servade, mis on igaüks jälgitav selle kirjeni või deklareeritud reeglini, on viide tõendusmaterjalile.

Arvud, nagu Benfenati ja Rinaldi need esitasid ajakirjas Neural Computing and Applications, 2026, küberturvalisuse korpuse põhjal.

Viited ei ole kogu päritolu

Kolmas, väiksem 2026. aasta artikkel lisab kasuliku komplikatsiooni. Artikkel "Why Neighborhoods Matter: Traversal Context and Provenance in Agentic GraphRAG", mis avaldati arXivis 2026. aasta mais, uurib süsteeme, kus agent uurib enne vastamist teadmusgraafi ja viitab seejärel väikesele hulgale olemitele. Küsimus on selles, kas lõplikud viited on piisavad, et selgitada tõendusmaterjali, millest vastus sõltus.

Järeldus on, et ei ole. Viidatud olemid on tavaliselt olulised: nende eemaldamine muudab vastuseid märkimisväärselt ja vähendab täpsust. Kuid katsed näitavad, et täpne vastamine sõltub ka graafis liikumisest, naabruskonna struktuurist ja olemiteest, mida agent külastas, kuid millele ei viidanud. Autorid järeldavad, et ustav viitamine "peaks arvestama ka graafi konteksti ja otsinguteed, mis lõplikku vastust kujundavad."

See leid teravdab Benfenati ja Rinaldi artikli õppetundi. Deterministlik ja jälgitav graaf on vajalik vastuste jaoks, mille tõendusmaterjali saab kontrollida. Sellest ei piisa, kui süsteem salvestab ainult selle, millele ta viitas, mitte seda, mida ta luges. Päritolu peab hõlmama teed, mitte ainult sihtkohta. Just sellisele järeldusele jõudsime ka inseneritöö poolelt Knoti kavandades, sündmuste logi, mille avaldame 2026. aasta neljandas kvartalis: agendi käivituse kirje peab sisaldama iga lugemist ja iga vaheetappi, mitte ainult lõplikku väljundit, sest just etapid selgitavad väljundit.

Mida tulemused ei näita

Mõlemad põhiartiklid on oma piirangute suhtes hoolikad ja neid piiranguid tasub selgelt välja öelda, sest entusiasm tulemuse vastu kipub selle tingimused kustutama.

Kehastatud agentide tulemused pärinevad simulatsioonist. VirtualHome ja ALFWorld on tunnustatud võrdlusalused, kuid need on simuleeritud majapidamiskeskkonnad teadaoleva dünaamikaga. Garantii, et plaanid on "konstruktsiooni poolest" teostatavad, kehtib üleminekumudeli raames, see tähendab maailma toimimise sümboolse kirjelduse raames. Kui see kirjeldus on vale või puudulik, ei kandu garantii üle. Päris maailmas on täieliku ja korrektse üleminekumudeli kirjutamine raske ning maailmal on kombeks sisaldada asju, mida mudel ette ei näinud.

Samad tulemused sõltuvad sellest, kas visuaalne tuvastus on korrektne. Artikli kokkuvõte ütleb seda otseselt. Kui uurimisfaasis tuvastatakse objekt valesti või jääb mõni objekt märkamata, on sümboolne olek vale ning plaan, mis on vale oleku juures täiesti teostatav, võib tegelikkuses ebaõnnestuda. Artikli järeldus, et jääkvead paiknevad oleku omandamise etapis, on diagnostika seisukohalt hea uudis, kuid samas ka meeldetuletus, et tajumine on endiselt see kõige raskem osa.

GraphRAG-i tulemused pärinevad ühest valdkonnast, küberturvalisusest, kus on olemas autoriteetsed struktureeritud hoidlad ja püsivad identifikaatorid. Paljud valdkonnad ei ole sellised. Kui teadmised paiknevad peamiselt struktureerimata dokumentides, millel puuduvad kanoonilised identifikaatorid, ei ole ülalt-alla materialiseerimine võimalik ja mingisugune ekstraktimine on vältimatu. Artikli meetod näitab, mis muutub võimalikuks, kui head allikad on olemas. See ei näita, kuidas neid luua seal, kus neid ei ole.

GraphRAG-i vastuse korrektsuse hindamisel kasutati kohtunikuna keelemudelit Gemini 2.5 Flash, esitades iga ülesande kohta viisteist küsimust. See on teadusartikli jaoks mõistlik kavand ning päritoluaudit on otsesem mõõtmine. Lugejad peaksid aga vastuse kvaliteedi näitajaid pidama suunavateks, mitte lõplikeks, ja päritolu näitajaid tugevamaks tulemuseks.

Ükski neist piirangutest ei kummuta artikleid. Need on hea teadustöö tavalised tingimused. Kuid need on olulised kõigile, kes võiksid lugeda sõna „neurosümboolne“ üldise lahendusena. Tegemist on arhitektuursete valikute kogumiga, mis töötab väga hästi siis, kui nende eeldused kehtivad: valdkonna korrektne sümboolne mudel, taju usaldusväärne sidumine selle mudeliga ja teadmiste autoriteetsed allikad. Suur osa praktilisest tööst seisneb nende eelduste loomises.

Mis juhtub pärast esimest viga

Edukuse määr näitab, kui sageli süsteem ülesande lõpule viib. See ei näita, kuidas süsteem käitub siis, kui midagi läheb valesti, mis on sageli tähtsam küsimus kõigile, kes peavad süsteemi kasutusele võtma. Kehastatud agenti käsitlev artikkel sisaldab lisa, mis sellele vastab, ja see on üks töö paljastavamaid osi.

Autorid mõõtsid, mida tegid poliitikad „pärast esimest maandamatut või ebaõnnestunud täitmist“, ning teatasid, kui sageli sisaldasid ülesanded sellist sündmust, kui sageli poliitika ülesande seejärel taastas, kui sageli kordas kohe ebaõnnestunud päringut ja kui sageli langes püsivasse tegevustsüklisse. Otseste visuaalsete poliitikate tulemused, mis kavandavad ilma sümboolsete piiranguteta, on silmatorkavad.

VirtualHome'is puutus 4B otsene Qweni poliitika ebaõnnestumisega kokku 64,5 protsendis ülesannetest. Nendel juhtudel taastas see ülesande 5,4 protsendil, kordas ebaõnnestunud päringut kohe 74,5 protsendil ja lõpetas püsivas tsüklis 45,5 protsendil. ALFWorldis puutus sama mudel ebaõnnestumisega kokku 73,9 protsendis ülesannetest, taastas 1,0 protsendil ja lõpetas püsivas tsüklis 94,8 protsendil. Suurim otsene mudel sai ootuspäraselt paremini hakkama: VirtualHome'is puutus 27B poliitika ebaõnnestumisega kokku 29,0 protsendis ülesannetest, taastas 37,9 protsendil, kordas päringut 8,3 protsendil ja langes tsüklisse 9,5 protsendil. ALFWorldis taastas isegi see mudel ülesande vaid 25,7 protsendil juhtudest.

Artikli sissejuhatus selgitab, miks see nii juhtub. Otsene poliitika peab tuvastama objekte, jälgima nende olekut, valima rakendatavaid tegevusi ja põhjendama viivitusega mõjusid „ühe autoregressiivse ajaloo sees, kus need võivad vabalt kuhjuda“. Autorid märgivad, et „täitmise tagasiside võib sellise vea pärast selle toimumist paljastada, kuid ei takista mudelit kordamast kehtetut valikut ega triivimast olekust, mille tema enda tegevused esile kutsusid“.

See lause kirjeldab mustrit, mida paljud tunnevad laborist väljaspool tegutsevate agentide puhul. Agent proovib midagi, see ebaõnnestub, viga antakse talle tagasi ja agent proovib sama asja uuesti või midagi samaväärset. Tagasiside on informatsioon, kuid informatsioon ei piira. Süsteem, mis kohtleb tegevuse kehtivust järeldatava, mitte jõustatava asjana, võib küll teada saada, et eksis, ilma et teda takistataks uuesti eksimast.

Piiratud lähenemine muudab seda, muutes rakendatavuse artikli sõnastuses „piiranguks, mida hoitakse kogu genereerimise ja otsingu vältel“. Tegevust, mille eeltingimused ei ole täidetud, ei tekitata kunagi, seega pole midagi korrata. See ei muuda süsteemi eksimatuks. See viib ebaõnnestumise teise kohta.

Arvud Albinhassani ja kolleegide 2026. aasta artikli tabelist 10 otseste poliitikate kohta ilma sümboolsete piiranguteta. Protsendid; taastamine ja kordamine on ülesannete hulgas, mille puhul esines ebaõnnestumine.

Artikkel paigutab oma ebaõnnestumised ise

Aus käsitlus tulemustest peab ütlema, kus piiratud agent ebaõnnestub, ja artikkel ütlebki seda. Selle sümboolne planeerija saab planeerida ainult etteantud oleku põhjal. Kui visuaalse uurimise etapp jätab vajaliku objekti märkamata, kirjutavad autorid, „siis levib ebaõnnestumine edasi, sest maandatud algolek jätab vajaliku objekti välja. See on visuaalse oleku hankimise komponendi, mitte rakendatavuse tagatise piirang.“

See eristus on oluline. Tagatis, mida süsteem pakub, on kitsas ja tugev: iga tegevus, mida ta planeerib, on rakendatav olekus, milles ta usub end olevat. Kas see usk vastab maailmale, sõltub tajust, ja taju teeb endiselt närvivõrgumudel koos kogu sellega kaasneva ebakindlusega. Autorid eeldavad, et „visuaalse tuvastuse ja aktiivse vaatepunkti valiku paranemine peaks otseselt üle kanduma tervikmeetodisse“, mis on mõistlik ootus ja ühtlasi meeldetuletus, et sümboolne osa ei suuda korvata seda, mida närviosa ei märka.

Neile, kes selliseid süsteeme hindavad, on õppetund küsida, kus tagatis lõpeb. Neurosümboolne süsteem pakub tavaliselt kindlust protsessi ühe osa kohta (plaan on kehtiv, järeldus tuleneb reeglitest, vastust toetab graaf) ja pärib ebakindluse osadest, mis seda toidavad. Hea süsteem teeb selle piiri nähtavaks. Ta salvestab, mida ta tajus, mida eeldas ja mida tuletas, nii et ülevaataja saab öelda, kas ebaõnnestumine tuli arutlemisest või arutlemise sisendist.

Seetõttu ongi artikli lisas esitatud laadi ebaõnnestumise analüüs nii väärtuslik. Teadmine, et süsteem ebaõnnestub peamiselt maandamisel, mitte planeerimisel, ütleb insenerile, kuhu panustada, ja kasutuselevõtjale, millist järelevalvet on vaja. Inimülevaataja, kes kontrollib piiratud agendi tööd, peaks kontrollima selle pilti maailmast, mitte selle aritmeetikat.

Läbimise uuring on väike ja ütleb seda ise

Ka traaversi konteksti käsitlev artikkel on oma piiride suhtes ettevaatlik. Selle autorid kirjutavad, et uuringut „piirab väike võrdlusaluste kogum ning see, et kasutati kontrollitud teadmusgraafi, mis põhineb 2WikiMultiHopQA-l, mitte suurt reaalse maailma teadmusgraafi.“ Nad kutsuvad üles hindama „suurematel andmekogumitel, rikkalikumate graafistruktuuride ja valdkonnaspetsiifiliste teadmusbaasidega“ ning viitamismehhanisme, „mis toovad esile mitte ainult lõplikud toetavad entiteedid, vaid ka asjakohase traaversi konteksti.“

Selline avameelsus on kasulik. Järeldus, et viited on agendi vastuse põhjendamiseks vajalikud, kuid mitte piisavad, on usutav ja oluline, kuid see toetub kontrollitud keskkonnale. Enne, kui keegi sellele poliitika rajab, tuleks seda korrata sellistel graafidel, mida reaalsed süsteemid kasutavad: ettevõtete teadmusbaasid, regulatiivsed korpused, tootekataloogid. Seni tasub seda lugeda pigem hästi kavandatud hoiatuse kui lõplikult kinnitatud mõõtmise tulemusena.

Hoiatust tasub siiski kuulda võtta. Autorid järeldavad, et „päritolu agentlikus graafipõhises otsingus tuleks käsitleda trajektoori tasandi omadusena“. Süsteemiehitajate jaoks tähendab see tee, mitte ainult sihtkoha salvestamist: milliseid entiteete külastati, milliseid servi mööda liiguti, milliseid naabreid nähti ja millele ei viidatud. Viidete loetelu on selle tee kokkuvõte. Nagu iga kokkuvõte, võib ka see olla täpne ja jätta siiski välja midagi olulist.

Trajektoori salvestamisel on praktiline hind ja see tuleks välja öelda. Traaversikirjed on viidete loeteludest mahukamad, need võivad sisaldada materjali, mida kasutajale kunagi ei näidatud, ning need nõuavad sama hoolikat juurdepääsu- ja säilituskäsitlust nagu iga teine logi. Kuid alternatiiv on hullem. Kui vastus vaidlustatakse, suudab süsteem, mis säilitas ainult oma viited, näidata, millele see osutas. Süsteem, mis säilitas oma trajektoori, suudab näidata, kuidas see sinna jõudis, ja just seda küsib ülevaataja tegelikult. Agentliku otsingu puhul otsustab see erinevus tõenäoliselt, kas selgitust aktsepteeritakse või lihtsalt talutakse.

Varasem argument selgituste kohta kehtib endiselt

Vaimult pole siin midagi uut. Arutelu masinõppe selgituste üle on kestnud aastaid ning 2026. aasta tulemused sobituvad sellesse, mitte ei asenda seda.

2017. aastal märkisid Finale Doshi-Velez ja Been Kim, et „hoolimata huvist tõlgendatavuse vastu puudub väga suur üksmeel selles, mis on tõlgendatav masinõpe ja kuidas seda mõõta.“ 2018. aastal väitis Cynthia Rudin, et „musta kasti mudelite selgitamine, selle asemel et luua kohe tõlgendatavaid mudeleid, süvendab tõenäoliselt halbu tavasid ja võib ühiskonnale põhjustada katastroofilist kahju.“ Samal aastal näitasid Julius Adebayo ja kolleegid, et mõned olulisusmeetodid „on sõltumatud nii mudelist kui ka andmete genereerimise protsessist“, andes sarnaseid selgitusi olenemata sellest, kas mudel oli midagi õppinud või mitte.

Piiratud planeerimise ja GraphRAG-i tulemusi võib lugeda tõendiks Rudini seisukoha kasuks uues kontekstis. Kui plaan luuakse selgete reeglite otsinguga, on selle kehtivus selle loomisviisi omadus ning selgitust selle kohta, miks tegevus valiti, saab otsingust välja lugeda. Kui vastus luuakse graafi traveerides, on selle päritolu traaversi omadus, eeldusel et traavers salvestatakse. Mõlemal juhul ei ole selgitus teise mudeli tõlgendus esimesest. See on kirje selle kohta, mida esimene tegi.

2026. aasta tulemused lisavad tõestust, et selline süsteem võib samuti hästi toimida. Varasem vastuväide tõlgendatavatele lähenemistele oli, et need maksavad täpsuse arvelt. Sellised tulemused, kus väikesed piiratud mudelid edestavad struktureeritud ülesannetes suuremaid piiramata mudeleid, ei lahenda seda küsimust üldiselt. Küll aga näitavad need, et selgete reeglite ja kontrollitavate tulemustega ülesannete puhul ei ole kompromiss see, mida arvati.

Kauem mõtlemine ei aidanud ja lihtne võrdlusalus varjab seda

Kehastatud agendi artiklis sisalduv komponentide ablatsioon toob esile kaks täiendavat üksikasja, mis väärib tähelepanu, sest need räägivad vastu levinud eeldustele.

Esimene puudutab pikendatud arutlemist. 27B Qweni mudeliga jõudis tavaline ahne dekodeerimine VirtualHome'is 61,0 protsendi ja ALFWorldis 15,4 protsendi edukuseni. Sama mudel mõtlemisrežiimis, mille eelarve oli artikli dekodeerimisseadete kohaselt kuni 32 768 väljundtokenit, jõudis 59,0 ja 16,9 protsendini. Mudeli lubamine palju pikemalt arutleda ei muutnud sisuliselt midagi. Rakendatavuspiirangute lisamine ahnele dekodeerimisele seevastu tõstis VirtualHome'i edukuse 61,0-lt 98,5 protsendini. Autorite sõnade kohaselt näitab see, et „rakendatavuspiirangud annavad suurema osa võidust”.

See on kasulik parandus ettekujutusele, et rohkem arutlemistokeneid on üldine lahendus planeerimisvigadele. Kui viga seisneb selles, et valitakse tegevus, mille eeltingimused ei ole täidetud, ei takista pikem sisemine kaalutlemine seda usaldusväärselt. Reegel, mis muudab sellised tegevused võimatuks, takistab.

Teine üksikasja puudutab võrdlusaluse raskust. VirtualHome'is jõudis üksnes piiramata otsing 99,0 protsendini, sama palju kui täielik meetod, kuigi autorid märgivad, et see tegi seda „kõrgema genereerimiskuluga”, mis on näidatud nende joonistel. Lugeja, kes vaatab ainult VirtualHome'i, võiks järeldada, et otsing on ainus, mida vaja on. ALFWorld näitab vastupidist: üksnes piirangud jõudsid 32,3 protsendini, piiramata otsing 29,2 protsendini ja nende kombinatsioon 95,5 protsendini. Autorid omistavad suurema vahe raskemale planeerimisülesandele. 27B mudeli edukad plaanid sisaldasid ALFWorldis keskmiselt 8,0 kõrgtasemelist tegevust ja VirtualHome'is 6,4, maksimumiga vastavalt 30 ja kaheksa, ning ALFWorld „toob igal etapil sisse rohkem eksemplari- ja mahutiseoseid”.

Üldine õppetund on, et lihtne võrdlusalus võib panna kaks erinevat lahendust samaväärsena paistma. Alles siis, kui probleem muutub piisavalt pikaks ja piisavalt piiratuks, ilmnevad erinevused. Igaüks, kes võrdleb agendiarhitektuure, peaks neid katsetama ülesannetel, mis on vähemalt sama pikad ja sama rangelt piiratud kui need, mida ta kavatseb kasutusele võtta, mitte kõige lühemate saadaolevate ülesannete põhjal.

Katsed on tahtlikult korratavad

Veel üks artikli joon väärib märkimist, sest see seostub mujal selles sarjas käsitletud teemaga. Autorid avaldavad oma dekodeerimisseaded täielikult. Piiratud Qweni faasid töötavad temperatuuril 0,0. Kui kasutatakse tuumavalimit, täiendavate mõtlemiskatsete ja kehastatud võrdlusaluste puhul, korratakse hindamisi kolme nimetatud seemnega: 0, 42 ja 1738. Otsing on piiratud 250 sekundiga ülesande kohta ja artiklis märgitakse, et selle otsingu hüperparameetrid „valiti empiiriliselt”.

Just need üksikasjad teevad tulemuse kontrollitavaks. Lugeja, kes soovib tööd korrata, teab, milliseid seadeid kasutada, mitu korda jooksutada ja millist varieeruvust oodata. Need teevad nähtavaks ka piirangud: empiiriliselt valitud hüperparameetrid võivad teistes keskkondades vajada ümberhäälestamist ja ajapiirang tähendab, et mõned ülesanded võivad ebaõnnestuda aja, mitte plaani puudumise tõttu. Mõlema väljatoomine on hea tava. See on standard, millele meie hinnangul peaks vastama iga avaldatud tulemus, sealhulgas meie enda oma. Tulemus, mida ei saa uuesti jooksutada, võib endiselt olla huvitav, kuid sellele ei saa veel tugineda, ja see erinevus on kõige olulisem siis, kui tulemust kasutatakse lahenduse põhjendamiseks.

Sõna on muutumas sildiks, seega vajab see testi

Edu toob kaasa jäljendamise ja nüüd kasutatakse sõna „neurosümboolne“ süsteemide kohta, millel on nende artiklite arhitektuuridega vähe ühist. Keelemudelit, mille viip ütleb „mõtle samm-sammult“, nimetatakse mõnikord neurosümboolseks. Samuti mudelit, mis kutsub kalkulaatorit, reeglipõhise tervitusega vestlusrobotit või otsingusüsteemi, mis kasutab andmebaasi. Igaüks neist ühendab midagi närvivõrgulist millegagi, mis seda ei ole, ja sõna kaotab tähenduse, kui see hõlmab neid kõiki.

Meie leiame, et kasulik on rakendada lihtsat testi, mis on tuletatud sellest, mis tegi 2026. aasta tulemused toimivaks. Süsteem teenib seda sõna siis, kui selle sümboolne osa piirab või kontrollib närvivõrgulist osa viisil, mis muudab seda, mida süsteem suudab väljundada, ja kui seda piirangut saab uurida.

Kehastatud agendi artiklis piirab PDDL-i üleminekumudel dekodeerimist rakendatavate tegevustega. Keelemudel lihtsalt ei suuda tekitada kehtetut tegevust. See on piirang, mis muudab väljundruumi, ja üleminekumudelit võib igaüks lugeda. GraphRAG-i artiklis ehitatakse teadmusgraaf deklareeritud reeglite järgi autoriteetsetest kirjetest ja keelemudel saab tõendusmaterjali ainult sellest graafist. Iga serva päritolu saab kontrollida. Mõlemad süsteemid läbivad testi.

Viip, mis palub mudelil hoolikalt arutleda, ei läbi seda. See võib väljundeid parandada, kuid ei piira neid, ja millestki selles ei saa uurida, mida mudelil on lubatud öelda. Mudel, mis võib kutsuda kalkulaatorit, läbib testi ainult osaliselt: kalkulaatori tulemus on täpne, kuid mudel otsustab, kas seda kutsuda ja mida tulemusega teha, ning miski ei takista tal tulemust eirata või arvutust ise teha. Test ei ole puhtuse kohta. See on selle kohta, kust garantiid tulevad.

Küsimused, mida küsida süsteemilt, mis seda sõna väidab

Organisatsioonidele, kes hindavad neurosümboolseteks kirjeldatud süsteeme, tõlgendub test mõneks konkreetseks küsimuseks.

Mida sümboolne osa takistab? Kasulik vastus nimetab väljundite klassi, mida süsteem ei suuda tekitada, näiteks kehtetud tegevused, põhjendamata väited või reeglite rikkumised, ja selgitab mehhanismi. Vastus, mis ütleb, et sümboolne osa „suunab“ või „informeerib“ mudelit, nimetamata midagi, mida see takistab, on märk sellest, et garantii on pehme.

Kas sümboolset osa saab lugeda? Reeglid, piirangud, ontoloogiad ja üleminekumudelid peaksid olema kättesaadavad uurimiseks inimestele, kes süsteemile tuginevad, vähemalt nende otsuste jaoks olulisel kujul. Kui sümboolne kiht on ise õpitud, läbipaistmatu komponent, ei paku see seda tüüpi garantiid, mis teeb neurosümboolsed lahendused väärtuslikuks.

Kus päritolu lõpeb? Iga vastuse puhul järgige viiteid. Kas need viivad autoriteetsete algkirjeteni jälgitavate sammude kaudu või mudeli kirjutatud vahetekstideni? GraphRAG-i päritolu audit on selle kontrolli mall.

Kus on vead? Küsige veajuhtumite jaotust komponentide kaupa. Hästi jaotatud süsteem peaks suutma öelda, kas selle vead tekivad tajus, maandamises, otsingus, arutlemises või genereerimises. Süsteem, mis ei suuda seda öelda, on kas jaotamata või mõõtmata.

Mida salvestatakse? Küsige, kas süsteem salvestab tee, mille see läbis, sealhulgas mida see luges ja millised komponendid panustasid, mitte ainult lõpliku vastuse. Agentse GraphRAG-i leiud näitavad, miks see oluline on.

Ükski neist küsimustest ei nõua küsimiseks sügavat asjatundlikkust. Kõik need eristavad arhitektuure, mis pakuvad kontrollitavaid garantiisid, süsteemidest, mis kasutavad sõnavara.

Miks see on oluline selgitamise ja järelevalve jaoks

Nendel tulemustel on regulatiivne mõõde, mida tasub esile tuua, sest see ühendab teadusliku arhitektuuri kohustustega, mis hakkavad kehtima paljudele organisatsioonidele.

Tehisintellekti määrus nõuab väga palju selgitamist. Artikkel 13 kohaselt tuleb suure riskiga süsteemid kavandada nii, et kasutuselevõtjad suudaksid nende väljundit tõlgendada ja seda asjakohaselt kasutada. Artikkel 14 nõuab, et järelevalvega tegelevad isikud suudaksid süsteemi väljundit õigesti tõlgendada ning otsustada seda eirata, tühistada või ümber pöörata. Artikkel 86 annab mõjutatud isikutele õiguse saada selgeid ja sisulisi selgitusi AI süsteemi rolli kohta teatavates otsustes. Need kohustused kehtivad suure riskiga süsteemidele alates 2027. aasta detsembrist või 2028. aasta augustist, vastavalt digitaalse omnibussi järel, kuid kavandamisvalikud, mis teevad need saavutatavaks, tehakse praegu.

Faktoreeritud neurosümboolset süsteemi on palju lihtsam selgitada kui otsast-otsani mudelit, täpselt samadel põhjustel, mida 2026. aasta artiklid näitavad. Kui plaan on üleminekumudeli alusel konstruktsiooniliselt täidetav, on sammu lubamise selgituseks viide reeglile, mis selle lubas. Kui vastus viitab autoriteetsetele kirjetele jälgitavatele servadele, on väite esitamise selgituseks kirjete ahel. Kui vead lokaliseeruvad komponendis, nimetab süsteemi eksimise selgitus selle komponendi. Iga selgitus on väide millegi kohta, mis on olemas ja mida saab kontrollida, mitte närvivõrgu arvutuse tagantjärele ratsionaliseerimine.

See ei muuda selgitamist tühiseks. Keegi peab ikkagi reeglid ja kirjed tõlkima keelde, millest mõjutatud isik aru saab. Kuid see muudab ülesande olemust: rekonstrueerimisest saab esitlemine. Rekonstrueerimine küsib: „Mis võis selle väljundi põhjustada?“ ja suudab pakkuda üksnes hüpoteese. Esitlemine küsib: „Kuidas näidata reegleid ja kirjeid, mis selle väljundi tekitasid?“ ja suudab pakkuda tõendeid. Järelevalve ja selgitamisõiguse jaoks on see erinevus määrav.

See on ka põhjus, miks meie arvates peaksid tõhususe tulemused huvi pakkuma nii reguleerijatele kui ka inseneridele. Väike, piiratud mudel, mida on odavam käitada, on ka mudel, mida on odavam auditeerida: seda saab majutada seal, kus audiitor sellele ligi pääseb, kinnitada uurimise kestel kindla versiooni külge ja samadel sisenditel deterministlikult uuesti läbi mängida. Suveräänsuse, energia ja vastutuse argumendid struktureeritud väikeste süsteemide kasuks osutuvad üheks ja samaks argumendiks kolmest küljest vaadatuna.

Mida me sellest järeldame

Meie enda töö jaoks kinnitavad 2026. aasta tulemused kolme kavandamisotsust ja teravdavad neljandat.

Need kinnitavad, et struktuuriga väikesed mudelid võivad ületada struktuurita suuri mudeleid ülesannetes, mis nõuavad usaldusväärsust. See on eeldus, millel põhineb Loom'i marsruutimine 528 spetsialisti vahel: enamikule küsimustele vastab kõige paremini õige spetsialist, sageli väike mudel või sümboolne lahendaja, mitte suurim saadaolev mudel. Kehastatud agendi ablatsioon on meile teadaolevalt selgeim avaldatud tõend, et see eeldus kehtib planeerimise puhul.

Need kinnitavad, et teadmised tuleks üles ehitada autoriteetsetest allikatest koos deklareeritud reeglitega ja viidata nende allikale. Dweve'i teadmiste kiht viitab igale vastuses kasutatud teadmisele sõlme ja versiooniräsi järgi, nii et ülevaataja saab viitest jälgida täpse kirje ja versioonini. GraphRAG-i päritolu audit näitab, mis läheb kaduma, kui see ahel peatub mudeli kirjutatud vahendaja juures.

Need kinnitavad, et tee salvestamine on sama oluline kui vastuse salvestamine. Agentse GraphRAG-i artikli leid külastatud, kuid viitamata olemite kohta on täpselt põhjus, miks Knot salvestab lugemised ja vahesammud, ning põhjus, miks Loom'i jälg näitab, millised spetsialistid panustasid.

Ja need teravdavad meie tähelepanu aluspinna küsimusele. Mõlemad artiklid paigutavad oma allesjäänud puudujäägid sinna, kus maailm ehk allikas tõlgitakse sümboolseks esituseks. See on piir, kus neurotajumine annab teatepulga üle sümboolsele arutlemisele, ja just sinna peaks koonduma kontrollimise pingutus. Sümboolne kiht, mis arutleb veatult vale oleku üle, annab enesekindla vale vastuse. Järgmise aasta inseneriküsimus on, kuidas muuta see piir sama kontrollitavaks kui kihid selle mõlemal küljel.

Renessanss, numbritega

Aasta tagasi oli väide, et neurosümboolsed süsteemid edestavad puhtaid keelemudeleid ülesannetes, mis nõuavad usaldusväärsust, argument. 2026. aastal on selle taga numbrid: üle 90 protsendi õnnestumisi väikestel avatud mudelitel majapidamise planeerimisel, 4 miljardi parameetriga agent, mis võidab 27 miljardi parameetriga otsest poliitikat suure vahega, piirangud ja otsing, mis kumbki lahendavad üksinda alla kolmandiku ülesannetest ja koos üle 95 protsendi, ning ontoloogia põhjal loodud graafis on iga serv jälgitav oma allikani, võrreldes 83 protsendiga ekstraktitud graafis.

Nende numbrite juurde käivad tingimused ja tingimused on sama olulised kui tulemused. Suund on siiski selge. Kui tehisintellekti süsteem peab olema õige viisil, mida saab kontrollida, ei ole struktuur takistuseks võimekusele. See on üks selle allikaid.

Miks võrdlusaluse ülesehitus loeb sama palju kui tulemus

Mõlemas artiklis peitub laiem metoodiline õppetund, mis väärib lühikest märkust, sest see puudutab seda, kuidas kogu valdkond peaks hindama süsteeme, mis väidavad end olevat usaldusväärsed.

Mõlemad artiklid mõõdavad midagi muud kui ladusust. Kehastatud agendi artikkel mõõdab õnnestumist: kas majapidamisülesanne sai keskkonnas tehtud? GraphRAGi artikkel mõõdab päritolu: kas iga serv ja iga viide on jälgitav autoriteetse kirjeni? Kumbki ei tugine peamiselt sellele, kas vastus on hästi loetav või vastab võrdlustekstile. See on oluline, sest suur osa tehisintellekti hindamisest premeerib endiselt pinnapealset kvaliteeti. Tööde suund "Why Neighborhoods Matter" ja sellega seotud hindamisuuringud on sama punkti välja toonud teisest küljest: sõnaline kattuvus võrdlusvastusega võib olla suur, samal ajal kui tõendus vastuse taga puudub.

Organisatsioonidele, kes hindavad tehisintellekti süsteeme oluliste otsuste jaoks, on õppetund järgmine: küsige, mida võrdlusalus mõõdab, enne kui küsite, millise skoori süsteem saavutas. Süsteem, mis saab hea skoori ladususpõhisel võrdlusalusel, võib siiski koostada plaane, mis ei käivitu, või vastuseid, mille viited ei vii kuhugi. Süsteem, mis saab hea skoori käivitatavusel või päritolul, on tõestanud midagi, mis on otsustajale lähemal sellele, mida ta vajab. Soovime näha rohkem hankehindamisi, mis on üles ehitatud nii nagu need kaks artiklit: ülesandega, mis kas õnnestub või ebaõnnestub kontrollitaval viisil, ja auditiga selle kohta, kust iga vastuse tõendus pärineb.

Allikad