Nevrosimbolično, leto pozneje: kaj v resnici kažejo raziskave iz leta 2026
Pred letom dni je bila trditev večinoma le trditev
Novembra 2025 smo objavili esej »The neuro-symbolic renaissance«, v katerem smo zagovarjali, da najkoristnejši sistemi umetne inteligence v prihodnjih letih ne bodo zgolj večji jezikovni modeli. Združevali bodo naučene modele, ki so dobri pri zaznavanju, jeziku in vzorcih, z eksplicitno simbolno strukturo, ki je dobra pri pravilih, omejitvah, izvoru podatkov in dokazovanju. To trditev smo postavili iz prvih načel in iz lastnih inženirskih izkušenj, saj je Dweve tako zgrajen: Loom, naš pogonski motor za sklepanje, usmerja delo po 528 specializantih, med katerimi so mnogi simbolni reševalniki, preverjevalniki in motorji pravil namesto nevronskih mrež, odgovor, ki ga vrne, pa nosi sled, kateri deli so opravili kaj.
Trditev iz prvih načel je razumno izhodišče. Ni pa dokaz. Zato je po letu dni vredno vprašati, kaj kažejo zdaj objavljene raziskave. Ne sporočila za javnost in ne splošno navdušenje nad besedo »nevrosimbolno«, ki je postala tako modna, da jo pripisujejo skoraj vsemu. Konkretni, izmerjeni rezultati.
Posebej uporabna sta dva članka iz leta 2026, ker neposredno preizkušata osrednje trditve in poročata številke, ki jih je mogoče preveriti. Prvi se ukvarja z agenti, ki morajo delovati v svetu: ali dodajanje simbolnih omejitev in iskanja jezikovnemu modelu naredi njegove načrte izvedljive? Drugi se ukvarja z odgovarjanjem na vprašanja o znanju: ali deterministična gradnja strukture znanja iz verodostojnih virov, namesto da bi jo izluščil jezikovni model, naredi odgovore bolj sledljive? Oba odgovarjata pritrdilno, z veliko razliko. In oba sta previdna glede tega, česa nista pokazala, kar je vsaj tako poučno kot to, kar sta.
Verjetno ni isto kot izvedljivo
Prvi članek, »Neurosymbolic Embodied Agents« avtorjev Albinhassan, Feng, Russo in Madhyastha, objavljen na arXiv avgusta 2026, izhaja iz opažanja, ki ga bo prepoznal vsak, ki je poskusil jezikovni model uporabiti kot načrtovalnik. Jezikovni in vizualno-jezikovni modeli, pravi povzetek, »ustvarijo verjetne utelešene načrte, ne zagotavljajo pa izvedljivosti, saj lahko njihovi izhodi kršijo dinamiko okolja ali delujejo na nepravilno utemeljenih entitetah.«
Razlika med verjetnim in izvedljivim je ves problem v enem stavku. Model, ki ga prosimo, naj v simulirani kuhinji skuha čaj, bo ustvaril zaporedje korakov, ki se dobro bere: pojdi v kuhinjo, primi kotliček, ga napolni, ga prižgi. Lahko pa poskusi prijeti kotliček, ki ga ni, ali napolniti kotliček, ki je v zaprti omari, ali nalivati iz kotlička, ki ni zavrel. Vsak korak je verjeten. Načrt kot celota spodleti, ker model ne spremlja stanja sveta in pravil, kako dejanja to stanje spreminjajo.
Agent iz članka razdeli dolgoročne gospodinjske naloge v dve fazi. V prvi vizualno-jezikovni model in ogrodje za raziskovanje pridobita predikate, pomembne za cilj, in vezave instanc iz egocentričnih opažanj in utemeljenih interakcij, kar ustvari simbolni opis začetnega stanja: ta kotliček je tukaj, ta omara je zaprta, ta skodelica je prazna. V drugi model prehodov PDDL, formalni opis tega, katera dejanja so uporabna v katerih stanjih in kaj spreminjajo, »omeji dekodiranje na žetone, ki razširijo uporabna dejanja.« Jezikovni model lahko ustvari le dejanja, za katera simbolni model pravi, da so mogoča. Iskanje po Monte Carlo drevesu nato ovrednoti izvedljiva nadaljevanja z uporabo hevristike načrtovanja, neodvisne od domene.
Posledica je, po besedah avtorjev, da so »nastali načrti izvedljivi po konstrukciji znotraj modela prehodov, pri čemer je prenos v okolje pogojen s pravilnim vizualnim utemeljevanjem.« Ta zadnji del je pomemben in nanj se vrnemo spodaj.
Majhni omejeni modeli premagajo velikega neomejenega
Rezultati so osupljivi. Na dveh standardnih merilih za gospodinjska opravila, VirtualHome in ALFWorld, povzetek poroča, da "modeli od 4B do 27B presegajo 90-odstotno uspešnost v obeh okoljih, naš najmanjši agent pa v vsakem od njiju bistveno prekaša neposredno vizualno politiko s 27B." V rezultatih članka se stopnje uspešnosti gibljejo od 94,5 do 99,5 odstotka na VirtualHome in od 90,3 do 97,8 odstotka na ALFWorld glede na velikost modela. Agent s 4 milijardami parametrov prekaša neposredno vizualno politiko s 27 milijardami parametrov za 32,0 odstotne točke na enem merilu in za 63,4 na drugem.
Ta drugi rezultat si zasluži počasno branje. Model, približno sedemkrat manjši, ki dobi izrecno strukturo o svetu in postopek iskanja po izvedljivih dejanjih, se odreže dramatično bolje od veliko večjega modela, ki naj deluje neposredno. Razlika ni v obrobnem uravnavanju. To je razlika med sistemom, ki večinoma deluje, in sistemom, ki večinoma ne deluje.
Za vsakogar, ki ga skrbijo stroški, poraba energije in nadzorljivost sistemov umetne inteligence, je to pomembno. Majhen odprt model lahko teče na skromni strojni opremi, mogoče ga je pregledati, pripeti na določeno različico in gostiti, kjer koli se upravljavec odloči. Če dodajanje strukture omogoči takemu modelu, da prekaša velikega pri opravilih, ki zahtevajo zanesljivo delovanje, potem postaneta argumenta suverenosti in učinkovitosti za majhne modele veliko močnejša. Velikost ni edina pot do zmogljivosti. Struktura je druga.
Omejitve in iskanje se dopolnjujeta, nista zamenljiva
Najbolj zanimiva ugotovitev je za nas ablacija. Avtorji so omejitve in iskanje preizkusili ločeno. V ALFWorld vsaka sama "reši manj kot tretjino opravil, medtem ko njuna kombinacija reši več kot 95 %." Podrobne številke so 32,3 odstotka za omejitve same in 29,2 odstotka za iskanje samo, proti 95,5 odstotka v kombinaciji.
Tega rezultata preprosta zgodba o nevrosimbolni umetni inteligenci ne bi napovedala. Človek bi pričakoval, da bodo omejitve, ker preprečujejo neveljavna dejanja, opravile večino dela, iskanje pa bo dodalo malo. Ali pa, da bo iskanje z raziskovanjem številnih poti našlo dobre načrte, omejitve pa ga bodo le pospešile. Namesto tega vsaka sama po sebi odpove pri večini opravil, skupaj pa uspeta pri skoraj vseh.
Intuicijo je lahko obnoviti. Omejitve brez iskanja zagotavljajo, da je vsak korak veljaven, ne storijo pa ničesar, da bi zaporedje veljavnih korakov doseglo cilj. Model lahko v nedogled tava po kuhinji in izvaja povsem dovoljena dejanja. Iskanje brez omejitev raziskuje številna nadaljevanja, a večina med njimi vsebuje neveljavna dejanja, zato v iskalnem prostoru prevladujejo načrti, ki bodo propadli, in hevristika ima le malo oprijemljivega. Omejitve skupaj z iskanjem prostor skrčijo na veljavne načrte, iskanje pa med njimi najde dobre.
Ta komplementarnost je po našem mnenju najmočnejša empirična podpora doslej za arhitekturno trditev, ki smo jo postavili pred letom dni. Vrednost ni v tem, da bi na nevronski modul pripeli simbolni modul. Je v določeni delitvi dela, pri kateri vsak del počne tisto, v čemer je dober, in nadomešča slabost drugega.
Manj žetonov in napake, ki kažejo nekam
Dva nadaljnja izsledka iz članka zlahka spregledamo, a si zaslužita pozornost.
Prvi je učinkovitost. Povzetek navaja, da metoda "porabi nekajkrat manj ustvarjenih žetonov kot razširjeno razmišljanje in precej manj modelu vidnih slik kot neposredna interakcija". V članku je zmanjšanje števila žetonov glede na razširjeno razmišljanje navedeno kot do štirikratno. Razširjeno razmišljanje, pri katerem model pred delovanjem izpiše dolge verige sklepanja, je glavna alternativna strategija za izboljšanje zanesljivosti načrtov modela. Do neke mere deluje, a je drago: vsak žeton za razmišljanje se izračuna in se pri gostovanih storitvah plača. Metoda, ki dosega boljše rezultate z delčkom žetonov, je boljša tako glede stroškov in energije kot glede uspeha.
Drugi je diagnostika. Povzetek ugotavlja, da se "preostale napake lokalizirajo na pridobivanje stanja in ne na ustvarjanje načrta, brez kakršnega koli specializiranega usposabljanja". Ko agent odpove, odpove zato, ker je bila njegova slika sveta napačna, ne zato, ker bi slabo načrtoval glede na to sliko. Prav to bi pričakovali od sistema, katerega načrti so izvedljivi po konstrukciji. Pove pa tudi inženirju, kje naj dela naprej. V celovitem nevronskem sistemu je napaka pogosto razpršena lastnost celotnega modela in edino zdravilo so dodatni podatki ali večji model. V razčlenjenem sistemu ima napaka naslov.
Menimo, da je diagnostičnost v raziskavah umetne inteligence podcenjena. Sistem, ki se redkeje kvari, je dober. Sistem, pri katerem je mogoče napake locirati, pojasniti in odpraviti, je boljši, saj ga je mogoče premišljeno izboljševati in ker je njegovemu delovanju mogoče zaupati v primerih, ko je znano, da so njegove komponente zanesljive.
Enak vzorec se pojavlja pri odgovarjanju na vprašanja
Drugi članek obravnava drugačen problem, a z osupljivo podobnim rezultatom. Članek »Ontology-guided neuro-symbolic GraphRAG for grounded query answering« avtorjev Domenica Benfenatija in Antonia Marie Rinaldija z Univerze v Neaplju Federico II je bil objavljen v reviji Neural Computing and Applications oktobra 2026. Raziskuje odgovarjanje na vprašanja o znanju s področja kibernetske varnosti: ranljivostih, slabostih, vzorcih napadov in prizadetih izdelkih, pridobljenih iz javnih repozitorijev, kot so CVE, CWE, CAPEC in CPE.
Primerjava je med dvema načinoma gradnje grafa znanja, na katerega se opira jezikovni model pri odgovarjanju na vprašanja. Pri široko uporabljenem pristopu GraphRAG jezikovni model bere nestrukturirano besedilo ter iz njega izlušči entitete, razmerja in povzetke skupnosti, ki nato služijo kot podlaga za iskanje. Pri pristopu avtorjev je graf zgrajen od zgoraj navzdol iz verodostojnih repozitorijev, s ciljnim pajkanjem, poenotenjem shem, ki ga vodi ontologija, in simbolnim sklepanjem na podlagi pravil, kot sta tranzitivno veriženje in večstopenjski vpliv na izdelek. Sama ontologija izhaja iz strukture področja resničnih repozitorijev, ne pa da bi jo sintetiziral model. Jezikovni model nato prejme dokaze iz tega grafa, in sicer v tem, kar avtorji opisujejo kot strogo enosmeren tok: simbolna podlaga je »popolnoma deterministična, ohranja provenienco in jo je mogoče neodvisno pregledati«.
Revizija provenience je najbolj razkrivajoč poskus. V ontologijsko vodenem grafu je bilo 100 odstotkov vzorčenih povezav mogoče izslediti do verodostojnih izvornih zapisov ali deklariranih pravil sklepanja. V grafu, ki ga je izluščil jezikovni model, je bilo izsledljivih 83 odstotkov povezav, le 58 odstotkov pa jih je povezovalo končne točke s kanoničnimi identifikatorji. Razlika se prenese tudi na odgovore: ontologijsko vodeni sistem je dosegel 95-odstotno natančnost citiranja, v primerjavi s 66 odstotki pri izhodiščnem pristopu GraphRAG.
Strukturna razlaga avtorjev je najpomembnejši del. Pri pristopu GraphRAG, kjer graf izlušči jezikovni model, odgovori temeljijo na povzetkih, ki jih napiše ista vrsta modela, kot je tista, ki ustvari odgovor, zato se veriga provenience ustavi pri nevronskem posredniku, namesto da bi dosegla verodostojni zapis. Citiranje povzetka, ki ga je napisal model, je citiranje interpretacije. Citiranje izvornega zapisa prek povezav, od katerih je vsaka izsledljiva do tega zapisa ali do deklariranega pravila, pa je citiranje dokazov.
Citati niso vsa provenienca
Tretji, manjši članek iz leta 2026 doda koristno zapletanje. "Why Neighborhoods Matter: Traversal Context and Provenance in Agentic GraphRAG", objavljen na arXiv maja 2026, preučuje sisteme, v katerih agent pred odgovorom razišče graf znanja in nato citira majhen nabor entitet. Sprašuje se, ali so končni citati dovolj za pojasnitev dokazov, od katerih je bil odgovor odvisen.
Ugotovitev je, da niso. Citirane entitete so običajno pomembne: če jih odstranimo, se odgovori bistveno spremenijo in natančnost pade. Toda poskusi kažejo, da je natančno odgovarjanje odvisno tudi od prehajanja grafa, strukture soseščine in entitet, ki jih je agent obiskal, a jih ni citiral. Avtorji sklenejo, da bi moralo zvesto citiranje "upoštevati tudi kontekst grafa in pot iskanja, ki oblikujeta končni odgovor."
Ta ugotovitev zaostri nauk članka Benfenatija in Rinaldija. Determinističen, sledljiv graf je nujen za odgovore, katerih dokaze je mogoče preveriti. Ni pa zadosten, če sistem zabeleži le tisto, kar citira, in ne tistega, kar je prebral. Provenienca mora vključevati pot, ne le cilja. To je, kot se izkaže, isti sklep, do katerega smo prišli z inženirske strani pri snovanju Knot: zapis agentovega delovanja mora vključevati vsako branje in vsak vmesni korak, ne le končnega izhoda, ker so koraki tisto, kar pojasnjuje izhod.
Česa rezultati ne pokažejo
Oba glavna članka sta skrbna glede svojih omejitev in te omejitve velja jasno navesti, ker navdušenje nad rezultatom rado izbriše njegove pogoje.
Rezultati utelešenih agentov so iz simulacije. VirtualHome in ALFWorld sta uveljavljena merila, a sta simulirana gospodinjska okolja z znano dinamiko. Garancija, da so načrti izvedljivi "po konstrukciji", velja v okviru modela prehodov, torej v okviru simbolnega opisa delovanja sveta. Če je ta opis napačen ali nepopoln, garancija ne velja. V resničnem svetu je pisanje popolnega in pravilnega modela prehodov težko, svet pa ima navado vključevati stvari, ki jih model ni predvidel.
Enaki rezultati so odvisni od pravilnega vizualnega umeščanja. Povzetek to izrecno navaja. Če faza raziskovanja napačno prepozna predmet ali ga spregleda, je simbolno stanje napačno in načrt, ki je ob napačnem stanju povsem izvedljiv, lahko v resnici spodleti. Ugotovitev članka, da se preostale napake lokalizirajo na pridobivanje stanja, je dobra novica za diagnostiko, obenem pa opozarja, da ostaja zaznava najtežji del.
Rezultati GraphRAG so iz enega področja, kibernetske varnosti, kjer obstajajo verodostojna strukturirana hranilišča s stabilnimi identifikatorji. Veliko področij ni takih. Kjer znanje pretežno živi v nestrukturiranih dokumentih brez kanoničnih identifikatorjev, materializacija od zgoraj navzdol ni mogoča in nekakšno izluščanje je neizogibno. Metoda iz članka kaže, kaj postane mogoče, ko dobri viri obstajajo. Ne kaže pa, kako jih ustvariti tam, kjer jih ni.
Pri oceni GraphRAG o pravilnosti odgovorov je bil kot sodnik uporabljen jezikovni model Gemini 2.5 Flash, in sicer na petnajstih vprašanjih na nalogo. To je razumna zasnova za raziskovalni članek, revizija provenience pa je neposrednejša meritev. Toda bralci naj številke o kakovosti odgovorov obravnavajo kot okvirne, ne kot dokončne, številke o provenienci pa kot trdnejši rezultat.
Nobena od teh omejitev ne spodkopava člankov. To so običajni pogoji dobrega raziskovanja. So pa pomembne za vsakogar, ki bi bil v skušnjavi, da bi "nevrosimbolično" bral kot splošno rešitev. Gre za sklop arhitekturnih odločitev, ki delujejo zelo dobro, kadar veljajo njihovi predpogoji: pravilen simbolni model področja, zanesljivo umeščanje zaznave v ta model in verodostojni viri znanja. Velik del praktičnega dela je v vzpostavljanju teh predpogojev.
Kaj se zgodi po prvi napaki
Stopnje uspešnosti povedo, kako pogosto sistem dokonča nalogo. Ne povedo pa, kako se obnaša, ko gre kaj narobe, kar je za vsakogar, ki mora sistem uvesti v uporabo, pogosto pomembnejše vprašanje. Članek o utelešenem agentu vsebuje dodatek, ki odgovarja na to, in je eden najbolj razkrivajočih delov raziskave.
Avtorji so merili, kaj so politike počele »po prvi neumestljivi ali neuspešni izvedbi«, in poročali, kako pogosto so naloge vsebovale tak dogodek, kako pogosto je politika nato nalogo rešila, kako pogosto je takoj ponovila neuspešno zahtevo in kako pogosto je zapadla v vztrajno zanko dejanj. Rezultati za neposredne vizualne politike, ki načrtujejo brez simbolnih omejitev, so presenetljivi.
V VirtualHome je neposredna politika Qwen 4B naletela na napako v 64,5 odstotka nalog. Nalogo je rešila v 5,4 odstotka teh primerov, takoj ponovila neuspešno zahtevo v 74,5 odstotka in končala v vztrajni zanki v 45,5 odstotka. V ALFWorld je isti model naletel na napako v 73,9 odstotka nalog, rešil v 1,0 odstotka in končal v vztrajni zanki v 94,8 odstotka. Največji neposredni model je bil uspešnejši, kot bi pričakovali: v VirtualHome je politika Qwen 27B naletela na napako v 29,0 odstotka nalog, rešila v 37,9 odstotka, ponovila zahtevo v 8,3 odstotka in zašla v zanko v 9,5 odstotka. V ALFWorld je tudi ta model rešil le 25,7 odstotka primerov.
Uvod članka pojasnjuje, zakaj se to dogaja. Neposredna politika mora prepoznati predmete, spremljati njihovo stanje, izbrati ustrezna dejanja in sklepati o odloženih učinkih »znotraj ene avtoregresivne zgodovine, kjer se ti učinki prosto kopičijo«. Avtorji ugotavljajo, da »povratna informacija o izvedbi lahko razkrije takšno napako, potem ko se zgodi, ne prepreči pa, da bi model ponovil neveljavno izbiro ali se oddaljil od stanja, ki so ga povzročila njegova lastna dejanja.«
Ta stavek opisuje vzorec, ki ga bo marsikdo prepoznal pri agentih zunaj laboratorija. Agent poskusi nekaj, kar spodleti, napaka se vrne nazaj in agent znova poskusi isto stvar ali nekaj enakovrednega. Povratna informacija je informacija, a informacija ne omejuje. Sistem, ki veljavnost dejanja obravnava kot nekaj, kar je treba sklepati, namesto da bi bilo vsiljeno, lahko izve, da je bilo narobe, ne da bi mu bilo preprečeno, da bi bilo znova narobe.
Omejeni pristop to spremeni tako, da uporabnost, kot se glasi besedilo v prispevku, naredi za »omejitev, ki se vzdržuje skozi celotno generiranje in iskanje«. Dejanje, katerega predpogoji niso izpolnjeni, nikoli ni ustvarjeno, zato ni česa ponoviti. To sistema ne naredi nezmotljivega. Napako premakne na drugo mesto.
Prispevek sam umesti svoje napake
Pošten prikaz rezultatov mora povedati, kje omejeni agent spodleti, in prispevek to stori. Njegov simbolni načrtovalnik lahko načrtuje le na podlagi stanja, ki ga prejme. Ko stopnja vizualnega raziskovanja spregleda zahtevani predmet, avtorji zapišejo: »napaka se nato širi, ker osnovno stanje, pridobljeno z osnovanjem, izpušča zahtevani predmet. To je omejitev komponente za pridobivanje vizualnega stanja, ne pa jamstva uporabnosti.«
Ta razlika je pomembna. Jamstvo, ki ga sistem ponuja, je ozko in močno: vsako dejanje, ki ga načrtuje, je uporabno v stanju, za katero meni, da je v njem. Ali to prepričanje ustreza svetu, je odvisno od zaznave, zaznavo pa še vedno opravlja nevronski model z vso negotovostjo, ki jo to prinaša. Avtorji pričakujejo, da se bodo »izboljšave pri vizualnem prepoznavanju in aktivnem izbiranju zornega kota neposredno prenesle na celotno metodo«, kar je razumno pričakovanje in tudi opomnik, da simbolni del ne more nadomestiti tega, česar nevronski del ne vidi.
Za ljudi, ki takšne sisteme vrednotijo, je nauk vprašati, kje se jamstvo konča. Nevrosimbolni sistem običajno ponuja gotovost glede enega dela postopka (načrt je veljaven, sklep izhaja iz pravil, odgovor podpira graf) in negotovost podeduje od delov, ki ga napajajo. Dober sistem to mejo naredi vidno. Zabeleži, kaj je zaznal, kaj je predpostavil in kaj je izpeljal, tako da lahko pregledovalec ugotovi, ali je napaka nastala pri sklepanju ali pri vhodu v sklepanje.
Zato je analiza napak, kakršna je v dodatku prispevka, tako dragocena. Če vemo, da sistem spodleti večinoma pri osnovanju in ne pri načrtovanju, to inženirju pove, kam naj usmeri sredstva, uvajalcu pa, kakšen nadzor je potreben. Človek, ki pregleduje delo omejenega agenta, bi moral preverjati njegovo sliko sveta, ne njegove aritmetike.
Študija prehajanja je majhna in to tudi pove
Tudi članek o kontekstu prehajanja je previden glede lastnih omejitev. Njegovi avtorji zapišejo, da je študija »omejena zaradi majhnega merila primerjave in zaradi uporabe nadzorovanega grafa znanja, zgrajenega iz 2WikiMultiHopQA, namesto velikega grafa znanja iz resničnega sveta.« Pozivajo k vrednotenju »na večjih naborih podatkov, bogatejših strukturah grafov in področno specifičnih bazah znanja« ter k mehanizmom citiranja, »ki razkrijejo ne le končne podporne entitete, ampak tudi ustrezen kontekst prehajanja.«
Ta odkritost je koristna. Ugotovitev, da so citati nujni, a ne zadostujejo za pojasnitev odgovora agenta, je verjetna in pomembna, vendar sloni na nadzorovanem okolju. Preden kdo na njej zgradi politiko, bi jo bilo treba reproducirati na takšnih grafih, kot jih uporabljajo resnični sistemi: podjetniške baze znanja, regulativni korpusi, katalogi izdelkov. Do takrat jo je najbolje brati kot dobro zasnovano opozorilo in ne kot dokončno meritev.
Opozorilo je vseeno vredno upoštevanja. Avtorji sklenejo, da je treba »izvor pri agentskem iskanju, ki temelji na grafih, obravnavati kot lastnost na ravni poti«. Za snovalce sistemov to pomeni beleženje poti, ne le cilja: katere entitete so bile obiskane, katere povezave so bile prehojene, katere sosede so bile videne in niso bile citirane. Seznam citatov je povzetek te poti. Kot vsak povzetek je lahko točen in vseeno izpusti nekaj, kar je bilo pomembno.
Beleženje poti ima praktično ceno in to je treba povedati. Zapisi o prehajanju so obsežnejši od seznamov citatov, lahko vsebujejo gradivo, ki uporabniku ni bilo nikoli prikazano, in zahtevajo enako skrb glede dostopa in hrambe kot vsak drug dnevnik. Toda alternativa je slabša. Ko je odgovor izpodbijan, lahko sistem, ki je obdržal le svoje citate, pokaže, na kaj je pokazal. Sistem, ki je obdržal svojo pot, lahko pokaže, kako je prišel tja, kar je vprašanje, ki ga bo pregledovalec dejansko zastavil. Pri agentskem iskanju bo ta razlika verjetno odločila, ali je pojasnilo sprejeto ali le tolerirano.
Starejša razprava o pojasnjevanju še vedno velja
Nič od tega ni novo po duhu. Razprava o pojasnjevanju v strojnem učenju poteka že leta in izsledki iz leta 2026 se vanjo vklapljajo, ne pa da bi jo nadomestili.
Leta 2017 sta Finale Doshi-Velez in Been Kim ugotovila, da "kljub zanimanju za razložljivost obstaja zelo malo soglasja o tem, kaj razložljivo strojno učenje je in kako naj se meri." Leta 2018 je Cynthia Rudin trdila, da "poskušanje razložiti modele črne škatle, namesto ustvarjanja modelov, ki so razložljivi že v osnovi, verjetno ohranja slabe prakse in lahko povzroči katastrofalno škodo družbi." Istega leta so Julius Adebayo in sodelavci pokazali, da so nekatere metode poudarjanja "neodvisne tako od modela kot od procesa generiranja podatkov", saj ustvarjajo podobna pojasnila ne glede na to, ali se je model česa naučil.
Izsledke omejenega načrtovanja in GraphRAG lahko beremo kot dokaz za Rudinino stališče v novem okolju. Ko je načrt ustvarjen s preiskovanjem eksplicitnih pravil, je njegova veljavnost lastnost tega, kako je bil narejen, in pojasnilo, zakaj je bilo dejanje izbrano, je mogoče prebrati iz preiskovanja. Ko je odgovor ustvarjen s prehajanjem grafa, je njegov izvor lastnost prehajanja, če je prehajanje zabeleženo. V obeh primerih pojasnilo ni interpretacija prvega modela s strani drugega modela. Je zapis o tem, kaj je storil prvi.
Kar prinesejo izidi iz leta 2026, je dokaz, da je tovrstni sistem lahko tudi uspešen. Stari pomislek proti razložljivim pristopom je bil, da zmanjšujejo natančnost. Izidi, kakršni so ti, pri katerih majhni omejeni modeli na strukturiranih nalogah prekašajo večje neomejene, tega vprašanja na splošno ne razrešijo. Kažejo pa, da pri nalogah z izrecnimi pravili in preverljivimi izidi kompromis ni tak, kot so ljudje domnevali.
Daljše razmišljanje ni pomagalo, lahka meritev pa to prikrije
Abliacija komponent v prispevku o utelešenem agentu vsebuje še dve podrobnosti, ki si zaslužita pozornost, saj nasprotujeta splošnim domnevam.
Prva se nanaša na podaljšano sklepanje. Pri modelu Qwen s 27B je navadno požrešno dekodiranje doseglo 61,0 odstotka uspešnosti v VirtualHome in 15,4 odstotka v ALFWorld. Isti model v načinu razmišljanja, s proračunom do 32.768 izhodnih žetonov glede na nastavitve dekodiranja v prispevku, je dosegel 59,0 in 16,9 odstotka. Če modelu omogočimo, da razmišlja veliko dlje, to ni prineslo bistvene razlike. Dodajanje omejitev uporabnosti požrešnemu dekodiranju pa je, nasprotno, dvignilo uspešnost v VirtualHome s 61,0 na 98,5 odstotka. Po besedah avtorjev to kaže, da "omejitve uporabnosti prispevajo večino izboljšanja".
To je koristen popravek predstave, da so dodatni žetoni za sklepanje splošno zdravilo za napake pri načrtovanju. Ko je napaka v tem, da izberemo dejanje, katerega predpogoji niso izpolnjeni, dodatno notranje premislekanje tega zanesljivo ne prepreči. Pravilo, ki takšna dejanja naredi nemogoča, pa jih.
Druga podrobnost se nanaša na težavnost meritve. V VirtualHome je neomejeno iskanje samo doseglo 99,0 odstotka, enako kot celotna metoda, čeprav avtorji ugotavljajo, da je to storilo "ob višjih stroških generiranja", prikazanih na njihovih slikah. Bralec, ki bi gledal le VirtualHome, bi lahko sklepal, da je iskanje vse, kar potrebujemo. ALFWorld kaže drugače: omejitve same so dosegle 32,3 odstotka, neomejeno iskanje 29,2 odstotka, kombinacija pa 95,5 odstotka. Avtorji večjo razliko pripisujejo težjemu problemu načrtovanja. Uspešni načrti modela s 27B so v povprečju obsegali 8,0 dejanj na visoki ravni v ALFWorld in 6,4 v VirtualHome, z največjima vrednostma 30 in osem, ALFWorld pa "na vsaki stopnji uvede več vezav primerkov in posod."
Splošni nauk je, da lahko lahka meritev naredi dva različna načrta videti enakovredna. Šele ko problem postane dovolj dolg in dovolj omejen, se razlike pokažejo. Kdor primerja arhitekture agentov, bi jih moral preizkusiti na nalogah, ki so vsaj tako dolge in tako strogo omejene kot tiste, ki jih namerava uvajati, ne pa na najkrajših razpoložljivih nalogah.
Poskusi so po zasnovi ponovljivi
Omeniti velja še eno značilnost prispevka, ker se povezuje s temo drugje v tej seriji. Avtorji v celoti objavijo svoje nastavitve dekodiranja. Omejene faze Qwen tečejo pri temperaturi 0,0. Kjer se uporablja vzorčenje jedra, pri dodatnih poskusih razmišljanja in utelešenih izhodiščih, se vrednotenja ponovijo s tremi imenovanimi semeni: 0, 42 in 1738. Iskanje je omejeno na 250 sekund na nalogo, prispevek pa navaja, da so bili njegovi hiperparametri iskanja "izbrani empirično".
Prav te podrobnosti omogočajo, da je izid preverljiv. Bralec, ki želi delo ponoviti, ve, katere nastavitve uporabiti, koliko ponovitev narediti in kakšno odstopanje pričakovati. Hkrati razkrijejo meje: empirično izbrane hiperparametre bo morda treba znova prilagoditi v drugih okoljih, časovna omejitev pa pomeni, da nekatere naloge lahko spodletijo zaradi pomanjkanja časa in ne zaradi pomanjkanja načrta. Navesti oboje je dobra praksa. To je merilo, ki bi mu po našem mnenju moral zadostiti vsak objavljen izid, tudi naš. Izid, ki ga ni mogoče znova izvesti, je lahko še vedno zanimiv, a nanj se še ni mogoče zanesti, razlika pa je najpomembnejša takrat, ko se izid uporabi za utemeljitev načrta.
Beseda postaja oznaka, zato potrebuje preizkus
Uspeh prinaša posnemanje, zato se izraz »nevrosimbolično« zdaj pripisuje sistemom, ki imajo z arhitekturami v teh prispevkih malo skupnega. Jezikovni model z navodilom »razmišljaj korak za korakom« se včasih imenuje nevrosimboličen. Prav tako model, ki kliče kalkulator, klepetalni robot s pogovorom po pravilih ali sistem za iskanje po dokumentih, ki uporablja zbirko podatkov. Vsak od njih združuje nekaj nevronskega z nečim, kar to ni, in beseda izgubi pomen, če zajema vse našteto.
Zdi se nam koristno uporabiti preprost preizkus, ki izhaja iz tega, zaradi česar so rezultati iz leta 2026 delovali. Sistem si besedo zasluži, ko njegov simbolni del omejuje ali preverja nevronski del tako, da to spremeni, kaj lahko sistem izpiše, in ko je to omejitev mogoče pregledati.
V prispevku o utelešenem agentu model prehodov PDDL omejuje dekodiranje na izvedljiva dejanja. Jezikovni model dobesedno ne more ustvariti neveljavnega dejanja. To je omejitev, ki spremeni prostor izhodov, in model prehodov lahko prebere vsakdo. V prispevku o GraphRAG je graf znanja zgrajen po deklariranih pravilih iz verodostojnih zapisov, jezikovni model pa prejme dokaze le iz tega grafa. Izvor vsake povezave je mogoče preveriti. Oba sistema preizkus opravita.
Navodilo, ki model prosi, naj skrbno sklepa, preizkusa ne opravi. Izboljša lahko izhode, a jih ne omejuje, in v njem ni ničesar, kar bi bilo mogoče pregledati, da bi videli, kaj model sme reči. Model, ki sme poklicati kalkulator, opravi preizkus le delno: rezultat kalkulatorja je natančen, a model se odloči, ali ga bo poklical in kaj bo z rezultatom storil, in nič mu ne preprečuje, da bi rezultat prezrl ali račun izvedel sam. Preizkus ne meri čistosti. Meri, od kod prihajajo jamstva.
Vprašanja za sistem, ki si prisvaja to besedo
Za organizacije, ki ocenjujejo sisteme, opisane kot nevrosimbolične, se preizkus prevede v nekaj konkretnih vprašanj.
Kaj simbolni del preprečuje? Koristen odgovor poimenuje razred izhodov, ki jih sistem ne more ustvariti, na primer neveljavna dejanja, nepodprte trditve ali kršitve pravil, in pojasni mehanizem. Odgovor, da simbolni del model »usmerja« ali »informira«, ne da bi poimenoval, kaj preprečuje, je znak, da je jamstvo mehko.
Ali je simbolni del mogoče brati? Pravila, omejitve, ontologije in modeli prehodov bi morali biti na voljo v pregled ljudem, ki se na sistem zanašajo, vsaj v obliki, ki je pomembna za njihove odločitve. Če je simbolna plast sama naučena in nepregledna komponenta, ne daje takega jamstva, zaradi katerega so nevrosimbolične zasnove dragocene.
Kje se izvor konča? Pri vsakem odgovoru sledite navedbam. Vodijo do verodostojnih izvornih zapisov po sledljivih korakih ali do vmesnih besedil, ki jih je napisal model? Revizija izvora pri GraphRAG je predloga za ta pregled.
Kje so napake? Zahtevajte razčlenitev primerov napak po komponentah. Dobro razčlenjen sistem bi moral znati povedati, ali njegove napake izhajajo iz zaznave, utemeljitve, iskanja po dokumentih, sklepanja ali ustvarjanja. Sistem, ki tega ne zna povedati, bodisi ni razčlenjen bodisi ni izmerjen.
Kaj se zabeleži? Vprašajte, ali sistem zabeleži pot, ki jo je ubral, vključno s tem, kaj je prebral in katere komponente so prispevale, ne le končnega odgovora. Ugotovitve o agentskem GraphRAG kažejo, zakaj je to pomembno.
Za nobeno od teh vprašanj ni potrebno globoko strokovno znanje. Vsa ločijo arhitekture, ki dajejo preverljiva jamstva, od sistemov, ki uporabljajo besednjak.
Zakaj je to pomembno za razlago in nadzor
Ti rezultati imajo tudi regulativno razsežnost, ki jo velja izpostaviti, saj povezuje raziskovalno arhitekturo z obveznostmi, ki bodo veljale za številne organizacije.
Akt o umetni inteligenci zahteva veliko pojasnjevanja. Člen 13 zahteva, da so sistemi z visokim tveganjem zasnovani tako, da lahko uporabniki razložijo njihov izhod in ga ustrezno uporabijo. Člen 14 zahteva, da osebe, zadolžene za nadzor, lahko pravilno razložijo izhod sistema in se odločijo, da ga ne bodo upoštevale, da ga bodo razveljavile ali obrnile. Člen 86 daje prizadetim osebam pravico do jasnih in smiselnih pojasnil o vlogi sistema umetne inteligence pri določenih odločitvah. Te obveznosti veljajo za sisteme z visokim tveganjem od decembra 2027 ali avgusta 2028, skladno z Digitalnim omnibusom, vendar se oblikovne odločitve, ki jih delajo uresničljive, sprejemajo zdaj.
Faktoriziran, nevrosimbolični sistem je veliko lažje razložiti kot model od začetka do konca, in sicer prav zaradi razlogov, ki jih dokazujejo članki iz leta 2026. Ko je načrt izvedljiv po konstrukciji v okviru prehodnega modela, je pojasnilo, zakaj je bil korak dovoljen, sklicevanje na pravilo, ki ga je dovolilo. Ko odgovor navaja povezave, ki jih je mogoče izslediti do verodostojnih zapisov, je pojasnilo, zakaj je bila trditev podana, veriga zapisov. Ko se napake lokalizirajo na komponento, pojasnilo, zakaj je sistem napačen, poimenuje komponento. Vsako pojasnilo je izjava o nečem, kar obstaja in kar je mogoče pregledati, ne pa naknadna racionalizacija nevronskega izračuna.
To pojasnjevanja ne naredi trivialnega. Nekdo mora še vedno prevesti pravila in zapise v jezik, ki ga prizadeta oseba lahko razume. Vendar to spremeni naravo naloge iz rekonstrukcije v predstavitev. Rekonstrukcija sprašuje »kaj je morda povzročilo ta izhod?« in lahko ponudi le hipoteze. Predstavitev sprašuje »kako pokažemo pravila in zapise, ki so ustvarili ta izhod?« in lahko ponudi dokaze. Za nadzor in za pravico do pojasnila je ta razlika odločilna.
To je tudi razlog, da menimo, da bi morali rezultati glede učinkovitosti zanimati tako regulatorje kot inženirje. Majhen, omejen model, ki je cenejši za izvajanje, je tudi model, ki je cenejši za revizijo: lahko ga gostimo tam, kjer ga revizor doseže, ga za čas preiskave pripnemo na različico in ga deterministično ponovimo na istih vhodih. Argumenti suverenosti, energije in odgovornosti za strukturirane majhne sisteme so pravzaprav isti argument, viden s treh strani.
Kaj iz tega potegnemo
Za naše lastno delo rezultati iz leta 2026 potrjujejo tri oblikovne odločitve in izostrijo četrto.
Potrjujejo, da lahko majhni modeli s strukturo prekašajo velike modele brez nje pri nalogah, ki zahtevajo zanesljivost. To je premisa za usmerjanje v Loom prek 528 specialistov: na večino vprašanj najbolje odgovori pravi specialist, pogosto majhen model ali simbolični reševalnik, ne pa največji razpoložljivi model. Ablacija utelešenega agenta je najjasnejši objavljeni dokaz, ki ga poznamo, da ta premisa drži za načrtovanje.
Potrjujejo, da je treba znanje graditi iz verodostojnih virov z deklariranimi pravili in ga citirati po viru. Dwevejeva plast znanja citira vsak kos znanja, uporabljen v odgovoru, po vozlišču in zgoščeni vrednosti različice, tako da lahko pregledovalec sledi citatu do natančnega zapisa in različice. Revizija izvora GraphRAG pokaže, kaj se izgubi, ko se ta veriga ustavi pri posredniku, ki ga je napisal model.
Potrjujejo, da je beleženje poti enako pomembno kot beleženje odgovora. Ugotovitev članka o agentnem GraphRAG o obiskanih, a necitiranih entitetah je natanko razlog, da Knot beleži branja in vmesne korake, in razlog, da Loomova sled pokaže, kateri specialisti so prispevali.
In ostrijo našo pozornost na utemeljevanje. Oba članka preostale pomanjkljivosti umeščata na točko, kjer se svet oziroma vir prevede v simbolno predstavitev. To je meja, kjer nevronsko zaznavanje preda delo simbolnemu sklepanju, in prav tu bi se moralo osredotočiti preverjanje. Simbolna plast, ki brezhibno sklepa na podlagi napačnega stanja, ustvari samozavesten napačen odgovor. Inženirsko vprašanje za prihodnje leto je, kako to mejo narediti enako preverljivo, kot sta plasti na obeh straneh nje.
Renesansa, z številkami
Pred letom dni je bila trditev, da bodo nevrosimbolni sistemi na nalogah, ki zahtevajo zanesljivost, prekašali čiste jezikovne modele, argument. V letu 2026 ima številke: več kot 90 odstotkov uspeha majhnih odprtih modelov pri načrtovanju gospodinjskih opravil, agent s 4 milijardami parametrov, ki z veliko prednostjo premaga neposredno politiko s 27 milijardami parametrov, omejitve in iskanje, ki vsak zase rešita manj kot tretjino nalog, skupaj pa več kot 95 odstotkov, in vsaka povezava v grafu, zgrajenem iz ontologije, sledljiva do svojega vira, v primerjavi s 83 odstotki pri izluščenem grafu.
Te številke imajo pogoje in pogoji so enako pomembni kot rezultati. A smer je jasna. Ko mora biti sistem umetne inteligence pravilen na načine, ki jih je mogoče preveriti, struktura ni ovira za zmogljivost. Je eden od njenih virov.
Zakaj je zasnova merila enako pomembna kot rezultat
V obeh člankih je širša metodološka lekcija, ki si zasluži kratko opombo, saj vpliva na to, kako bi morala celotna stroka ocenjevati sisteme, ki trdijo, da so zanesljivi.
Oba članka merita nekaj drugega kot tekočnost. Članek o utelešenem agentu meri uspeh: ali je bilo gospodinjsko opravilo v okolju opravljeno? Članek o GraphRAG meri izvor: ali je mogoče vsako povezavo in vsak citat izslediti do verodostojnega zapisa? Noben se ne opira predvsem na to, ali se odgovor dobro bere ali ujema z referenčnim besedilom. To je pomembno, saj velik del ocenjevanja umetne inteligence še vedno nagrajuje površinsko kakovost. Delo v okviru smeri »Why Neighborhoods Matter« in sorodne raziskave o ocenjevanju so isto poanto izpostavile z druge strani: leksikalno ujemanje z referenčnim odgovorom je lahko veliko, medtem ko dokazov za odgovor ni.
Za organizacije, ki ocenjujejo sisteme umetne inteligence za pomembne odločitve, je lekcija ta, da najprej vprašajo, kaj merilo meri, šele nato, kakšen rezultat je sistem dosegel. Sistem, ki dosega dobre rezultate na merilu, temelječem na tekočnosti, lahko še vedno ustvari načrte, ki se ne izvedejo, ali odgovore, katerih citati nikamor ne vodijo. Sistem, ki dosega dobre rezultate pri izvedljivosti ali izvoru, je dokazal nekaj bližje temu, kar odločevalec potrebuje. Radi bi videli več ocenjevanj pri nabavi, zasnovanih tako kot ta dva članka: z nalogo, ki uspe ali ne uspe na preverljiv način, in s presojo, od kod izhajajo dokazi za vsak odgovor.
Viri
- Neurosymbolic Embodied Agents, Albinhassan, Feng, Russo in Madhyastha, arXiv, avgust 2026. Uporabljeno za citirani povzetek, dvofazno metodo, ablacijo komponent (preglednica 2), nastavitve dekodiranja (preglednica 3), slike odzivov na napake (preglednica 10), stopnje uspešnosti na VirtualHome in ALFWorld, primerjavo z neposredno politiko 27B, ablacijo omejitev in iskanja, učinkovitost žetonov ter lokalizacijo napak.
- Ontology-guided neuro-symbolic GraphRAG for grounded query answering, Domenico Benfenati in Antonio Maria Rinaldi, Neural Computing and Applications, 2026. Uporabljeno za metodo gradnje, revizijo izvora, natančnost citiranja in zasnovo vrednotenja.
- Why Neighborhoods Matter: Traversal Context and Provenance in Agentic GraphRAG, arXiv, maj 2026. Uporabljeno za ugotovitev, da končni citati ne zajemajo celotne dokazne podlage agentskih odgovorov, in za navedene omejitve študije.
- Article 13: Transparency and provision of information to deployers, Evropska komisija, AI Act Service Desk. Uporabljeno za zahtevo po razložljivosti pri sistemih z visokim tveganjem.
- Article 14: Human oversight, Evropska komisija, AI Act Service Desk. Uporabljeno za zmogljivosti nadzora.
- Article 86: Right to explanation of individual decision-making, Evropska komisija, AI Act Service Desk. Uporabljeno za pravico do razlage.
- Towards A Rigorous Science of Interpretable Machine Learning, Finale Doshi-Velez in Been Kim, arXiv, 2017. Uporabljeno za citirano ugotovitev o pomanjkanju soglasja glede razložljivosti.
- Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead, Cynthia Rudin, arXiv, 2018. Uporabljeno za citirani argument za inherentno razložljive modele.
- Sanity Checks for Saliency Maps, Julius Adebayo in drugi, arXiv, 2018. Uporabljeno za citirano ugotovitev, da so nekatere metode pomembnosti neodvisne od modela in podatkov.