Dweve

Neurosimbolinis metodas po metų: ką iš tikrųjų rodo 2026 m. tyrimai

Prieš metus teigėme, kad kitas dirbtinio intelekto žingsnis bus išmoktų modelių ir aiškios struktūros derinys. 2026 metų tyrimai dabar tą teiginį pagrindžia...

Neurosimbolinis metodas po metų: ką iš tikrųjų rodo 2026 m. tyrimai

Prieš metus tai tebuvo argumentas

2025 m. lapkritį paskelbėme esė „The neuro-symbolic renaissance“, kurioje teigėme, kad naudingiausios dirbtinio intelekto sistemos artimiausiais metais nebus vien didesni kalbos modeliai. Jos kurs mokytus modelius, kurie gerai atpažįsta, supranta kalbą ir dėsningumus, su aiškia simboline struktūra, kuri gerai valdo taisykles, apribojimus, kilmės duomenis ir įrodymus. Šį argumentą grindėme pirminiais principais ir savo inžinerine patirtimi, nes taip ir sukurta Dweve: Loom, mūsų samprotavimo variklis, paskirsto darbą 528 specialistams, iš kurių daugelis yra simboliniai sprendėjai, tikrintuvai ir taisyklių varikliai, o ne neuroniniai tinklai, o grąžintas atsakymas neša pėdsaką, kuri dalis ką atliko.

Argumentas, grįstas pirminiais principais, yra pagrįstas atspirties taškas. Tai nėra įrodymas. Todėl verta paklausti po metų, ką dabar rodo paskelbti tyrimai. Ne pranešimai spaudai ir ne bendras entuziazmas dėl žodžio „neurosymbolic“, kuris tapo toks madingas, kad juo apibūdinama beveik viskas. O konkretūs, išmatuoti rezultatai.

Du 2026 m. straipsniai ypač naudingi, nes jie tiesiogiai tikrina pagrindinius teiginius ir pateikia skaičius, kuriuos galima patikrinti. Vienas jų nagrinėja agentus, kurie turi veikti pasaulyje: ar simbolinių apribojimų ir paieškos pridėjimas prie kalbos modelio padaro jo planus vykdomus? Kitas nagrinėja atsakymų į klausimus teikimą remiantis žiniomis: ar žinių struktūros kūrimas deterministiškai iš patikimų šaltinių, o ne jos išgavimas kalbos modeliu, padaro atsakymus labiau atsekamus? Abu atsako „taip“, ir tai daro su didele persvara. Ir abu atsargiai nurodo, ko neparodė, o tai bent jau taip pat pamokoma, kaip tai, ką parodė.

Tikėtinas nelygu vykdomas

Pirmasis straipsnis „Neurosymbolic Embodied Agents“, kurį parašė Albinhassan, Feng, Russo ir Madhyastha ir 2026 m. rugpjūtį paskelbė arXiv, prasideda pastebėjimu, kurį atpažins kiekvienas, bandęs naudoti kalbos modelį kaip planuotoją. Kalbos ir vaizdo bei kalbos modeliai, rašoma jo santraukoje, „generuoja tikėtinus įkūnytuosius planus, bet negarantuoja vykdomumo, nes jų rezultatai gali pažeisti aplinkos dinamiką arba veikti neteisingai susietus objektus“.

Skirtumas tarp tikėtino ir vykdomo yra visa problema viename sakinyje. Modelis, paprašytas išvirti arbatos simuliuotoje virtuvėje, pateiks gerai skambančią veiksmų seką: nueik į virtuvę, paimk virdulį, pripildyk jį, įjunk. Bet jis gali bandyti paimti virdulį, kurio nėra, arba pripildyti virdulį, esantį uždarytoje spintelėje, arba pilti iš virdulio, kuris neužvirė. Kiekvienas žingsnis tikėtinas. Visas planas žlunga, nes modelis neseka pasaulio būsenos ir taisyklių, kaip veiksmai ją keičia.

Straipsnyje aprašomas agentas ilgo horizonto namų ruošos užduotis skaido į du etapus. Pirmajame vaizdo ir kalbos modelis bei tyrinėjimo priemonė iš egocentrinių stebėjimų ir pagrįstų sąveikų įgyja su tikslu susijusius predikatus ir objektų susiejimus, sudarydami simbolinį pradinės būsenos aprašą: šis virdulys yra čia, ši spintelė uždaryta, šis puodelis tuščias. Antrajame PDDL perėjimų modelis, formalus aprašas, kurie veiksmai taikomi kuriose būsenose ir ką jie keičia, „apriboja dekodavimą iki tokenų, kurie pratęsia taikomus veiksmus“. Kalbos modelis gali generuoti tik tuos veiksmus, kuriuos simbolinis modelis laiko įmanomais. Tada Monte Karlo medžio paieška įvertina vykdomus tęsinius naudodama nuo srities nepriklausomą planavimo euristiką.

Pasekmė, autorių žodžiais, yra ta, kad „gauti planai yra vykdomi pagal konstrukciją pagal perėjimų modelį, o perkėlimas į aplinką priklauso nuo teisingo vizualinio susiejimo“. Pastaroji sąlyga svarbi, ir prie jos grįšime toliau.

Apibendrinta pagal Albinhassan, Feng, Russo ir Madhyastha, Neurosymbolic Embodied Agents, arXiv 2608.16794.

Maži suvaržyti modeliai nugali didelį nesuvaržytą

Rezultatai stulbinantys. Dviejuose standartiniuose namų ūkio užduočių etalonuose, VirtualHome ir ALFWorld, santraukoje teigiama, kad "atviri 4B-27B modeliai abiejose aplinkose viršija 90 % sėkmės, o mūsų mažiausias agentas kiekvienoje iš jų gerokai pranoksta 27B tiesioginę vizualinę politiką." Straipsnio rezultatuose sėkmės rodikliai svyruoja nuo 94,5 iki 99,5 procento VirtualHome aplinkoje ir nuo 90,3 iki 97,8 procento ALFWorld aplinkoje, priklausomai nuo modelio dydžio. 4 milijardų parametrų agentas viename etalone 27 milijardų parametrų tiesioginę vizualinę politiką pranoksta 32,0 procentinio punkto, o kitame - 63,4.

Antrąjį rezultatą verta perskaityti neskubant. Maždaug septynis kartus mažesnis modelis, gavęs aiškią pasaulio struktūrą ir vykdytinų veiksmų paieškos procedūrą, pasirodo kur kas geriau nei daug didesnis modelis, kurio prašoma veikti tiesiogiai. Skirtumas nėra nežymus derinimas. Tai skirtumas tarp sistemos, kuri daugiausia veikia, ir tokios, kuri daugiausia neveikia.

Tai svarbu kiekvienam, kuriam rūpi dirbtinio intelekto sistemų kaina, energijos naudojimas ir kontroliuojamumas. Mažas atviras modelis gali veikti kuklioje aparatinėje įrangoje, gali būti tikrinamas, gali būti pririštas prie konkrečios versijos ir gali būti talpinamas ten, kur pasirenka operatorius. Jei struktūros pridėjimas leidžia tokiam modeliui pranokti didelį modelį užduotyse, kuriose reikia patikimų veiksmų, tada mažų modelių suverenumo ir efektyvumo argumentai tampa daug stipresni. Dydis nėra vienintelis kelias į gebėjimus. Struktūra yra kitas.

Suvaržymai ir paieška papildo vienas kitą, o ne pakeičia

Įdomiausias mūsų rastas rezultatas yra abliacija. Autoriai atskirai išbandė suvaržymus ir paiešką. ALFWorld aplinkoje kiekvienas atskirai "išsprendžia mažiau nei trečdalį užduočių, o jų derinys išsprendžia daugiau nei 95 %." Detalūs skaičiai: 32,3 procento vien suvaržymams ir 29,2 procento vien paieškai, palyginti su 95,5 procento juos sujungus.

Tai rezultatas, kurio paprastas pasakojimas apie neurosimbolinį dirbtinį intelektą nenumatytų. Galima būtų tikėtis, kad suvaržymai, užkirsdami kelią negalimiems veiksmams, atliks didžiąją dalį darbo, o paieška pridės nedaug. Arba kad paieška, ištyrinėdama daug kelių, ras gerus planus, o suvaržymai tik pagreitins procesą. Tačiau kiekvienas atskirai nepavyksta daugumoje užduočių, o kartu jie pavyksta beveik visose.

Intuiciją atkurti nesunku. Suvaržymai be paieškos užtikrina, kad kiekvienas žingsnis būtų teisingas, bet visiškai negarantuoja, kad teisingų žingsnių seka pasieks tikslą. Modelis gali be galo klaidžioti po virtuvę ir atlikti visiškai leistinus veiksmus. Paieška be suvaržymų išnagrinėja daug tęsinių, tačiau dauguma jų apima neteisingus veiksmus, todėl paieškos erdvėje dominuoja planai, kurie žlugs, o euristika neturi kuo remtis. Abu kartu suvaržymai apkarpia erdvę iki teisingų planų, o paieška tarp jų suranda geriausius.

Mūsų nuomone, šis papildomumas yra stipriausias iki šiol empirinis pagrindas architektūriniam teiginiui, kurį suformulavome prieš metus. Vertė slypi ne tame, kad prie neuroninio modulio prikabinamas simbolinis modulis. Ji slypi konkrečiame darbo pasidalijime, kai kiekviena dalis daro tai, ką sugeba geriausiai, ir kompensuoja kitos silpnybes.

Skaičiai, kaip pateikta arXiv 2608.16794. Kiekvienas komponentas atskirai išsprendžia mažiau nei trečdalį užduočių.

Mažiau žetonų ir nesėkmės, kurios nurodo vietą

Dar du straipsnio rezultatai lengvai praleidžiami, bet verti dėmesio.

Pirmasis yra efektyvumas. Santraukoje teigiama, kad metodas „naudoja kelis kartus mažiau sugeneruotų žetonų nei išplėstinis mąstymas ir kur kas mažiau modeliui matomų vaizdų nei tiesioginė sąveika“. Straipsnyje žetonų sumažėjimas, palyginti su išplėstiniu mąstymu, nurodomas kaip iki keturių kartų. Išplėstinis mąstymas, kai modelis prieš veikdamas išrašo ilgas samprotavimo grandines, yra pagrindinė alternatyvi strategija modelio planų patikimumui gerinti. Ji tam tikru mastu veikia, bet brangiai kainuoja: kiekvienas samprotavimo žetonas yra apskaičiuojamas, o naudojantis prieglobos paslaugomis už jį mokama. Metodas, pasiekiantis geresnių rezultatų su dalimi žetonų, yra geresnis tiek sąnaudų ir energijos, tiek sėkmės požiūriu.

Antrasis yra diagnozuojamumas. Santraukoje pažymima, kad „liekamosios nesėkmės lokalizuojasi būsenos gavimo srityje, o ne plano generavimo, ir tam nereikia jokio specializuoto mokymo“. Kai agentas patiria nesėkmę, ji kyla todėl, kad jo pasaulio vaizdas buvo klaidingas, o ne todėl, kad jis blogai planavo pagal tą vaizdą. Būtent to ir tikėtumės iš sistemos, kurios planai yra įvykdomi pagal konstrukciją. Tai taip pat parodo inžinieriui, kur dirbti toliau. Vientisoje neuroninėje sistemoje nesėkmė dažnai yra išsklaidyta viso modelio savybė, o vienintelis sprendimas yra daugiau duomenų arba didesnis modelis. Suskaidytoje sistemoje nesėkmė turi adresą.

Manome, kad diagnozuojamumas dirbtinio intelekto tyrimuose vertinamas per menkai. Sistema, kuri sugenda rečiau, yra gera. Sistema, kurios gedimus galima rasti, paaiškinti ir ištaisyti, yra geresnė, nes ją galima sąmoningai tobulinti ir nes jos elgesiu galima pasitikėti tais atvejais, kai žinoma, kad jos komponentai patikimi.

Tas pats dėsningumas matyti atsakant į klausimus

Antrasis straipsnis nagrinėja kitą problemą, tačiau rezultatas stebėtinai panašus. „Ontology-guided neuro-symbolic GraphRAG for grounded query answering“, kurį parašė Domenico Benfenati ir Antonio Maria Rinaldi iš Neapolio Federico II universiteto, buvo paskelbtas žurnale Neural Computing and Applications 2026 m. spalį. Jame tiriamas klausimų atsakymas remiantis kibernetinio saugumo žiniomis: pažeidžiamumais, silpnybėmis, atakų šablonais ir paveiktais produktais, paimtais iš viešų saugyklų, tokių kaip CVE, CWE, CAPEC ir CPE.

Lyginami du būdai kurti žinių grafą, kuriuo kalbos modelis remiasi atsakydamas į klausimus. Plačiai naudojamu GraphRAG metodu kalbos modelis skaito nestruktūruotą tekstą ir išgauna esybes, ryšius bei bendruomenių santraukas, kurios vėliau tarnauja kaip paieškos pagrindas. Autorių metodu grafas sukuriamas iš viršaus į apačią iš autoritetingų saugyklų: taikant kryptingą nuskaitymą, ontologija grindžiamą schemų suvienodinimą ir taisyklėmis pagrįstą simbolinį išvedimą, pavyzdžiui, tranzityvųjį grandininį išvedimą ir kelių žingsnių poveikį produktams. Pati ontologija išvedama iš tikrųjų saugyklų srities struktūros, o ne sukuriama modelio. Tada kalbos modeliui pateikiami įrodymai iš šio grafo, ir autoriai tai apibūdina kaip griežtai vienkryptį srautą: simbolinis pagrindas yra „visiškai deterministinis, išsaugantis kilmę ir nepriklausomai patikrinamas“.

Kilmės auditas yra labiausiai atskleidžiantis eksperimentas. Ontologija grindžiamame grafe 100 procentų atrinktų briaunų buvo atsekamos iki autoritetingų šaltinio įrašų arba deklaruotų išvedimo taisyklių. LLM išgautame grafe atsekama buvo 83 procentai, o tik 58 procentai jungė galinius taškus kanoniniais identifikatoriais. Skirtumas išlieka ir atsakymuose: ontologija grindžiama sistema pasiekė 95 procentų citavimo tikslumą, palyginti su 66 procentais GraphRAG pagrindo.

Svarbiausia yra autorių struktūrinis paaiškinimas. LLM išgautame GraphRAG atsakymai grindžiami santraukomis, kurias parašė to paties pobūdžio modelis, kuris generuoja atsakymą, todėl kilmės grandinė nutrūksta ties neuroniniu tarpininku ir nepasiekia autoritetingo įrašo. Nuoroda į modelio parašytą santrauką yra nuoroda į interpretaciją. Nuoroda į šaltinio įrašą, einanti briaunomis, kurių kiekviena atsekama iki to įrašo arba iki deklaruotos taisyklės, yra nuoroda į įrodymus.

Skaičiai, kuriuos Benfenati ir Rinaldi pateikė straipsnyje „Neural Computing and Applications“, 2026 m., remdamiesi kibernetinio saugumo tekstynu.

Citavimas dar neapima visos kilmės

Trečias, mažesnis 2026 m. straipsnis prideda naudingą niuansą. „Why Neighborhoods Matter: Traversal Context and Provenance in Agentic GraphRAG“, 2026 m. gegužę paskelbtas arXiv, nagrinėja sistemas, kuriose agentas prieš atsakydamas tyrinėja žinių grafą ir tada cituoja nedidelę esybių grupę. Straipsnyje keliamas klausimas, ar galutinių citatų pakanka paaiškinti įrodymus, kuriais rėmėsi atsakymas.

Išvada tokia, kad nepakanka. Cituojamos esybės paprastai yra svarbios: jas pašalinus atsakymai iš esmės pasikeičia ir tikslumas sumažėja. Tačiau eksperimentai rodo, kad tikslus atsakymas taip pat priklauso nuo grafo perėjimo, kaimynystės struktūros ir esybių, kurias agentas aplankė, bet necitavo. Autoriai daro išvadą, kad sąžiningas citavimas „turėtų atsižvelgti ir į grafo kontekstą bei gavimo kelią, kurie formuoja galutinį atsakymą“.

Šis atradimas dar labiau išryškina Benfenati ir Rinaldi straipsnio pamoką. Deterministiškas, atsekamas grafas yra būtinas atsakymams, kurių įrodymus galima patikrinti. Tačiau jo nepakanka, jei sistema fiksuoja tik tai, ką citavo, o ne tai, ką perskaitė. Kilmė turi apimti kelią, o ne tik tikslą. Tai, kaip nutinka, yra ta pati išvada, prie kurios priėjome iš inžinerinės pusės kurdami Knot, įvykių žurnalą, kurį skelbiame 2026 m. IV ketv.: agento veiklos įrašas turi apimti kiekvieną perskaitymą ir kiekvieną tarpinį žingsnį, o ne tik galutinį rezultatą, nes būtent žingsniai paaiškina rezultatą.

Ko rezultatai neparodo

Abu pagrindiniai straipsniai atidžiai nurodo savo ribas, ir šias ribas verta išdėstyti aiškiai, nes entuziazmas dėl rezultato linkęs ištrinti jo sąlygas.

Įkūnyto agento rezultatai gauti simuliacijoje. VirtualHome ir ALFWorld yra pripažinti etalonai, tačiau tai simuliuotos buitinės aplinkos su žinoma dinamika. Garantija, kad planai yra įvykdomi „pagal konstrukciją“, galioja perėjimo modelio atžvilgiu, kitaip tariant, pagal simbolinį pasaulio veikimo aprašą. Jei tas aprašas neteisingas ar neišsamus, garantija nepersikelia. Realiame pasaulyje parašyti išsamų ir teisingą perėjimo modelį yra sunku, o pasaulis linkęs apimti dalykus, kurių modelis nenumatė.

Tokie patys rezultatai priklauso nuo teisingo vizualaus pagrindimo. Santraukoje tai pasakyta tiesiai. Jei tyrinėjimo etapas neteisingai atpažįsta objektą arba jo nepastebi, simbolinė būsena būna klaidinga, o planas, kuris pagal klaidingą būseną atrodo visiškai įvykdomas, realybėje gali žlugti. Straipsnio išvada, kad likę gedimai lokalizuojasi būsenos nustatymo etape, yra gera žinia diagnozuojamumui, bet kartu primena, kad suvokimas išlieka sunkiausia dalis.

GraphRAG rezultatai gauti vienoje srityje, kibernetiniame saugume, kur egzistuoja patikimi struktūrizuoti saugyklos šaltiniai su stabilias identifikatoriais. Daugelis sričių tokios nėra. Kai žinios daugiausia glūdi nestruktūrizuotuose dokumentuose be kanoninių identifikatorių, iš viršaus į apačią vykdomas materializavimas neįmanomas, todėl tam tikra išgavimo forma neišvengiama. Straipsnio metodas parodo, kas tampa įmanoma, kai yra geri šaltiniai. Jis neparodo, kaip juos sukurti ten, kur jų nėra.

GraphRAG atsakymų teisingumo vertinime kaip vertintojas naudotas kalbos modelis Gemini 2.5 Flash, pateikus penkiolika klausimų vienai užduočiai. Tyrimo straipsniui tai pagrįstas sprendimas, o kilmės auditas yra tiesioginis matavimas. Vis dėlto atsakymų kokybės skaičius skaitytojai turėtų vertinti kaip orientacinius, o ne galutinius, o kilmės skaičius laikyti tvirtesniu rezultatu.

Nė vienas iš šių apribojimų nepaneigia straipsnių. Tai įprastos sąlygos geriems tyrimams. Tačiau jos svarbios kiekvienam, kuris gali susigundyti „neurosimbulinį“ metodą suprasti kaip bendrą sprendimą. Tai architektūrinių sprendimų rinkinys, kuris labai gerai veikia, kai tenkinamos jo prielaidos: teisingas simbolinis srities modelis, patikimas suvokimo susiejimas su tuo modeliu ir autoritetingi žinių šaltiniai. Didelė praktinio darbo dalis skirta būtent šioms prielaidoms užtikrinti.

Kas nutinka po pirmosios klaidos

Sėkmės rodikliai parodo, kaip dažnai sistema užbaigia užduotį. Jie neparodo, kaip ji elgiasi, kai kas nors nepavyksta, o būtent tai dažnai yra svarbesnis klausimas kiekvienam, kuriam tenka ją diegti. Įkūnyto agento straipsnyje yra priedas, kuriame atsakoma į šį klausimą, ir tai viena atskleidžiančių darbo dalių.

Autoriai matavo, ką politikos darė „po pirmos nepagrindžiamos arba nepavykusios vykdymo“ situacijos, ir pateikė, kaip dažnai užduotyse pasitaikydavo toks įvykis, kaip dažnai politika vėliau atkurdavo užduotį, kaip dažnai ji iš karto pakartodavo nepavykusią užklausą ir kaip dažnai įkrisdavo į nuolatinį veiksmų ciklą. Tiesioginių vizualinių politikų, kurios planuoja be simbolinių apribojimų, rezultatai stebina.

VirtualHome aplinkoje 4B tiesioginė Qwen politika su gedimu susidūrė 64,5 proc. užduočių. Ji atkūrė užduotį 5,4 proc. tų atvejų, iš karto pakartojo nepavykusią užklausą 74,5 proc., o nuolatiniu ciklu baigėsi 45,5 proc. atvejų. ALFWorld aplinkoje tas pats modelis su gedimu susidūrė 73,9 proc. užduočių, atkūrė 1,0 proc. ir nuolatiniu ciklu baigėsi 94,8 proc. atvejų. Didžiausias tiesioginis modelis sekėsi geriau, kaip ir galima tikėtis: VirtualHome aplinkoje 27B politika su gedimu susidūrė 29,0 proc. užduočių, atkūrė 37,9 proc., pakartojo užklausą 8,3 proc., o į ciklą įkrito 9,5 proc. atvejų. ALFWorld aplinkoje net ir šis modelis atkūrė tik 25,7 proc. atvejų.

Straipsnio įvade paaiškinama, kodėl taip nutinka. Tiesioginė politika turi atpažinti objektus, sekti jų būseną, pasirinkti taikytinus veiksmus ir samprotauti apie atidėtą poveikį „vienoje autoregresinėje istorijoje, kur jie gali laisvai kauptis“. Autoriai pastebi, kad „vykdymo grįžtamasis ryšys gali atskleisti tokią klaidą jai įvykus, bet nesutrukdo modeliui pakartoti neteisingo pasirinkimo arba nukrypti nuo būsenos, kurią sukėlė jo paties veiksmai“.

Šis sakinys apibūdina schemą, kurią daugelis atpažins iš agentų, veikiančių ne laboratorijoje. Agentas ką nors bando, nepavyksta, klaida grąžinama atgal, ir agentas vėl bando tą patį arba ką nors lygiaverčio. Grįžtamasis ryšys yra informacija, bet informacija nevaržo. Sistema, kuri veiksmo galiojimą laiko tuo, ką reikia išvesti, o ne tuo, ką reikia užtikrinti, gali būti informuota, kad klydo, bet jai netrukdoma klysti vėl.

Varžomasis metodas tai keičia: pritaikomumas, kaip sakoma straipsnyje, tampa „apribojimu, palaikomu viso generavimo ir paieškos metu“. Veiksmas, kurio išankstinės sąlygos neįvykdytos, niekada nesukuriamas, tad nėra ko kartoti. Tai nepadaro sistemos neklystančios. Tai perkelia nesėkmę į kitą vietą.

Skaičiai iš Albinhassan ir kolegų 2026 m. 10 lentelės, skirti tiesioginėms politikoms be simbolinių apribojimų. Procentai; atkūrimas ir kartojimas skaičiuojami tarp užduočių, kuriose įvyko nesėkmė.

Straipsnis nurodo savo paties nesėkmes

Sąžininga rezultatų apžvalga turi pasakyti, kur varžomasis agentas nepavyksta, ir straipsnis tai padaro. Jo simbolinis planuotojas gali planuoti tik pagal jam pateiktą būseną. Kai vaizdinio tyrinėjimo etapas praleidžia reikiamą objektą, autoriai rašo: „tada nesėkmė plinta toliau, nes pagrįsta pradinė būsena praleidžia reikiamą objektą. Tai vaizdinio būsenos gavimo komponento, o ne pritaikomumo garantijos, apribojimas.“

Šis skirtumas svarbus. Sistemos teikiama garantija yra siaura ir tvirta: kiekvienas jos planuojamas veiksmas yra pritaikomas toje būsenoje, kurioje ji mano esanti. Ar tas įsitikinimas atitinka pasaulį, priklauso nuo suvokimo, o suvokimą vis dar atlieka neuroninis modelis su visa tuo susijusiu neapibrėžtumu. Autoriai tikisi, kad „vaizdinio atpažinimo ir aktyvaus požiūrio taško parinkimo patobulinimai turėtų tiesiogiai persikelti į visą metodą“, ir tai pagrįstas lūkestis, kartu priminimas, kad simbolinė dalis negali kompensuoti to, ko neuroninė dalis nepastebi.

Žmonėms, vertinantiems tokias sistemas, pamoka yra klausti, kur garantija baigiasi. Neurosimbolinė sistema paprastai suteikia tikrumą dėl vienos proceso dalies (planas galioja, išvada išvedama pagal taisykles, atsakymą pagrindžia grafas) ir paveldi neapibrėžtumą iš dalių, kurios ją maitina. Gera sistema padaro tą ribą matomą. Ji fiksuoja, ką suvokė, ką priėmė ir ką išvedė, kad vertintojas galėtų atskirti, ar nesėkmė kilo dėl samprotavimo, ar dėl samprotavimo įvesties.

Štai kodėl tokia nesėkmių analizė, kaip straipsnio priede, yra tokia vertinga. Žinant, kad sistema dažniausiai nepavyksta pagrindimo, o ne planavimo etape, inžinierius žino, kur investuoti, o diegėjas - kokios priežiūros reikia. Žmogus, tikrinantis varžomojo agento darbą, turėtų tikrinti jo pasaulio vaizdą, o ne aritmetiką.

Perėjimo tyrimas nedidelis, ir tai pripažįstama

Straipsnis apie perėjimo kontekstą atsargiai vertina ir savo paties ribas. Jo autoriai rašo, kad tyrimą „riboja nedidelis etalonų rinkinys ir tai, kad naudojamas kontroliuojamas žinių grafas, sudarytas iš 2WikiMultiHopQA, o ne didelis realaus pasaulio žinių grafas“. Jie ragina vertinti „didesniuose duomenų rinkiniuose, turtingesnėse grafų struktūrose ir konkrečiai sričiai skirtose žinių bazėse“ bei taikyti citavimo mechanizmus, „kurie atskleistų ne tik galutinius pagrindžiančius objektus, bet ir svarbų perėjimo kontekstą“.

Toks atvirumas naudingas. Išvada, kad citatos būtinos, bet nepakankamos norint paaiškinti agento atsakymą, yra įtikinama ir svarbi, tačiau ji remiasi kontroliuojama aplinka. Kol kas nereikėtų ja grįsti politikos sprendimų: pirmiausia ją reikėtų atkartoti naudojant tokius grafus, kokius naudoja realios sistemos, t. y. įmonių žinių bazes, teisės aktų rinkinius, produktų katalogus. Iki tol ją geriausia skaityti kaip gerai suplanuotą įspėjimą, o ne kaip nusistovėjusį matavimą.

Vis dėlto į tą įspėjimą verta atsižvelgti. Autoriai daro išvadą, kad „kilmės duomenys agentinėje grafu pagrįstoje paieškoje turėtų būti traktuojami kaip trajektorijos lygmens savybė“. Sistemų kūrėjams tai reiškia, kad reikia fiksuoti kelią, o ne tik tikslą: kurie objektai buvo aplankyti, kuriomis briaunomis buvo eita, kurie kaimynai buvo matyti, bet necituoti. Citatų sąrašas yra to kelio santrauka. Kaip ir bet kuri santrauka, ji gali būti tiksli ir vis tiek praleisti tai, kas buvo svarbu.

Kelio fiksavimas turi praktinę kainą, ir tai reikėtų pasakyti. Perėjimo įrašai yra didesni nei citatų sąrašai, juose gali būti medžiagos, kuri vartotojui nebuvo parodyta, ir jiems reikia tokio pat dėmesio prieigai bei saugojimo trukmei, kaip ir bet kuriam kitam žurnalui. Tačiau alternatyva yra blogesnė. Kai atsakymas užginčijamas, sistema, saugojusi tik citatas, gali parodyti, į ką ji nurodė. Sistema, saugojusi trajektoriją, gali parodyti, kaip ji ten pateko, o būtent to ir klausia vertintojas. Agentinėje paieškoje šis skirtumas greičiausiai nulems, ar paaiškinimas bus priimtas, ar tik toleruojamas.

Senas argumentas dėl paaiškinimo tebegalioja

Visa tai iš esmės nėra nauja. Diskusija dėl paaiškinamumo mašininio mokymosi srityje tęsiasi jau daugelį metų, o 2026 m. rezultatai į ją įsilieja, o ne ją pakeičia.

2017 m. Finale Doshi-Velez ir Been Kim pastebėjo, kad „nepaisant susidomėjimo interpretuojamumu, vis dar labai mažai sutariama, kas yra interpretuojamas mašininis mokymasis ir kaip jį reikėtų matuoti“. 2018 m. Cynthia Rudin teigė, kad „bandymas paaiškinti juodosios dėžės modelius, o ne kurti iš pradžių interpretuojamus modelius, greičiausiai įtvirtins blogą praktiką ir gali padaryti katastrofiškos žalos visuomenei“. Tais pačiais metais Julius Adebayo ir kolegos parodė, kad kai kurie išryškinimo metodai „nepriklauso nei nuo modelio, nei nuo duomenų generavimo proceso“, nes pateikia panašius paaiškinimus nepriklausomai nuo to, ar modelis ką nors išmoko.

Ribotos planavimo ir GraphRAG rezultatai gali būti skaitomi kaip Rudin pozicijos įrodymas naujoje aplinkoje. Kai planas sudaromas atliekant paiešką pagal aiškias taisykles, jo pagrįstumas yra savybė to, kaip jis buvo sudarytas, o paaiškinimą, kodėl pasirinktas veiksmas, galima perskaityti iš paieškos. Kai atsakymas gaunamas pereinant grafą, jo kilmė yra perėjimo savybė, su sąlyga, kad perėjimas užfiksuotas. Abiem atvejais paaiškinimas nėra antro modelio pirmojo interpretacija. Tai įrašas apie tai, ką padarė pirmasis.

2026 m. rezultatai prideda dar ir įrodymą, kad tokia sistema gali ir gerai veikti. Senas priekaištas interpretuojamiems metodams buvo tas, kad jie kainuoja tikslumo. Tokie rezultatai, kuriuose maži suvaržyti modeliai struktūruotose užduotyse pranoksta didesnius nesuvaržytus, to klausimo apskritai neišsprendžia. Jie vis dėlto rodo, kad užduotyse su aiškiomis taisyklėmis ir patikrinamais rezultatais kompromisas nėra toks, kokį žmonės buvo numanę.

Ilgesnis mąstymas nepadėjo, o lengvas etalonas tai slepia

Įkūnyto agento straipsnio komponentų abliacijoje yra dar dvi detalės, vertos dėmesio, nes jos prieštarauja įprastoms prielaidoms.

Pirmoji susijusi su išplėstiniu samprotavimu. Su 27B Qwen modeliu paprastas godusis dekodavimas VirtualHome aplinkoje pasiekė 61,0 proc. sėkmės, o ALFWorld aplinkoje 15,4 proc. Tas pats modelis mąstymo režimu, turėdamas iki 32 768 išvesties žetonų biudžetą pagal straipsnio dekodavimo nuostatas, pasiekė 59,0 ir 16,9 proc. Leidimas modeliui samprotauti gerokai ilgiau iš esmės nieko nepakeitė. Priešingai, pridėjus pritaikomumo apribojimus prie godžiojo dekodavimo, VirtualHome sėkmė pakilo nuo 61,0 iki 98,5 proc. Autorių žodžiais, tai rodo, kad „pritaikomumo apribojimai lemia didžiąją dalį pagerėjimo“.

Tai naudingai pataiso mintį, kad daugiau samprotavimo žetonų yra bendras vaistas nuo planavimo klaidų. Kai klaida yra ta, kad pasirenkamas veiksmas, kurio išankstinės sąlygos neįvykdytos, ilgesnis vidinis svarstymas jos patikimai nesustabdo. Taisyklė, kuri tokius veiksmus padaro neįmanomus, sustabdo.

Antroji detalė susijusi su etalono sunkumu. VirtualHome aplinkoje vien nesuvaržyta paieška pasiekė 99,0 proc., tiek pat, kiek visas metodas, nors autoriai pažymi, kad tai įvyko „didesnėmis generavimo sąnaudomis“, kaip rodo jų paveikslai. Skaitytojas, kuris žiūri tik į VirtualHome, galėtų nuspręsti, kad pakanka vien paieškos. ALFWorld rodo kitaip: vien suvaržymai pasiekė 32,3 proc., nesuvaržyta paieška 29,2 proc., o jų derinys 95,5 proc. Didesnį atotrūkį autoriai priskiria sunkesnei planavimo problemai. Sėkmingi 27B modelio planai vidutiniškai turėjo 8,0 aukšto lygio veiksmų ALFWorld aplinkoje ir 6,4 VirtualHome aplinkoje, o daugiausia buvo atitinkamai 30 ir aštuoni, ir ALFWorld „įveda daugiau egzempliorių ir talpyklų susiejimų kiekviename etape“.

Bendra pamoka tokia, kad lengvas etalonas gali du skirtingus sprendimus parodyti kaip lygiaverčius. Skirtumai pasirodo tik tada, kai problema tampa pakankamai ilga ir pakankamai suvaržyta. Kas lygina agentų architektūras, turėtų jas bandyti užduotyse, bent jau tokiose ilgose ir taip griežtai suvaržytose, kokias ketina diegti, o ne trumpiausiose prieinamose.

Eksperimentai sukurti taip, kad būtų atkartojami

Dar viena straipsnio savybė verta dėmesio, nes ji siejasi su tema, kuri šioje serijoje kartojasi kitur. Autoriai paskelbia visas dekodavimo nuostatas. Suvaržytos Qwen fazės veikia esant temperatūrai 0,0. Ten, kur taikomas nucleus sampling, papildomi mąstymo paleidimai ir įkūnyti baziniai variantai vertinami pakartotinai, su trimis įvardytomis sėklomis: 0, 42 ir 1738. Paieška ribojama iki 250 sekundžių vienai užduočiai, o straipsnyje teigiama, kad paieškos hiperparametrai „buvo parinkti empiriškai“.

Būtent šios detalės daro rezultatą patikrinamą. Skaitytojas, kuris nori darbą pakartoti, žino, kokias nuostatas naudoti, kiek paleidimų daryti ir kiek rezultatai gali skirtis. Jos parodo ir ribas: empiriškai parinktus hiperparametrus kitose aplinkose gali tekti derinti iš naujo, o laiko riba reiškia, kad kai kurios užduotys gali nepavykti dėl laiko stygiaus, o ne dėl to, kad nėra plano. Pasakyti abu dalykus yra gera praktika. Manome, kad tokį standartą turėtų atitikti kiekvienas paskelbtas rezultatas, taip pat ir mūsų. Rezultatas, kurio negalima paleisti iš naujo, vis tiek gali būti įdomus, bet juo dar negalima remtis, ir šis skirtumas svarbiausias tada, kai rezultatu pagrindžiamas konstrukcinis sprendimas.

Žodis tampa etikete, todėl jį reikia patikrinti

Sėkmė skatina mėgdžiojimą, o „neurosymbolic“ dabar taikoma sistemoms, kurios mažai ką bendra turi su šiuose straipsniuose aprašytomis architektūromis. Kalbos modelis su raginimu „think step by step“ kartais vadinamas neurosimboliniu. Taip pat vadinamas modelis, kuris iškviečia skaičiuotuvą, pokalbių robotas su taisyklėmis grindžiamu pasveikinimu arba paieškos sistema, naudojanti duomenų bazę. Kiekvienas iš jų jungia ką nors neuroninio su kuo nors, kas nėra neuroninė, ir žodis netenka prasmės, jei apima juos visus.

Mums naudinga taikyti paprastą patikrinimą, išvestą iš to, kas lėmė 2026 metų rezultatų sėkmę. Sistema nusipelno šio žodžio, kai jos simbolinė dalis apriboja arba patikrina neuroninę dalį taip, kad pasikeičia tai, ką sistema gali pateikti, ir kai tą apribojimą galima patikrinti.

Straipsnyje apie įkūnyto agento sistemą PDDL perėjimų modelis apriboja dekodavimą tik taikomais veiksmais. Kalbos modelis tiesiog negali pateikti netinkamo veiksmo. Tai apribojimas, kuris keičia galimų išvesčių erdvę, o perėjimų modelį gali perskaityti bet kas. Straipsnyje apie GraphRAG žinių grafas sudaromas pagal deklaruotas taisykles iš patikimų įrašų, o kalbos modelis gauna įrodymus tik iš to grafo. Kiekvienos briaunos kilmę galima patikrinti. Abi sistemos praeina patikrinimą.

Raginimas, kuriuo modelio prašoma atidžiai samprotauti, jo nepraeina. Jis gali pagerinti išvesčių kokybę, bet jų neapriboja, ir nieko jame negalima patikrinti, kad būtų matyti, ką modeliui leidžiama pasakyti. Modelis, kuris gali iškviesti skaičiuotuvą, praeina tik iš dalies: skaičiuotuvo rezultatas yra tikslus, bet modelis pats sprendžia, ar jį iškviesti ir ką su rezultatu daryti, ir niekas netrukdo jam rezultato nepaisyti arba aritmetiką atlikti pačiam. Patikrinimas nėra apie grynumą. Jis apie tai, iš kur kyla garantijos.

Klausimai, kuriuos verta užduoti sistemai, sau priskiriančiai šį žodį

Organizacijoms, vertinančioms sistemas, apibūdinamas kaip neurosimbolines, šis patikrinimas virsta keliais konkrečiais klausimais.

Ką simbolinė dalis užkerta? Naudingas atsakymas įvardija išvesčių klasę, kurios sistema negali pateikti, pavyzdžiui, netinkamus veiksmus, nepagrįstus teiginius ar taisyklių pažeidimus, ir paaiškina mechanizmą. Atsakymas, kad simbolinė dalis modelį „nukreipia“ arba „informuoja“, neįvardijant nieko, ką ji užkerta, rodo, kad garantija yra silpna.

Ar simbolinę dalį galima perskaityti? Taisyklės, apribojimai, ontologijos ir perėjimų modeliai turėtų būti prieinami patikrinti žmonėms, kurie remiasi sistema, bent jau tokia forma, kuri svarbi jų sprendimams. Jei simbolinis sluoksnis pats yra išmoktas, nepermatomas komponentas, jis nesuteikia tokios garantijos, dėl kurios neurosimbolinės konstrukcijos yra vertingos.

Kur baigiasi kilmės atsekamumas? Sekite bet kurio atsakymo nuorodas. Ar jos veda prie patikimų pirminių įrašų, per atsekamus žingsnius, ar prie modelio parašytų tarpinių tekstų? GraphRAG kilmės auditas yra šio patikrinimo pavyzdys.

Kur slypi gedimai? Paprašykite gedimų atvejų suskirstymo pagal komponentus. Gerai suskaidyta sistema turėtų galėti pasakyti, ar jos gedimai kyla suvokimo, pagrindimo, paieškos, samprotavimo ar generavimo metu. Sistema, kuri to negali pasakyti, arba nėra suskaidyta, arba nėra matuojama.

Kas įrašoma? Paklauskite, ar sistema įrašo nueitą kelią, įskaitant tai, ką skaitė ir kurie komponentai prisidėjo, o ne tik galutinį atsakymą. Agentinio GraphRAG išvados rodo, kodėl tai svarbu.

Nė vienam iš šių klausimų užduoti nereikia gilių ekspertinių žinių. Visi jie atskiria architektūras, teikiančias patikrinamas garantijas, nuo sistemų, kurios tik vartoja šią leksiką.

Kodėl tai svarbu paaiškinimui ir priežiūrai

Šie rezultatai turi ir reguliavimo aspektą, kurį verta išryškinti, nes jis sieja tyrimų architektūrą su pareigomis, kurios bus taikomos daugeliui organizacijų.

Dirbtinio intelekto aktas reikalauja daug paaiškinimų. 13 straipsnis numato, kad didelės rizikos sistemos turi būti suprojektuotos taip, kad jas diegiantys asmenys galėtų interpretuoti jų rezultatus ir tinkamai jais naudotis. 14 straipsnis reikalauja, kad priežiūrai paskirti asmenys galėtų teisingai interpretuoti sistemos rezultatus ir nuspręsti jų nepaisyti, juos pakeisti ar atšaukti. 86 straipsnis suteikia nukentėjusiems asmenims teisę gauti aiškius ir prasmingus paaiškinimus apie dirbtinio intelekto sistemos vaidmenį tam tikruose sprendimuose. Šios prievolės didelės rizikos sistemoms taikomos nuo 2027 m. gruodžio arba 2028 m. rugpjūčio, atsižvelgiant į Skaitmeninį omnibusą, tačiau projektavimo sprendimai, kurie leidžia jas įgyvendinti, priimami jau dabar.

Faktorizuotą neurosimbolinę sistemą paaiškinti kur kas lengviau nei vienalytį modelį, ir būtent dėl priežasčių, kurias parodo 2026 m. darbai. Kai planą pagal perėjimų modelį galima vykdyti iš paties jo sudarymo, paaiškinimas, kodėl veiksmas buvo leistas, yra nuoroda į taisyklę, kuri jį leido. Kai atsakymas remiasi briaunomis, atsekamomis iki patikimų įrašų, paaiškinimas, kodėl teiginys buvo pateiktas, yra įrašų grandinė. Kai gedimai lokalizuojami komponente, paaiškinimas, kodėl sistema klydo, nurodo tą komponentą. Kiekvienas paaiškinimas yra teiginys apie tai, kas egzistuoja ir ką galima patikrinti, o ne retrospektyvus neuroninio skaičiavimo pateisinimas.

Tai nereiškia, kad paaiškinimas yra paprastas. Kažkas vis tiek turi išversti taisykles ir įrašus į kalbą, kurią nukentėjęs asmuo suprastų. Tačiau tai pakeičia užduoties pobūdį: nuo rekonstravimo prie pateikimo. Rekonstravimas klausia „kas galėjo sukelti šį rezultatą?“ ir gali pasiūlyti tik hipotezes. Pateikimas klausia „kaip parodyti taisykles ir įrašus, kurie sukūrė šį rezultatą?“ ir gali pateikti įrodymų. Priežiūrai ir teisei į paaiškinimą šis skirtumas yra lemiamas.

Tai taip pat priežastis, kodėl manome, kad efektyvumo rezultatai turėtų sudominti ne tik inžinierius, bet ir reguliuotojus. Mažas, apribotas modelis, kurį pigiau paleisti, yra ir modelis, kurį pigiau audituoti: jį galima talpinti ten, kur auditorius gali jį pasiekti, tyrimo laikotarpiui pritvirtinti prie konkrečios versijos ir deterministiškai pakartoti su tais pačiais įvesties duomenimis. Suverenumo, energijos ir atskaitomybės argumentai už struktūrizuotas mažas sistemas pasirodo esą tas pats argumentas, matomas iš trijų pusių.

Ką iš to pasiimame

Savo darbui 2026 m. rezultatai patvirtina tris projektavimo sprendimus ir išryškina ketvirtą.

Jie patvirtina, kad maži modeliai su struktūra gali pranokti didelius modelius be jos atliekant užduotis, kurioms reikia patikimumo. Tai yra prielaida, kuria grindžiamas Loom maršrutizavimas per 528 specialistus: į daugumą klausimų geriausiai atsako tinkamas specialistas, dažnai mažas modelis ar simbolinis sprendėjas, o ne didžiausias prieinamas modelis. Įkūnyto agento ablacijos tyrimas yra aiškiausias mums žinomas paskelbtas įrodymas, kad ši prielaida galioja planavimui.

Jie patvirtina, kad žinios turėtų būti kuriamos iš patikimų šaltinių su deklaruotomis taisyklėmis ir cituojamos nurodant šaltinį. Dweve žinių sluoksnis kiekvieną atsakyme panaudotą žinių vienetą cituoja nurodydamas mazgą ir versijos maišą, kad recenzentas galėtų sekti citatą iki tikslaus įrašo ir versijos. GraphRAG kilmės auditas parodo, kas prarandama, kai ta grandinė nutrūksta ties modelio sukurto tarpininko įrašu.

Jie patvirtina, kad kelio užfiksavimas yra toks pat svarbus kaip atsakymo užfiksavimas. Agentinio GraphRAG darbo išvada apie aplankytus, bet necituotus objektus yra būtent ta priežastis, dėl kurios Knot fiksuoja skaitymus ir tarpinius veiksmus, ir priežastis, dėl kurios Loom pėdsakas parodo, kurie specialistai prisidėjo.

Ir jie labiau atkreipia mūsų dėmesį į pagrindimą. Abiejuose straipsniuose likę trūkumai siejami su vieta, kurioje pasaulis, arba šaltinis, paverčiamas simboline reprezentacija. Tai riba, kur neuroninis suvokimas perduoda darbą simboliniam samprotavimui, ir būtent čia turėtų telktis patikros pastangos. Simbolinis sluoksnis, nepriekaištingai samprotaujantis apie klaidingą būseną, pateikia užtikrintą, bet klaidingą atsakymą. Inžinerinis kitų metų klausimas: kaip padaryti šią ribą tokią pat patikrinamą kaip sluoksnius abiejose jos pusėse.

Renesansas su skaičiais

Prieš metus teiginys, kad neurosimbolinės sistemos patikimumo reikalaujančiose užduotyse pralenks grynuosius kalbos modelius, buvo argumentas. 2026-aisiais jis turi skaičius: maži atvirieji modeliai viršija 90 procentų sėkmės buities planavimo užduotyse, 4 milijardų parametrų agentas dideliais skirtumais įveikia 27 milijardų parametrų tiesioginę politiką, apribojimai ir paieška atskirai išsprendžia mažiau nei trečdalį užduočių, o kartu daugiau nei 95 procentus, ir kiekviena ontologijos pagrindu sukurto grafo briauna yra atsekama iki šaltinio, palyginti su 83 procentais išgauto grafo.

Šie skaičiai turi sąlygų, ir sąlygos tokios pat svarbios kaip rezultatai. Tačiau kryptis aiški. Kai AI sistema turi būti teisinga taip, kad tai būtų galima patikrinti, struktūra nėra kliūtis gebėjimams. Ji yra vienas jų šaltinių.

Kodėl etalonų kūrimas toks pat svarbus kaip rezultatas

Abiejuose straipsniuose yra platesnė metodologinė pamoka, verta trumpos pastabos, nes ji susijusi su tuo, kaip visa sritis turėtų vertinti sistemas, teigiančias esančios patikimos.

Abu straipsniai matuoja ne sklandumą. Straipsnis apie įkūnytojo agento sistemas matuoja sėkmę: ar buities užduotis buvo atlikta aplinkoje? Straipsnis apie GraphRAG matuoja kilmę: ar kiekvieną briauną ir kiekvieną citatą galima atsekti iki patikimo įrašo? Nė vienas jų pirmiausia nesiremia tuo, ar atsakymas gerai skaitosi arba atitinka etaloninį tekstą. Tai reikšminga, nes didelė dalis AI vertinimo vis dar atlygina už paviršinę kokybę. Darbų linija „Why Neighborhoods Matter“ ir susiję vertinimo tyrimai tą patį teiginį pateikia iš kitos pusės: leksinė sutaptis su etaloniniu atsakymu gali būti didelė, nors atsakymą pagrindžiančių įrodymų nėra.

Organizacijoms, vertinančioms AI sistemas sprendimams, kurie svarbūs, pamoka tokia: pirmiau paklauskite, ką etalonas matuoja, o tik paskui, kokį rezultatą sistema pasiekė. Sistema, gerai pasirodanti sklandumu grindžiamame etalone, vis tiek gali pateikti planus, kurių neįmanoma įvykdyti, arba atsakymus, kurių citatos niekur neveda. Sistema, gerai pasirodanti įvykdomumo ar kilmės etalone, parodo tai, ko sprendimų priėmėjui reikia labiau. Norėtume, kad daugiau viešųjų pirkimų vertinimų būtų kuriami taip, kaip šie du straipsniai: su užduotimi, kuri patikrinamai arba pavyksta, arba nepavyksta, ir su kiekvieno atsakymo įrodymų kilmės auditu.

Šaltiniai