Dweve

Newrosimboliku, sena wara: x'juri tassew ir-riċerka tal-2026

Sena ilu sostnejna li l-pass li jmiss fl-IA kien se jgħaqqad mudelli mgħallma ma' struttura espliċita. Ir-riċerka tal-2026 issa tagħti numri lil dak...

Newrosimboliku, sena wara: x'juri tassew ir-riċerka tal-2026

Sena ilu, l-argument kien kważi kollu argument

F'Novembru 2025 ippubblikajna "The neuro-symbolic renaissance", kitba li ssostni li l-aktar sistemi tal-IA utli tas-snin li ġejjin mhux se jkunu biss mudelli tal-lingwa akbar. Dawn se jgħaqqdu mudelli mgħallma, tajbin fl-għarfien, fil-lingwa u fix-xejriet, ma' struttura simbolika espliċita, tajba fir-regoli, fil-kundizzjonijiet, fil-provenjenza u fil-prova. Għamilna dan l-argument mill-bażi u mill-esperjenza tal-inġinerija tagħna stess, għax hekk inhi mibnija Dweve: Loom, il-magna tar-raġunar tagħna, tqassam ix-xogħol fuq 528 speċjalista, li ħafna minnhom huma solvers simboliċi, verifikaturi u magni tar-regoli aktar milli netwerks newrali, u t-tweġiba li tirritorna ġġorr traċċa ta' liema partijiet għamlu xiex.

Argument mill-bażi huwa punt tat-tluq raġonevoli. Mhuwiex evidenza. Għalhekk jistħoqqlu li nistaqsu, sena wara, x'qed juri issa r-riċerka ppubblikata. Mhux il-komunikati stampa, u mhux l-entużjażmu ġenerali għall-kelma "neurosymbolic", li saret biżżejjed moda biex tiġi applikata għal kważi kollox. Ir-riżultati speċifiċi u mkejla.

Żewġ dokumenti mill-2026 huma partikolarment utli, għax jittestjaw direttament it-talbiet ewlenin u jirrappurtaw numri li jistgħu jiġu vverifikati. Wieħed jikkonċerna aġenti li jridu jaġixxu f'dinja: meta żżid kundizzjonijiet simboliċi u tfittxija ma' mudell tal-lingwa, il-pjanijiet tiegħu jsiru eżegwibbli? L-ieħor jikkonċerna t-tweġib ta' mistoqsijiet fuq l-għarfien: meta tibni l-istruttura tal-għarfien b'mod deterministiku minn sorsi awtorevoli, minflok ma testraħha b'mudell tal-lingwa, it-tweġibiet isiru aktar traċċabbli? It-tnejn iwieġbu iva, b'marġni wiesgħa. U t-tnejn joqogħdu attenti dwar dak li ma wrewx, li huwa mill-inqas daqstant istruttiv daqs dak li wrew.

Plawżibbli mhuwiex l-istess bħal eżegwibbli

L-ewwel dokument, "Neurosymbolic Embodied Agents" ta' Albinhassan, Feng, Russo u Madhyastha, imqiegħed fuq arXiv f'Awwissu 2026, jibda minn osservazzjoni li kulmin ipprova juża mudell tal-lingwa bħala pjanifikatur jagħrafha. Il-mudelli tal-lingwa u tal-lingwa u l-viżjoni, jgħid l-astratt tiegħu, "jiġġeneraw pjanijiet inkorporati plawżibbli iżda ma jiggarantixxux l-eżegwibbiltà, għax il-ħruġ tagħhom jista' jikser id-dinamika tal-ambjent jew jaġixxi fuq entitajiet ibbażati b'mod żbaljat."

Id-distinzjoni bejn plawżibbli u eżegwibbli hija l-problema kollha f'sentenza waħda. Mudell mitlub jagħmel tazza te f'kċina simulata se jipproduċi sekwenza ta' passi li taqra tajjeb: mur il-kċina, aqbad il-kitla, imliha, ixgħelha. Iżda jista' jipprova jaqbad kitla li mhix hemm, jew jimla kitla li tinsab f'kabinet magħluq, jew jferra' minn kitla li ma għalqitx. Kull pass huwa plawżibbli. Il-pjan kollu jonqos, għax il-mudell ma jsegwix l-istat tad-dinja u r-regoli ta' kif l-azzjonijiet ibiddluh.

L-aġent tad-dokument iqassam kompiti domestiċi fuq perjodu twil f'żewġ fażijiet. Fl-ewwel waħda, mudell tal-lingwa u l-viżjoni u armar ta' esplorazzjoni jakkwistaw predikati rilevanti għall-għan u rabtiet tal-istanzi minn osservazzjonijiet eġoċentriċi u interazzjonijiet ibbażati, u jipproduċu deskrizzjoni simbolika tal-istat inizjali: din il-kitla hawn, dan il-kabinet magħluq, din it-tazza vojta. Fit-tieni waħda, mudell ta' tranżizzjoni PDDL, deskrizzjoni formali ta' liema azzjonijiet huma applikabbli f'liema stati u x'ibiddlu, "jirrestrinġi d-dekodifikazzjoni għal tokens li jestendu azzjonijiet applikabbli." Il-mudell tal-lingwa jista' jiġġenera biss azzjonijiet li l-mudell simboliku jgħid li huma possibbli. Imbagħad it-tfittxija tal-siġra Monte Carlo tevalwa kontinwazzjonijiet eżegwibbli permezz ta' euristika tal-pjanifikazzjoni indipendenti mid-dominju.

Il-konsegwenza, fi kliem l-awturi, hija li "l-pjanijiet li jirriżultaw huma eżegwibbli b'kostruzzjoni taħt il-mudell ta' tranżizzjoni, bit-trasferiment għall-ambjent kundizzjonat fuq ibbażar viżiv korrett." Dik l-aħħar klawsola hija importanti, u nerġgħu lura għaliha hawn taħt.

Miġbur fil-qosor minn Albinhassan, Feng, Russo u Madhyastha, Neurosymbolic Embodied Agents, arXiv 2608.16794.

Mudelli żgħar b'restrizzjonijiet jegħlbu mudell kbir mingħajr restrizzjonijiet

Ir-riżultati huma tal-għaġeb. Fuq żewġ benchmarks standard tal-kompiti tad-dar, VirtualHome u ALFWorld, l-astratt jirrapporta li "mudelli miftuħa ta' 4B-27B jaqbżu 90% suċċess fiż-żewġ ambjenti, u l-iżgħar aġent tagħna jisboq b'mod sostanzjali politika viżwali diretta ta' 27B f'kull wieħed." Fir-riżultati tal-karta, ir-rati ta' suċċess ivarjaw minn 94.5 sa 99.5 fil-mija fuq VirtualHome u minn 90.3 sa 97.8 fil-mija fuq ALFWorld madwar id-daqsijiet tal-mudelli. L-aġent ta' 4 biljuni parametru jisboq il-politika viżwali diretta ta' 27 biljun parametru b'32.0 punti perċentwali fuq benchmark wieħed u b'63.4 fuq l-ieħor.

It-tieni riżultat jistħoqqlu qari bil-mod. Mudell ta' madwar sebgħa darbiet iżgħar, mogħti struttura espliċita dwar id-dinja u proċedura ta' tfittxija fuq azzjonijiet eżegwibbli, jagħmel ħafna aħjar minn mudell ħafna akbar mitlub jaġixxi direttament. Id-differenza mhijiex aġġustament marġinali. Hija d-differenza bejn sistema li taħdem fil-biċċa l-kbira u waħda li ma taħdimx fil-biċċa l-kbira.

Għal kull min hu mħasseb bl-ispiża, il-konsum tal-enerġija u l-kontrollabbiltà tas-sistemi tal-IA, dan huwa importanti. Mudell żgħir miftuħ jista' jaħdem fuq hardware modest, jista' jiġi spezzjonat, jista' jiġi ffissat għal verżjoni u jista' jiġi ospitat fejn l-operatur jagħżel. Jekk iż-żieda ta' struttura tippermetti lil mudell bħal dan jisboq wieħed kbir fuq kompiti li jeħtieġu azzjoni affidabbli, allura l-argumenti tas-sovranità u l-effiċjenza għal mudelli żgħar isiru ħafna aktar b'sahħithom. Id-daqs mhuwiex l-unika triq lejn il-kapaċità. L-istruttura hija oħra.

Ir-restrizzjonijiet u t-tfittxija jikkumplimentaw lil xulxin, mhumiex interkambjabbli

L-aktar sejba interessanti, għalina, hija ablazzjoni. L-awturi ttestjaw ir-restrizzjonijiet u t-tfittxija separatament. F'ALFWorld, kull waħda waħedha "ssolvi inqas minn terz tal-kompiti, filwaqt li l-kombinazzjoni tagħhom issolvi aktar minn 95%." Iċ-ċifri fid-dettall huma 32.3 fil-mija għar-restrizzjonijiet waħedhom u 29.2 fil-mija għat-tfittxija waħedha, kontra 95.5 fil-mija flimkien.

Dan huwa riżultat li storja sempliċi dwar l-IA newrosimbolika ma tbassarx. Wieħed jista' jistenna li r-restrizzjonijiet, billi jipprevjenu azzjonijiet invalidi, jagħmlu l-biċċa l-kbira tax-xogħol, u t-tfittxija żżid ftit. Jew li t-tfittxija, billi tesplora ħafna mogħdijiet, issib pjanijiet tajbin u r-restrizzjonijiet sempliċement iħaffuha. Minflok, kull waħda waħedha tfalli fuq il-biċċa l-kbira tal-kompiti, u flimkien jirnexxu kważi fuq kollha.

L-intuwizzjoni mhix diffiċli biex terġa' tibniha. Ir-restrizzjonijiet mingħajr tfittxija jiggarantixxu li kull pass ikun validu, imma ma jagħmlu xejn biex jiżguraw li s-sekwenza ta' passi validi tasal sal-għan. Mudell jista' jgħaddi mill-kċina jagħmel azzjonijiet perfettament legali għal dejjem. It-tfittxija mingħajr restrizzjonijiet tesplora ħafna kontinwazzjonijiet, imma ħafna minnhom jinkludu azzjonijiet invalidi, allura l-ispazju tat-tfittxija jkun iddominat minn pjanijiet li se jfallu, u l-euristika jkollha ftit x'taħdem biha. Flimkien, ir-restrizzjonijiet iċekknu l-ispazju għal pjanijiet validi u t-tfittxija ssib dawk tajbin fosthom.

Din il-komplementarjetà hija, fil-fehma tagħna, l-aktar appoġġ empiriku qawwi s'issa għall-pretensjoni arkitettonika li għamilna sena ilu. Il-valur mhuwiex li tqabbad modulu simboliku ma' wieħed newrali. Huwa fi qsim speċifiku tax-xogħol, fejn kull parti tagħmel dak li hija tajba fih u tikkumpensa għad-dgħufija tal-oħra.

Ċifri kif irrappurtati fl-arXiv 2608.16794. Kull komponent waħdu jsolvi inqas minn terz tal-kompiti.

Inqas tokens, u fallimenti li jindikaw fejn tmur

Żewġ riżultati oħra mill-karta huma faċli li jgħaddu mingħajr ma tingħata kas tagħhom u jistħoqqilhom attenzjoni.

L-ewwel hija l-effiċjenza. L-astratt jirrapporta li l-metodu "juża diversi drabi inqas tokens iġġenerati mill-ħsieb estiż u ħafna inqas immaġini viżibbli għall-mudell mill-interazzjoni diretta". Fil-karta, it-tnaqqis fit-tokens meta mqabbel mal-ħsieb estiż huwa rrappurtat sa erba' darbiet. Il-ħsieb estiż, fejn mudell jikteb ktajjen twal ta' raġunament qabel ma jaġixxi, huwa l-istrateġija alternattiva ewlenija biex tittejjeb l-affidabbiltà tal-pjanijiet tal-mudell. Jaħdem sa ċertu punt, imma huwa għali: kull token ta' raġunament jiġi kkalkulat u, fuq servizzi ospitati, jitħallas. Metodu li jikseb riżultati aħjar b'frażżjoni mit-tokens huwa aħjar fl-ispiża u fl-enerġija kif ukoll fis-suċċess.

It-tieni hija d-dijanjostikabbiltà. L-astratt jinnota li "l-fallimenti residwi jilokalizzaw ruħhom fl-akkwist tal-istat aktar milli fil-ġenerazzjoni tal-pjan mingħajr ebda taħriġ speċjalizzat." Meta l-aġent ifalli, ifalli għax l-istampa tiegħu tad-dinja kienet ħażina, mhux għax ippjana ħażin fid-dawl ta' dik l-istampa. Dan huwa eżattament dak li wieħed jittama minn sistema li l-pjanijiet tagħha huma eżegwibbli bil-kostruzzjoni. Jgħid ukoll lill-inġinier fejn għandu jaħdem wara. F'sistema newrali end-to-end, falliment spiss ikun proprjetà diffuża tal-mudell kollu, u l-unika rimedju huwa aktar data jew mudell akbar. F'sistema fattorizzata, falliment ikollu indirizz.

Fil-fehma tagħna, id-dijanjostikabbiltà hija sottovalutata fir-riċerka tal-IA. Sistema li tfalli inqas hija tajba. Sistema li l-fallimenti tagħha jistgħu jiġu lokalizzati, spjegati u msewwija hija aħjar, għax tista' tittejjeb b'mod deliberat u għax l-imġiba tagħha tista' tiġi fdati fil-każijiet fejn il-komponenti tagħha huma magħrufa li huma affidabbli.

L-istess mudell jidher fit-tweġib tal-mistoqsijiet

It-tieni karta tittratta problema differenti, b'riżultat li jixbah b'mod impressjonanti. "Ontology-guided neuro-symbolic GraphRAG for grounded query answering", ta' Domenico Benfenati u Antonio Maria Rinaldi mill-Università ta' Naples Federico II, ġiet ippubblikata f'Neural Computing and Applications f'Ottubru 2026. Tistudja t-tweġib tal-mistoqsijiet fuq għarfien taċ-ċibersigurtà: vulnerabbiltajiet, dgħufijiet, mudelli ta' attakk u prodotti affettwati, meħuda minn repożitorji pubbliċi bħal CVE, CWE, CAPEC u CPE.

Il-paragun huwa bejn żewġ modi kif jinbena l-grafu tal-għarfien li mudell tal-lingwa jibbaża fuqu meta jwieġeb mistoqsijiet. Fl-approċċ GraphRAG użat b'mod wiesa', mudell tal-lingwa jaqra test mhux strutturat u jislet entitajiet, relazzjonijiet u sommarji tal-komunità, li mbagħad iservu bħala s-sottostrat tar-ritrieval. Fl-approċċ tal-awturi, il-grafu jinbena minn fuq għal isfel mir-repożitorji awtorevoli, permezz ta' crawling immirat, unifikazzjoni tal-iskema mmexxija mill-ontoloġija u inferenza simbolika bbażata fuq regoli, bħal katina transittiva u impatt fuq il-prodott b'ħafna passi. L-ontoloġija nnifisha hija derivata mill-istruttura tal-qasam tar-repożitorji reali minflok ma hija sintetizzata minn mudell. Il-mudell tal-lingwa mbagħad jingħata evidenza minn dan il-grafu, fi fluss li l-awturi jiddeskrivu bħala strettament f'direzzjoni waħda: is-sottostrat simboliku huwa "kompletament deterministiku, li jippreserva l-provenjenza u li jista' jiġi spezzjonat b'mod indipendenti".

Il-verifika tal-provenjenza hija l-esperiment l-aktar li jiżvela. Fil-grafu mmexxi mill-ontoloġija, 100 fil-mija tax-xfar kampjunati kienu traċċabbli għal rekords sors awtorevoli jew għal regoli ta' inferenza ddikjarati. Fil-grafu estratt mill-LLM, 83 fil-mija kienu traċċabbli, u 58 fil-mija biss qabbdu punti tat-tarf ma' identifikaturi kanoniċi. Id-differenza tkompli fid-domandi: is-sistema mmexxija mill-ontoloġija kisbet preċiżjoni taċ-ċitazzjoni ta' 95 fil-mija, kontra 66 fil-mija għall-bażi GraphRAG.

L-ispjegazzjoni strutturali tal-awturi hija l-parti importanti. Fil-GraphRAG estratt mill-LLM, it-tweġibiet huma bbażati fuq sommarji miktuba mill-istess tip ta' mudell li jiġġenera r-risposta, għalhekk il-katina tal-provenjenza tieqaf f'intermedjarju newrali minflok ma tilħaq rekord awtorevoli. Ċitazzjoni għal sommarju miktub minn mudell hija ċitazzjoni għal interpretazzjoni. Ċitazzjoni għal rekord sors, permezz ta' xfar li kull waħda minnhom hija traċċabbli għal dak ir-rekord jew għal regola ddikjarata, hija ċitazzjoni għal evidenza.

Ċifri kif irrappurtati minn Benfenati u Rinaldi, Neural Computing and Applications, 2026, fuq korpus taċ-ċibersigurtà.

Iċ-ċitazzjonijiet mhumiex il-provenjenza kollha

It-tielet karta, iżgħar, mill-2026 iżżid kumplikazzjoni utli. "Why Neighborhoods Matter: Traversal Context and Provenance in Agentic GraphRAG", ippubblikata fuq arXiv f'Mejju 2026, tistudja sistemi li fihom aġent jesplora grafu tal-għarfien qabel ma jwieġeb u mbagħad jiċċita sett żgħir ta' entitajiet. Tistaqsi jekk iċ-ċitazzjonijiet finali humiex biżżejjed biex jispjegaw l-evidenza li fuqha kienet tiddependi t-tweġiba.

Il-konklużjoni tagħha hija li mhumiex. L-entitajiet iċċitati normalment ikollhom importanza: it-tneħħija tagħhom tbiddel sostanzjalment it-tweġibiet u tnaqqas l-eżattezza. Iżda l-esperimenti juru li tweġiba eżatta tiddependi wkoll fuq it-traversata tal-grafu, l-istruttura tal-viċinat u entitajiet li l-aġent żar iżda ma ċċitax. L-awturi jikkonkludu li ċitazzjoni fidila "għandha wkoll tqis il-kuntest tal-grafu u l-mogħdija tal-irkupru li jsawru r-risposta finali."

Dan is-sejba ttemm il-lezzjoni tal-karta ta' Benfenati u Rinaldi. Grafu deterministiku u traċċabbli hija meħtieġa għal tweġibiet li l-evidenza tagħhom tista' tiġi vverifikata. Mhijiex biżżejjed jekk is-sistema tirreġistra biss dak li tiċċita u mhux dak li qrat. Il-provenjenza trid tinkludi l-mogħdija, mhux biss id-destinazzjoni. Dan, kif ġara, huwa l-istess konklużjoni li wasalna għaliha mill-aspett tal-inġinerija meta ddisinjajna Knot: ir-rekord ta' korsa ta' aġent irid jinkludi kull qari u kull pass intermedju, mhux biss il-prodott finali, għax il-passi huma dak li jispjega l-prodott.

Dak li r-riżultati ma jurux

Iż-żewġ karti ewlenin huma kawti bil-limiti tagħhom, u dawk il-limiti jistħoqqilhom jingħadu b'mod ċar, għax l-entużjażmu għal riżultat għandu t-tendenza li jħassar il-kundizzjonijiet tiegħu.

Ir-riżultati tal-aġent inkorporat huma f'simulazzjoni. VirtualHome u ALFWorld huma benchmarks stabbiliti sew, iżda huma ambjenti domestiċi simulati b'dinamika magħrufa. Il-garanzija li l-pjanijiet huma eżegwibbli "bil-kostruzzjoni" tgħodd taħt il-mudell ta' tranżizzjoni, jiġifieri taħt id-deskrizzjoni simbolika ta'kif jaħdem id-dinja. Jekk dik id-deskrizzjoni hija żbaljata jew mhux kompluta, il-garanzija ma tittrasferixxix. Fid-dinja reali, li tikteb mudell ta' tranżizzjoni komplut u korrett hija ħaġa diffiċli, u d-dinja għandha l-vizzju li tinkludi affarijiet li l-mudell ma kienx jistenna.

L-istess riżultati jiddependu minn bażi viżwali korretta. L-astratt jgħid dan b'mod espliċitu. Jekk il-fażi ta' esplorazzjoni tisbagħta oġġett, jew titlef wieħed, l-istat simboliku jkun żbaljat, u pjan li jkun perfettament eżegwibbli taħt stat żbaljat jista' jonqos fir-realtà. Is-sejba tal-karta li l-fallimenti residwi jillokalizzaw fl-akkwist tal-istat hija aħbar tajba għad-dijanjostikabbiltà, u hija wkoll tfakkira li l-perċezzjoni tibqa' l-parti diffiċli.

Ir-riżultati tal-GraphRAG jinsabu f'dominju wieħed, iċ-ċibersigurtà, fejn jeżistu repożitorji strutturati awtorevoli u għandhom identifikaturi stabbli. Ħafna dominji mhumiex hekk. Fejn l-għarfien jgħix l-aktar f'dokumenti mhux strutturati mingħajr identifikaturi kanoniċi, il-materjalizzazzjoni minn fuq għal isfel mhijiex disponibbli, u xi forma ta' estrazzjoni hija inevitabbli. Il-metodu tal-karta juri x'jsir possibbli meta jkunu jeżistu sorsi tajbin. Ma jurix kif toħloqhom fejn ma jkunux jeżistu.

Il-valutazzjoni tal-GraphRAG tal-korrettezza tat-tweġibiet użat mudell tal-lingwa bħala mħallef, Gemini 2.5 Flash, fuq ħmistax-il mistoqsija għal kull kompitu. Dan huwa disinn raġonevoli għal karta ta' riċerka, u l-verifika tal-provenjenza hija kejl aktar dirett. Iżda l-qarrejja għandhom iqisu ċ-ċifri tal-kwalità tat-tweġibiet bħala indikattivi aktar milli definittivi, u ċ-ċifri tal-provenjenza bħala r-riżultat l-aktar b'saħħtu.

Xejn minn dawn il-limiti ma jdgħajjef il-karti. Dawn huma l-kundizzjonijiet normali ta' riċerka tajba. Iżda huma importanti għal kull min huwa mħajjar jaqra "neurosimbolliku" bħala soluzzjoni ġenerali. Hija sett ta' għażliet arkitettoniċi li jaħdmu tajjeb ħafna meta l-prekonizzjonijiet tagħhom ikunu sodisfatti: mudell simboliku korrett tad-dominju, bażi affidabbli tal-perċezzjoni f'dak il-mudell, u sorsi awtorevoli għall-għarfien. Ħafna mill-ħidma prattika tinsab fl-istabbiliment ta' dawk il-prekonizzjonijiet.

X'jiġri wara l-ewwel żball

Ir-rati ta' suċċess jgħidulek kemm-il darba sistema ttemm kompitu. Ma jgħidulekx kif iġġib ruħha meta xi ħaġa tmur ħażin, li ħafna drabi hija l-mistoqsija l-aktar importanti għal kull min irid jużaha. Il-karta tal-aġent inkorporat tinkludi appendiċi li jwieġeb dan, u hija waħda mill-partijiet l-aktar rivelaturi tax-xogħol.

L-awturi kejlu x'għamlu l-politiki "wara l-ewwel eżekuzzjoni li ma setgħetx tiġi bbazata jew li falliet", u rrappurtaw kemm-il darba l-kompiti kienu fihom avveniment bħal dan, kemm-il darba l-politika kompliet tirkupra l-kompitu, kemm-il darba reġgħet minnufih it-talba li falliet, u kemm-il darba waqgħet f'linja ta' azzjoni persistenti. Ir-riżultati għall-politiki viżwali diretti, li jippjanaw mingħajr il-konstrizzjonijiet simboliċi, huma impressjonanti.

F'VirtualHome, il-politika diretta Qwen 4B iltaqgħet ma' falliment fi 64.5 fil-mija tal-kompiti. Irkuprat il-kompitu fi 5.4 fil-mija ta' dawk il-każijiet, reġgħet minnufih it-talba li falliet fi 74.5 fil-mija, u spiċċat f'linja persistenti fi 45.5 fil-mija. F'ALFWorld, l-istess mudell iltaqa' ma' falliment fi 73.9 fil-mija tal-kompiti, irkupra fi 1.0 fil-mija u spiċċa f'linja persistenti fi 94.8 fil-mija. L-akbar mudell dirett għamel aħjar, kif wieħed jistenna: f'VirtualHome, il-politika 27B iltaqgħet ma' falliment fi 29.0 fil-mija tal-kompiti, irkupra fi 37.9 fil-mija, reġgħet it-talba fi 8.3 fil-mija u daħlet f'linja fi 9.5 fil-mija. F'ALFWorld, anki dak il-mudell irkupra biss fi 25.7 fil-mija tal-każijiet.

L-introduzzjoni tal-karta tispjega għaliex jiġri dan. Politika diretta trid tidentifika oġġetti, issegwi l-istat tagħhom, tagħżel azzjonijiet applikabbli u tirraġuna dwar effetti mdewwma "ġewwa storja awtoregressiva waħda, fejn huma liberi li jikkomponu". L-awturi josservaw li "feedback tal-eżekuzzjoni jista' jikxef żball bħal dan wara li jseħħ, iżda ma jżommx il-mudell milli jirrepeti għażla invalida jew milli jiddevja mill-istat li l-azzjonijiet tiegħu stess ikkawżaw."

Din is-sentenza tiddeskrivi mudell li ħafna nies jagħrfu minn aġenti barra l-laboratorju. Aġent jipprova jagħmel xi ħaġa, ma tirnexxix, l-iżball jintbagħat lura, u l-aġent jerġa' jipprova l-istess ħaġa, jew xi ħaġa ekwivalenti. Il-feedback huwa informazzjoni, imma l-informazzjoni ma żżommx. Sistema li tqis il-validità tal-azzjoni bħala xi ħaġa li għandha tiġi dedotta, minflok infurzata, tista' tingħata l-messaġġ li kienet żbaljata mingħajr ma tiġi mwaqqfa milli terġa' tiżbalja.

L-approċċ ristrett ibiddel dan billi jagħmel l-applikabilità, fi kliem il-karta, "kundizzjoni li tinżamm matul il-ġenerazzjoni u t-tfittxija". Azzjoni li l-prekonizzjonijiet tagħha ma jkunux sodisfatti qatt ma tiġi prodotta, allura ma jkunx hemm xejn x'jirrepeti. Dan ma jagħmilx is-sistema infallibbli. Imma jċaqlaq il-falliment f'post ieħor.

Figuri mit-Tabella 10 ta' Albinhassan u kollegi, 2026, għal politiki diretti mingħajr restrizzjonijiet simboliċi. Perċentwali; l-irkupru u r-repetizzjoni huma fost il-kompiti li ltaqgħu ma' falliment.

Il-karta tidentifika l-fallimenti tagħha stess

Rendikont onest tar-riżultati jrid jgħid fejn l-aġent ristrett ifalli, u l-karta tagħmel dan. Il-pjanifikatur simboliku tagħha jista' jippjana biss fuq l-istat li jingħata. Meta l-istadju tal-esplorazzjoni viżwali jitlef oġġett meħtieġ, jiktbu l-awturi, "il-falliment imbagħad jinfirex għax l-istat inizjali ankurat iħalli barra oġġett meħtieġ. Din hija limitazzjoni tal-komponent tal-akkwist tal-istat viżwali aktar milli tal-garanzija tal-applikabilità."

Din id-distinzjoni hija importanti. Il-garanzija li toffri s-sistema hija dejqa u qawwija: kull azzjoni li tippjana hija applikabbli fl-istat li taħseb li tinsab fih. Jekk dik it-twemmin taqbilx mad-dinja jiddependi mill-perċezzjoni, u l-perċezzjoni għadha ssir minn mudell newrali bl-inċertezza kollha li dan jimplika. L-awturi jistennew li "titjib fir-rikonoxximent viżwali u fl-għażla attiva tal-perspettiva għandu jittrasferixxi direttament għall-metodu komplet", li hija aspettattiva raġonevoli u wkoll tfakkira li l-parti simbolika ma tistax tikkumpensa għal dak li l-parti newrali ma tarax.

Għal nies li jevalwaw sistemi bħal dawn, il-lezzjoni hija li jistaqsu fejn tieqaf il-garanzija. Sistema newrosimbolika tipikament toffri ċertezza dwar parti waħda mill-proċess (il-pjan huwa validu, l-inferenza ssegwi r-regoli, it-tweġiba hija sostnuta mill-grafu) u tirtira l-inċertezza mill-partijiet li jitimgħuha. Sistema tajba tagħmel dak il-konfini viżibbli. Tirreġistra dak li pperċepiet, dak li assumiet u dak li dderivat, sabiex reviżur ikun jista' jgħid jekk falliment ġiex mir-raġunament jew mill-input għar-raġunament.

Huwa wkoll għalhekk li l-analiżi tal-fallimenti tat-tip fl-appendiċi tal-karta hija tant siewja. Li tkun taf li sistema tfalli l-aktar fl-ankraġġ aktar milli fil-pjanifikazzjoni tgħid lill-inġinier fejn għandu jinvesti, u tgħid lil min jużaha x'tip ta' sorveljanza hija meħtieġa. Reviżur uman li jivverifika x-xogħol ta' aġent ristrett għandu jivverifika l-istampa tiegħu tad-dinja, mhux l-aritmetika tiegħu.

L-istudju tat-traversata huwa żgħir, u jgħid dan

Il-karta dwar il-kuntest tat-traversata hija attenta dwar il-limiti tagħha stess ukoll. L-awturi tagħha jiktbu li l-istudju "huwa limitat mid-daqs żgħir tal-benchmark u mill-użu tiegħu ta' grafa tal-għarfien ikkontrollata mibnija minn 2WikiMultiHopQA minflok grafa tal-għarfien kbira tad-dinja reali." Huma jappellaw għal evalwazzjoni "fuq settijiet ta' data akbar, strutturi ta' grafi aktar sinjuri, u bażijiet tal-għarfien speċifiċi għad-dominju", u għal mekkaniżmi ta' ċitazzjoni "li jesponu mhux biss l-entitajiet finali ta' appoġġ iżda wkoll il-kuntest rilevanti tat-traversata."

Dik il-kandidezza hija utli. Is-sejba, li ċ-ċitazzjonijiet huma neċessarji iżda mhux biżżejjed biex jagħtu kont tat-tweġiba ta' aġent, hija plawżibbli u importanti, iżda tistrieħ fuq ambjent ikkontrollat. Qabel ma xi ħadd jibni politika fuqha, għandha tiġi riprodotta fuq it-tipi ta' grafi li jużaw sistemi reali: bażijiet tal-għarfien tal-intrapriża, korpora regolatorji, katalogi tal-prodotti. Sa dakinhar, l-aħjar li tinqara bħala twissija mfassla tajjeb aktar milli kejl stabbilit.

It-twissija xorta waħda tajba li wieħed joqgħod attent għaliha. L-awturi jikkonkludu li "il-provenjenza f'irkupru ibbażat fuq grafi u mmexxi minn aġenti għandha tiġi trattata bħala proprjetà fil-livell tat-traġettorja". Għal min jibni sistemi, dan ifisser li wieħed jirreġistra l-mogħdija, mhux biss id-destinazzjoni: liema entitajiet ġew żurati, liema konnessjonijiet ġew segwiti, liema ġirien intwerew u ma ġewx iċċitati. Lista ta' ċitazzjonijiet hija sommarju ta' dik il-mogħdija. Bħal kull sommarju, tista' tkun preċiża u xorta tħalli barra xi ħaġa li kellha importanza.

Hemm spiża prattika mar-reġistrazzjoni tal-mogħdija, u għandha tissemma. Ir-rekords tat-traversata huma akbar minn listi ta' ċitazzjonijiet, jistgħu jkun fihom materjal li l-utent qatt ma ntwerielu, u jeħtieġu l-istess attenzjoni dwar l-aċċess u ż-żamma bħal kull reġistru ieħor. Iżda l-alternattiva hija agħar. Meta tweġiba tiġi kkontestata, sistema li żammet biss iċ-ċitazzjonijiet tagħha tista' turi lejn xiex indikat. Sistema li żammet it-traġettorja tagħha tista' turi kif waslet hemm, li hija l-mistoqsija li fil-fatt jagħmel min jirrevedi. Għal rkupru mmexxi minn aġenti, dik id-differenza x'aktarx tiddetermina jekk spjegazzjoni tiġix aċċettata jew sempliċement tollerata.

L-argument eqdem dwar l-ispjegazzjoni għadu japplika

Xejn minn dan mhu ġdid fl-ispirtu. Id-dibattitu dwar l-ispjegazzjoni fit-tagħlim awtomatiku ilu għaddej snin, u r-riżultati tal-2026 jaqblu miegħu aktar milli jissostitwixxuh.

Fl-2017, Finale Doshi-Velez u Been Kim osservaw li "minkejja l-interess fl-interpretabbiltà, hemm ftit ħafna kunsens dwar x'inhu tagħlim awtomatiku interpretabbli u kif għandu jitkejjel." Fl-2018, Cynthia Rudin argumentat li "l-attentat li jiġu spjegati mudelli black box, minflok ma jinħolqu mudelli li huma interpretabbli mill-bidu, x'aktarx iżomm prattiki ħżiena u jista' potenzjalment jikkawża ħsara katastrofika lis-soċjetà." L-istess sena, Julius Adebayo u kollegi wrew li xi metodi ta' saliency "huma indipendenti kemm mill-mudell kif ukoll mill-proċess li jiġġenera d-data", u jipproduċu spjegazzjonijiet simili kemm jekk il-mudell kien tgħallem xi ħaġa kif ukoll jekk le.

Ir-riżultati tal-ippjanar ikkontrollat u tal-GraphRAG jistgħu jinqraw bħala evidenza għall-pożizzjoni ta' Rudin f'ambjent ġdid. Meta l-pjan jiġi prodott minn tfittxija fuq regoli espliċiti, il-validità tiegħu hija proprjetà ta' kif sar, u spjegazzjoni ta' għaliex intgħażlet azzjoni tista' tinqara mit-tfittxija. Meta tweġiba tiġi prodotta billi tiġi traversata grafa, il-provenjenza tagħha hija proprjetà tat-traversata, sakemm it-traversata tiġi rreġistrata. Fiż-żewġ każijiet l-ispjegazzjoni mhijiex interpretazzjoni ta' mudell ieħor tal-ewwel wieħed. Hija r-rekord ta' dak li għamel l-ewwel wieħed.

Dak li jżidu r-riżultati tal-2026 huwa evidenza li dan it-tip ta' sistema tista' wkoll tagħti prestazzjoni tajba. L-oġġezzjoni l-antika kontra l-approċċi interpretabbli kienet li dawn jiswew preċiżjoni. Riżultati bħal dawn, li fihom mudelli żgħar b'kostrizzjonijiet jegħlbu mudelli akbar mingħajr kostrizzjonijiet fuq kompiti strutturati, ma jsolvux dik il-kwistjoni b'mod ġenerali. Huma juru li, għal kompiti b'regoli espliċiti u riżultati verifikabbli, il-kompromess mhuwiex dak li kienu jassumu n-nies.

Il-ħsieb itwal ma għenx, u l-benchmark faċli jaħbih

L-ablation tal-komponenti fil-karta tal-aġent inkorporat fiha żewġ dettalji oħra li jistħoqqilhom attenzjoni, għax imorru kontra assunzjonijiet komuni.

L-ewwel wieħed jikkonċerna r-raġunament estiż. Bil-mudell Qwen 27B, id-dekodifikazzjoni greedy sempliċi laħqet 61.0 fil-mija suċċess f'VirtualHome u 15.4 fil-mija f'ALFWorld. L-istess mudell fil-modalità tal-ħsieb, b'baġit sa 32,768 token tal-ħruġ skont is-settings tad-dekodifikazzjoni tal-karta, laħaq 59.0 u 16.9 fil-mija. Li tħalli l-mudell jirraġuna fit-tul ħafna aktar ma għamel prattikament ebda differenza. Iż-żieda ta' kostrizzjonijiet tal-applikabbiltà mad-dekodifikazzjoni greedy, min-naħa l-oħra, għolliet is-suċċess f'VirtualHome minn 61.0 għal 98.5 fil-mija. Fi kliem l-awturi, dan juri li "il-kostrizzjonijiet tal-applikabbiltà jammontaw għall-biċċa l-kbira tal-qligħ".

Dan huwa korrettiv utli għall-idea li aktar tokens ta' raġunament huma rimedju ġenerali għall-iżbalji fl-ippjanar. Meta l-iżball ikun li tagħżel azzjoni li l-prekonizzjonijiet tagħha mhumiex sodisfatti, aktar deliberazzjoni interna ma twaqqafhiex b'mod affidabbli. Regola li tagħmel tali azzjonijiet impossibbli twaqqafha.

It-tieni dettall jikkonċerna d-diffikultà tal-benchmark. F'VirtualHome, it-tfittxija mingħajr kostrizzjonijiet waħedha laħqet 99.0 fil-mija, l-istess bħall-metodu sħiħ, għalkemm l-awturi jinnotaw li għamlet dan "bi prezz ogħla tal-ġenerazzjoni" kif muri fil-figuri tagħhom. Qarrej li jħares biss lejn VirtualHome jista' jikkonkludi li t-tfittxija hija kollox. ALFWorld turi mod ieħor: il-kostrizzjonijiet waħedhom laħqu 32.3 fil-mija, it-tfittxija mingħajr kostrizzjonijiet 29.2 fil-mija, u l-kombinazzjoni 95.5 fil-mija. L-awturi jattribwixxu l-vojt akbar għal problema ta' ppjanar aktar diffiċli. Pjanijiet ta' suċċess mill-mudell 27B kellhom medja ta' 8.0 azzjonijiet ta' livell għoli f'ALFWorld u 6.4 f'VirtualHome, b'massimi ta' 30 u tmienja, u ALFWorld "tintroduċi aktar rabtiet ta' istanzi u reċipjenti f'kull stadju."

Il-lezzjoni ġenerali hija li benchmark faċli jista' jagħmel żewġ disinji differenti jidhru ekwivalenti. Id-differenzi jidhru biss meta l-problema ssir twila biżżejjed u kostretta biżżejjed. Kull min iqabbel arkitetturi tal-aġenti għandu jittestjahom fuq kompiti mill-inqas twal u kostretti daqs dawk li biħsiebu juża, mhux fuq l-iqsar kompiti disponibbli.

L-esperimenti huma riproduċibbli b'disinn

Karatteristika oħra tal-karta ta' min jinnotaha, għax tikkollegi ma' tema x'imkien ieħor f'din is-serje. L-awturi jippubblikaw is-settings tad-dekodifikazzjoni tagħhom kollha kemm huma. Il-fażijiet kostretti tal-Qwen jaħdmu b'temperatura 0.0. Fejn tintuża n-nucleus sampling, għall-runs supplimentari tal-ħsieb u l-baselines inkorporati, l-evalwazzjonijiet jiġu ripetuti bi tliet seeds imsemmija: 0, 42 u 1738. It-tfittxija hija limitata għal 250 sekonda għal kull kompitu, u l-karta tiddikjara li l-iperparametri tat-tfittxija tagħha "ġew magħżula b'mod empiriku".

Dawn id-dettalji huma dak li jagħmel riżultat verifikabbli. Qarrej li jrid jirriproduċi x-xogħol ikun jaf liema settings għandu juża, kemm runs għandu jagħmel u kemm varjazzjoni għandu jistenna. Jagħmlu wkoll il-limiti viżibbli: iperparametri magħżula b'mod empiriku jistgħu jeħtieġu aġġustament mill-ġdid f'ambjenti oħra, u limitu ta' żmien ifisser li xi kompiti jistgħu jfallu minħabba nuqqas ta' żmien aktar milli nuqqas ta' pjan. Li tiddikjara t-tnejn hija prattika tajba. Dan huwa l-istandard li naħsbu li kull riżultat ippubblikat, inkluż tagħna stess, għandu jissodisfa. Riżultat li ma jistax jerġa' jiġi esegwit jista' xorta jkun interessanti, iżda ma jistax għadhom jiġi affidat fuqu, u d-differenza timporta l-aktar meta r-riżultat jintuża biex jiġġustifika disinn.

Il-kelma qed issir tikketta, għalhekk jeħtieġ test

Is-suċċess iġib l-imitazzjoni, u "neurosimbolliku" issa qed jiġi applikat għal sistemi li ftit għandhom x'jaqsmu mal-arkitetturi f'dawn id-dokumenti. Mudell tal-lingwa b'prompt li jgħid "aħseb pass pass" xi drabi jissejjaħ neurosimbolliku. Hekk ukoll mudell li jsejjaħ kalkulatur, chatbot b'tislima bbażata fuq regoli, jew sistema ta' rtrieval li tuża database. Kull wieħed minn dawn jgħaqqad xi ħaġa newrali ma' xi ħaġa li mhijiex, u l-kelma ssir bla sens jekk tkopri lilhom kollha.

Insibuha utli li napplikaw test sempliċi, meħud minn dak li għamel ir-riżultati tal-2026 jaħdmu. Sistema tistħoqqlha l-kelma meta l-parti simbollika tagħha tillimita jew tivverifika l-parti newrali b'tali mod li jbiddel dak li s-sistema tista' tipproduċi, u meta dak il-limitu jista' jiġi eżaminat.

Fil-dokument tal-aġent inkorporat, il-mudell ta' tranżizzjoni PDDL jirrestrinġi d-dekodifikazzjoni għal azzjonijiet applikabbli. Il-mudell tal-lingwa litteralment ma jistax jipproduċi azzjoni invalida. Dan huwa limitu li jbiddel l-ispazju tal-output, u l-mudell ta' tranżizzjoni jista' jinqara minn kulħadd. Fil-dokument GraphRAG, il-graf tal-għarfien jinbena b'regoli ddikjarati minn rekords awtorevoli, u l-mudell tal-lingwa jirċievi evidenza biss minn dak il-graf. Il-provenjenza ta' kull tarf tista' tiġi vverifikata. Iż-żewġ sistemi jgħaddu mit-test.

Prompt li jitlob lil mudell jirraġuna b'attenzjoni ma jgħaddix. Jista' jtejjeb l-outputs, iżda ma jillimitahomx, u xejn fih ma jista' jiġi eżaminat biex jara x'jista' jgħid il-mudell. Mudell li jista' jsejjaħ kalkulatur jgħaddi biss parzjalment: ir-riżultat tal-kalkulatur huwa eżatt, iżda l-mudell jiddeċiedi jekk isejjaħx u x'jagħmel bir-riżultat, u xejn ma jżommu milli jinjora r-riżultat jew jagħmel l-aritmetika hu stess. It-test mhuwiex dwar il-purezza. Huwa dwar minn fejn ġejjin il-garanziji.

Mistoqsijiet li għandhom isiru lil sistema li tallega l-kelma

Għal organizzazzjonijiet li jevalwaw sistemi deskritti bħala neurosimbolliċi, it-test jittraduċi f'xi mistoqsijiet konkreti.

X'jipprevjeni l-parti simbollika? Tweġiba utli ssemmi klassi ta' outputs li s-sistema ma tistax tipproduċi, bħal azzjonijiet invalidi, talbiet mhux sostnuti jew ksur ta' regoli, u tispjega l-mekkaniżmu. Tweġiba li tgħid li l-parti simbollika "iggwida" jew "tinforma" lill-mudell, mingħajr ma ssemmi xejn li tipprevjeni, hija sinjal li l-garanzija hija dgħajfa.

Il-parti simbollika tista' tinqara? Regoli, limiti, ontoloġiji u mudelli ta' tranżizzjoni għandhom ikunu disponibbli għall-eżami mill-persuni li jiddependu mis-sistema, tal-inqas fil-forma rilevanti għad-deċiżjonijiet tagħhom. Jekk is-saff simbolliku nnifsu huwa komponent mitgħallem u opak, mhuwiex qed jipprovdi t-tip ta' garanzija li tagħmel id-disinji neurosimbolliċi siewja.

Fejn tieqaf il-provenjenza? Għal kull tweġiba, segwi ċ-ċitazzjonijiet. Iwasslu għal rekords sors awtorevoli, permezz ta' passi traċċabbli, jew għal testi intermedji miktuba minn mudell? L-awditjar tal-provenjenza tal-GraphRAG huwa mudell għal dan il-verifika.

Fejn huma l-fallimenti? Itlob analiżi tal-każijiet ta' falliment skont il-komponent. Sistema mfassla tajjeb għandha tkun tista' tgħid jekk il-fallimenti tagħha jinqalgħux fil-perċezzjoni, fl-grounding, fl-irtrieval, fir-raġunar jew fil-ġenerazzjoni. Sistema li ma tistax tgħid hija jew mhix iffatturata jew mhix imkejla.

X'jiġi rreġistrat? Staqsi jekk is-sistema tirreġistrax il-mogħdija li ħadet, inkluż x'qrat u liema komponenti kkontribwew, mhux biss it-tweġiba finali. Is-sejbiet tal-GraphRAG aġentiku juru għaliex dan huwa importanti.

Xejn minn dawn il-mistoqsijiet ma jeħtieġ għarfien profond biex jistaqsi. Kollha jifirdu arkitetturi li jipprovdu garanziji verifikabbli minn sistemi li jużaw il-vokabularju.

Għaliex dan huwa importanti għall-ispjegazzjoni u s-sorveljanza

Hemm dimensjoni regolatorja għal dawn ir-riżultati li ta' min tislet, għax tgħaqqad l-arkitettura tar-riċerka ma' obbligi li se japplikaw għal ħafna organizzazzjonijiet.

L-Att dwar l-Intelliġenza Artifiċjali jitlob ħafna spjegazzjoni. L-Artikolu 13 jesiġi li s-sistemi ta' riskju għoli jkunu mfassla b'tali mod li d-deployers ikunu jistgħu jinterpretaw il-output tagħhom u jużawh kif xieraq. L-Artikolu 14 jesiġi li l-persuni assenjati għas-sorveljanza jkunu jistgħu jinterpretaw b'mod korrett l-output tas-sistema u jiddeċiedu li jinjorawh, jissuperawh jew ireġġgħuh lura. L-Artikolu 86 jagħti lill-persuni affettwati d-dritt għal spjegazzjonijiet ċari u sinifikanti dwar ir-rwol ta' sistema tal-IA f'ċerti deċiżjonijiet. Dawk l-obbligi japplikaw għas-sistemi ta' riskju għoli minn Diċembru 2027 jew Awwissu 2028, wara d-Digital Omnibus, iżda d-deċiżjonijiet tad-disinn li jagħmluhom possibbli qed jittieħdu bħalissa.

Sistema fattorizzata u newrosimbolika hija ħafna aktar faċli biex tiġi spjegata minn mudell end-to-end, għall-istess raġunijiet li juru l-karti tal-2026. Meta pjan ikun eżegwibbli b'kostruzzjoni taħt mudell ta' tranżizzjoni, l-ispjegazzjoni ta' għaliex pass kien permess hija referenza għar-regola li ppermettietu. Meta tweġiba tikkwota tarf li jista' jiġi traċċat għal rekords awtorevoli, l-ispjegazzjoni ta' għaliex saret dikjarazzjoni hija l-katina ta' rekords. Meta l-fallimenti jillokalizzaw ruħhom f'komponent, l-ispjegazzjoni ta' għaliex is-sistema kienet żbaljata ssemmi l-komponent. Kull spjegazzjoni hija dikjarazzjoni dwar xi ħaġa li teżisti u li tista' tiġi spezzjonata, mhux razzjonalizzazzjoni post-hoc ta' komputazzjoni newrali.

Dan ma jagħmilx l-ispjegazzjoni ħaġa trivjali. Xi ħadd xorta waħda jrid jittraduċi regoli u rekords f'lingwa li persuna affettwata tkun tista' tifhem. Iżda jbiddel in-natura tal-kompitu minn rikostruzzjoni għal preżentazzjoni. Ir-rikostruzzjoni tistaqsi "x'jista' jkun ikkawża dan ir-riżultat?" u tista' toffri biss ipoteżijiet. Il-preżentazzjoni tistaqsi "kif nuru r-regoli u r-rekords li pproduċew dan ir-riżultat?" u tista' toffri evidenza. Għas-sorveljanza u għad-dritt għall-ispjegazzjoni, din id-differenza hija deċiżiva.

Huwa wkoll ir-raġuni għaliex naħsbu li r-riżultati tal-effiċjenza għandhom jinteressaw lir-regolaturi kif ukoll lill-inġiniera. Mudell żgħir u kkostrett li huwa orħos biex jitħaddem huwa wkoll mudell li huwa orħos biex jiġi awditjat: jista' jiġi ospitat fejn l-awditur jista' jilħqu, imwaħħal ma' verżjoni għall-perjodu kollu ta' investigazzjoni, u jerġa' jintlagħab b'mod deterministiku fuq l-istess inputs. L-argumenti tas-sovranità, l-enerġija u l-kontabbiltà favur sistemi żgħar strutturati jirriżultaw li huma l-istess argument meqjus minn tliet naħat.

X'nieħdu minnu

Għax-xogħol tagħna stess, ir-riżultati tal-2026 jikkonfermaw tliet deċiżjonijiet tad-disinn u jħarrxu r-raba'.

Jikkonfermaw li mudelli żgħar bi struttura jistgħu jagħtu prestazzjoni aħjar minn mudelli kbar mingħajrha fuq kompiti li jeħtieġu affidabbiltà. Din hija l-premessa wara r-routing ta' Loom fuq 528 speċjalista: il-biċċa l-kbira tal-mistoqsijiet jingħataw tweġiba aħjar mill-ispeċjalista t-tajjeb, spiss mudell żgħir jew solvitur simboliku, milli mill-akbar mudell disponibbli. L-ablazzjoni tal-aġent inkorporat hija l-aktar evidenza ppubblikata ċara li nafu li din il-premessa tkompli tħaddem għall-ippjanar.

Jikkonfermaw li l-għarfien għandu jinbena minn sorsi awtorevoli b'regoli ddikjarati u kkwotat mis-sors tiegħu. Is-saff tal-għarfien ta' Dweve jikkwota kull biċċa għarfien użata fi tweġiba bin-node u l-version hash, sabiex reviżur ikun jista' jsegwi l-kwotazzjoni sal-ewwel rekord u verżjoni eżatti. L-awditjar tal-provenjenza tal-GraphRAG juri x'jintilef meta dik il-katina tieqaf f'intermedjarju miktub minn mudell.

Jikkonfermaw li r-reġistrazzjoni tal-passaġġ hija importanti daqs ir-reġistrazzjoni tat-tweġiba. Is-sejba tal-karta tal-GraphRAG aġentika dwar entitajiet miżjura iżda mhux ikkwotati hija eżattament ir-raġuni li Knot jirreġistra l-qari u l-passi intermedji, u r-raġuni li t-trace ta' Loom juri liema speċjalisti kkontribwew.

U jħaddmu wkoll l-attenzjoni tagħna fuq l-ibbasar. Iż-żewġ dokumenti jqiegħdu l-fallimenti li fadal fil-punt fejn id-dinja, jew is-sors, tiġi tradotta fir-rappreżentazzjoni simbolika. Dak hu l-konfini fejn il-perċezzjoni newrali tgħaddi r-riedni lir-raġunament simboliku, u huwa l-post fejn l-isforz tal-verifika għandu jiffoka. Saff simboliku li jirraġuna b'mod perfett fuq stat żbaljat jipproduċi tweġiba żbaljata b'ċertezza kbira. Il-mistoqsija tal-inġinerija għas-sena li ġejja hija kif dan il-konfini jsir verifikabbli daqs is-saffi fuq kull naħa tiegħu.

Ir-rinaxximent, bin-numri

Sena ilu, il-pretensjoni li s-sistemi newrosimboliċi kienu se jagħmlu aħjar minn mudelli tal-lingwa pura fuq kompiti li jeħtieġu affidabbiltà kienet argument. Fl-2026 għandha n-numri: aktar minn 90 fil-mija suċċess għal mudelli żgħar miftuħa fuq ippjanar tad-dar, aġent ta' 4 biljun parametru li jegħleb politika diretta ta' 27 biljun parametru b'marġini kbar, restrizzjonijiet u tfittxija li kull wieħed isolvi inqas minn terz tal-kompiti waħdu u aktar minn 95 fil-mija flimkien, u kull tarf fi graf mibni fuq ontoloġija jista' jiġi rintraċċat għas-sors tiegħu kontra 83 fil-mija għal wieħed estratt.

Dawk in-numri jiġu b'kundizzjonijiet, u l-kundizzjonijiet huma importanti daqs ir-riżultati. Iżda d-direzzjoni hija ċara. Meta sistema tal-IA trid tkun korretta b'modi li jistgħu jiġu vverifikati, l-istruttura mhijiex ostaklu għall-kapaċità. Hija waħda mis-sorsi tagħha.

Għaliex id-disinn tal-kejl jgħodd daqs ir-riżultat

Hemm lezzjoni metodoloġika usa' fiż-żewġ dokumenti li ħaqqha nota qasira, għax għandha x'taqsam ma' kif il-qasam kollu għandu jevalwa sistemi li jgħidu li huma affidabbli.

Iż-żewġ dokumenti jkejlu xi ħaġa oħra għajr il-fluwenza. Id-dokument tal-aġent inkorporat ikejjel is-suċċess: il-kompitu tad-dar twettaq fl-ambjent? Id-dokument tal-GraphRAG ikejjel il-provenjenza: kull tarf, u kull ċitazzjoni, jistgħu jiġu rintraċċati għal rekord awtorevoli? La wieħed u lanqas l-ieħor ma jiddependi primarjament fuq jekk tweġiba taqrax tajjeb jew taqbel ma' test ta' referenza. Dan hu sinifikanti, għax ħafna mill-evalwazzjoni tal-IA għadha tippremja l-kwalità tal-wiċċ. Il-linja tax-xogħol "Why Neighborhoods Matter" u riċerka tal-evalwazzjoni relatata għamlu l-istess punt minn direzzjoni oħra: l-overlap lessikali ma' tweġiba ta' referenza jista' jkun għoli filwaqt li l-evidenza għat-tweġiba tkun nieqsa.

Għal organizzazzjonijiet li jevalwaw sistemi tal-IA għal deċiżjonijiet li jgħoddu, il-lezzjoni hija li tistaqsi x'ikejjel kejl qabel ma tistaqsi x'punteġġ kiseb sistema. Sistema li tikseb punteġġ tajjeb fuq kejl ibbażat fuq il-fluwenza xorta tista' tipproduċi pjanijiet li ma jitwettqux jew tweġibiet li ċ-ċitazzjonijiet tagħhom ma jwasslu mkien. Sistema li tikseb punteġġ tajjeb fuq l-eżegwibbiltà jew il-provenjenza wriet xi ħaġa eqreb lejn dak li jeħtieġ teħid ta' deċiżjonijiet. Nixtiequ naraw aktar evalwazzjonijiet tal-akkwist imfassla bħal dawn iż-żewġ dokumenti: b'kompitu li jew jirnexxi jew ifalli b'mod verifikabbli, u b'verifika ta' minn fejn ġiet l-evidenza ta' kull tweġiba.

Sorsi