Dweve

Neurosymbolinen lähestymistapa vuosi myöhemmin: mitä vuoden 2026 tutkimus todella osoittaa

Vuosi sitten esitimme, että tekoälyn seuraava askel yhdistäisi opitut mallit ja eksplisiittisen rakenteen. Vuoden 2026 tutkimus antaa tälle väitteelle nyt...

Neurosymbolinen lähestymistapa vuosi myöhemmin: mitä vuoden 2026 tutkimus todella osoittaa

Vuosi sitten väite oli lähinnä väite

Marraskuussa 2025 julkaisimme esseen "The neuro-symbolic renaissance", jossa väitimme, etteivät seuraavien vuosien hyödyllisimmät tekoälyjärjestelmät olisi pelkkiä suurempia kielimalleja. Ne yhdistäisivät opitut mallit, jotka ovat vahvoja havaitsemisessa, kielessä ja hahmoissa, eksplisiittiseen symboliseen rakenteeseen, joka on vahva säännöissä, rajoitteissa, alkuperässä ja todistuksessa. Esitimme tämän väitteen ensi periaatteista käsin ja oman insinöörityömme pohjalta, sillä niin Dweve on rakennettu: Loom, päättelymoottorimme, ohjaa työtä 528 spesialistin kesken, joista moni on symbolisia ratkaisijoita, verifioijia ja sääntömoottoreita neuroverkkojen sijaan, ja vastauksen mukana kulkee jälki siitä, mitkä osat tekivät mitä.

Ensi periaatteista johdettu väite on kohtuullinen lähtökohta. Se ei ole näyttöä. Siksi kannattaa kysyä vuosi myöhemmin, mitä julkaistu tutkimus nyt osoittaa. Ei lehdistötiedotteita eikä yleistä innostusta sanaa "neurosymbolic" kohtaan, joka on muodostunut niin muodikkaaksi, että sitä voi soveltaa melkein mihin tahansa. Vaan ne yksittäiset, mitatut tulokset.

Kaksi vuoden 2026 artikkelia ovat erityisen hyödyllisiä, koska ne testaavat ydinväitteitä suoraan ja raportoivat lukuja, jotka voi tarkistaa. Toinen koskee agentteja, joiden on toimittava maailmassa: tekevätkö symboliset rajoitteet ja haku kielimallin suunnitelmista toteutettavia? Toinen koskee kysymyksiin vastaamista tietämyksen pohjalta: tekeekö tietorakenteen rakentaminen deterministisesti arvovaltaisista lähteistä sen sijaan, että se poimittaisiin kielimallilla, vastauksista jäljitettävämpiä? Molemmat vastaavat kyllä, selvällä erolla. Ja molemmat ovat huolellisia sen suhteen, mitä ne eivät osoittaneet, mikä on vähintään yhtä opettavaista kuin se, mitä ne osoittivat.

Uskottava ei ole sama kuin toteutettava

Ensimmäinen artikkeli, Albinhassanin, Fengin, Russon ja Madhyasthan "Neurosymbolic Embodied Agents", joka julkaistiin arXivissa elokuussa 2026, lähtee havainnosta, jonka tunnistaa jokainen, joka on yrittänyt käyttää kielimallia suunnittelijana. Kieli- ja kieli-kuvamallit, sen tiivistelmä sanoo, "generate plausible embodied plans but do not guarantee executability, as their outputs can violate environment dynamics or act on incorrectly grounded entities."

Ero uskottavan ja toteutettavan välillä on koko ongelma yhdessä lauseessa. Malli, jota pyydetään keittämään teetä simuloidussa keittiössä, tuottaa vaiheiden sarjan, joka lukee hyvin: mene keittiöön, ota vedenkeitin, täytä se, kytke se päälle. Mutta se saattaa yrittää ottaa vedenkeittimen, jota ei ole siellä, tai täyttää vedenkeittimen, joka on suljetussa kaapissa, tai kaataa vedenkeittimestä, joka ei ole kiehunut. Jokainen vaihe on uskottava. Suunnitelma kokonaisuutena epäonnistuu, koska malli ei seuraa maailman tilaa eikä sääntöjä siitä, miten toiminnot muuttavat sitä.

Artikkelin agentti jakaa pitkän aikavälin kotitaloustehtävät kahteen vaiheeseen. Ensimmäisessä kieli-kuvamalli ja tutkimuskehys hankkivat tavoitteen kannalta olennaisia predikaatteja ja instanssisidontoja egosentrisistä havainnoista ja maadoitetuista vuorovaikutuksista tuottaen symbolisen kuvauksen alkutilasta: tämä vedenkeitin on täällä, tämä kaappi on kiinni, tämä kuppi on tyhjä. Toisessa PDDL-siirtymämalli, muodollinen kuvaus siitä, mitkä toiminnot ovat sovellettavissa missäkin tiloissa ja mitä ne muuttavat, "restricts decoding to tokens that extend applicable actions." Kielimalli voi tuottaa vain toimintoja, jotka symbolinen malli sanoo mahdollisiksi. Monte Carlo -puuhaku arvioi sitten toteutettavia jatkumoita toimialueesta riippumattoman suunnitteluheuristiikan avulla.

Seuraus on tekijöiden sanoin se, että "syntyvät suunnitelmat ovat toteutuskelpoisia rakenteellisesti siirtymämallin puitteissa, ja siirto ympäristöön on ehdollinen oikealle visuaaliselle taustaoletukselle." Viimeinen lause on tärkeä, ja palaamme siihen jäljempänä.

Tiivistelmä lähteestä Albinhassan, Feng, Russo ja Madhyastha, Neurosymbolic Embodied Agents, arXiv 2608.16794.

Pienet rajoitetut mallit päihittävät suuren rajoittamattoman

Tulokset ovat hämmästyttäviä. Kahdessa tavallisessa kotitaloustehtävien vertailuaineistossa, VirtualHomessa ja ALFWorldissa, tiivistelmä kertoo, että "avoimet 4B-27B-mallit ylittävät 90% onnistumisprosentin molemmissa ympäristöissä, ja pienin agenttimme päihittää selvästi 27B suoran visuaalisen toimintamallin kummassakin." Artikkelin tuloksissa onnistumisprosentit vaihtelevat 94,5:stä 99,5:een VirtualHomessa ja 90,3:sta 97,8:aan ALFWorldissa mallikoon mukaan. 4 miljardin parametrin agentti päihittää 27 miljardin parametrin suoran visuaalisen toimintamallin 32,0 prosenttiyksiköllä toisessa vertailuaineistossa ja 63,4:llä toisessa.

Toinen tulos ansaitsee tulla luetuksi hitaasti. Malli, joka on kooltaan noin seitsemäsosa, saa eksplisiittistä rakennetta maailmasta ja hakumenettelyn suoritettavista toiminnoista, ja pärjää huomattavasti paremmin kuin paljon suurempi malli, jota pyydetään toimimaan suoraan. Ero ei ole marginaalista viritystä. Se on ero järjestelmän välillä, joka pääosin toimii, ja sellaisen, joka pääosin ei toimi.

Kaikille, joita kiinnostavat tekoälyjärjestelmien kustannukset, energiankulutus ja hallittavuus, tällä on merkitystä. Pieni avoin malli voi toimia vaatimattomalla laitteistolla, se voidaan tarkastaa, kiinnittää tiettyyn versioon ja isännöidä missä tahansa, missä operaattori valitsee. Jos rakenteen lisääminen saa tällaisen mallin päihittämään suuren mallin tehtävissä, jotka vaativat luotettavaa toimintaa, pienten mallien suvereniteetti- ja tehokkuusargumentit vahvistuvat huomattavasti. Koko ei ole ainoa tie kyvykkyyteen. Rakenne on toinen.

Rajoitteet ja haku täydentävät toisiaan, eivät ole keskenään vaihdettavissa

Mielenkiintoisin löydös on mielestämme ablointi. Kirjoittajat testasivat rajoitteita ja hakua erikseen. ALFWorldissa kumpikin yksin "ratkaisee alle kolmanneksen tehtävistä, kun taas niiden yhdistelmä ratkaisee yli 95%." Yksityiskohtaiset luvut ovat 32,3 prosenttia pelkille rajoitteille ja 29,2 prosenttia pelkälle haulle, vastaan 95,5 prosenttia yhdistelmälle.

Tämä on tulos, jota yksinkertainen tarina neurosymbolisesta tekoälystä ei ennustaisi. Voisi odottaa, että rajoitteet estämällä virheelliset toiminnot tekisivät suurimman osan työstä ja haku lisäisi hieman. Tai että haku tutkimalla monia polkuja löytäisi hyviä suunnitelmia ja rajoitteet vain nopeuttaisivat sitä. Sen sijaan kumpikin yksin epäonnistuu useimmissa tehtävissä, ja yhdessä ne onnistuvat lähes kaikissa.

Intuitiota ei ole vaikea hahmottaa. Rajoitteet ilman hakua takaavat, että jokainen askel on kelvollinen, mutta eivät tee mitään sen eteen, että kelvollisten askelten sarja johtaisi maaliin. Malli voi harhailla keittiössä loputtomiin täysin sallituin toimin. Haku ilman rajoitteita tutkii monia jatkumia, mutta useimmat niistä sisältävät virheellisiä toimia, joten hakuavaruutta hallitsevat suunnitelmat, jotka tulevat epäonnistumaan, eikä heuristiikalla ole juuri mitään, mihin tarttua. Yhdessä rajoitteet karsivat avaruuden kelvollisiin suunnitelmiin ja haku löytää niiden joukosta hyvät.

Tämä täydentävyys on mielestämme vahvin empiirinen tuki tähän mennessä sille arkkitehtuuriväitteelle, jonka esitimme vuosi sitten. Arvo ei ole siinä, että symbolinen moduuli kiinnitetään neuroverkkomoduulin kylkeen. Se on tietyssä työnjaossa, jossa kumpikin osa tekee sen, missä on hyvä, ja kompensoi toisen heikkoutta.

Luvut arXiv 2608.16794:n raportoimina. Kumpikin komponentti yksin ratkaisee alle kolmanneksen tehtävistä.

Vähemmän tokeneita ja epäonnistumisia, jotka osoittavat jonnekin

Kaksi muuta artikkelin tulosta on helppo sivuuttaa, ja ne ansaitsevat huomiota.

Ensimmäinen on tehokkuus. Tiivistelmä kertoo, että menetelmä "käyttää useita kertoja vähemmän tuotettuja tokeneita kuin laajennettu ajattelu ja selvästi vähemmän mallille näkyviä kuvia kuin suora vuorovaikutus". Artikkelissa tokenien vähenemä suhteessa laajennettuun ajatteluun raportoidaan jopa nelinkertaiseksi. Laajennettu ajattelu, jossa malli kirjoittaa pitkiä päättelyketjuja ennen toimimista, on tärkein vaihtoehtoinen strategia mallien suunnitelmien luotettavuuden parantamiseksi. Se toimii jossain määrin, mutta on kallista: jokainen päättelytoken lasketaan ja isännöidyissä palveluissa myös maksetaan. Menetelmä, joka saavuttaa parempia tuloksia murto-osalla tokeneista, on parempi sekä kustannusten että energiankulutuksen kannalta, samoin kuin onnistumisen.

Toinen on diagnosoitavuus. Tiivistelmä toteaa, että "jäljelle jäävät epäonnistumiset paikantuvat tilan hankintaan eivätkä suunnitelman tuottamiseen ilman erikoistunutta koulutusta." Kun agentti epäonnistuu, se epäonnistuu siksi, että sen kuva maailmasta oli väärä, ei siksi, että se suunnitteli huonosti kyseisen kuvan pohjalta. Juuri tätä olisi odotettavissa järjestelmältä, jonka suunnitelmat ovat toteutettavissa rakenteellisesti. Se kertoo myös insinöörille, mihin seuraavaksi kannattaa keskittyä. Päästä päähän -neuroverkkojärjestelmässä epäonnistuminen on usein koko mallin hajanainen ominaisuus, ja ainoa keino korjata se on lisätä dataa tai kasvattaa mallia. Faktoroidussa järjestelmässä epäonnistumisella on osoite.

Mielestämme diagnosoitavuutta aliarvostetaan tekoälytutkimuksessa. Järjestelmä, joka epäonnistuu harvemmin, on hyvä. Järjestelmä, jonka epäonnistumiset voidaan paikantaa, selittää ja korjata, on parempi, koska sitä voidaan parantaa tietoisesti ja koska sen käyttäytymiseen voidaan luottaa niissä tapauksissa, joissa sen osien tiedetään olevan luotettavia.

Sama kuvio toistuu kysymyksiin vastaamisessa

Toinen artikkeli käsittelee eri ongelmaa, mutta tulos on silmiinpistävän samankaltainen. "Ontology-guided neuro-symbolic GraphRAG for grounded query answering", jonka ovat kirjoittaneet Domenico Benfenati ja Antonio Maria Rinaldi Napolin Federico II -yliopistosta, julkaistiin Neural Computing and Applications -lehdessä lokakuussa 2026. Siinä tutkitaan kysymyksiin vastaamista kyberturvallisuuden tietämyksestä: haavoittuvuuksista, heikkouksista, hyökkäyskuvioista ja kohdeohjelmistoista, jotka on koottu julkisista tietovarastoista kuten CVE, CWE, CAPEC ja CPE.

Vertailussa on kaksi tapaa rakentaa tietograafi, johon kielimalli nojautuu vastatessaan kysymyksiin. Laajalti käytetyssä GraphRAG-menetelmässä kielimalli lukee jäsentämätöntä tekstiä ja poimii siitä entiteettejä, suhteita ja yhteisötiivistelmiä, jotka toimivat sitten haun perustana. Kirjoittajien menetelmässä graafi muodostetaan ylhäältä alas auktoritatiivisista tietovarastoista kohdennetun ryöminnän, ontologiaohjatun skeemojen yhdistämisen ja sääntöpohjaisen symbolisen päättelyn avulla, kuten transitiivisen ketjutuksen ja tuotteiden monivaiheisen vaikutusketjun kautta. Itse ontologia johdetaan todellisten tietovarastojen alakohtaisesta rakenteesta sen sijaan, että malli tuottaisi sen. Kielimallille annetaan tämän jälkeen todisteita tästä graafista siten, että kirjoittajien mukaan kyse on tiukasti yksisuuntaisesta virtauksesta: symbolinen perusta on "täysin deterministinen, alkuperän säilyttävä ja itsenäisesti tarkasteltavissa".

Alkuperän tarkastus on paljastavin koe. Ontologiaohjatussa graafissa 100 prosenttia otetuista kaarista oli jäljitettävissä auktoritatiivisiin lähdetietueisiin tai ilmoitettuihin päättelysääntöihin. LLM:n poimimassa graafissa jäljitettäviä oli 83 prosenttia, ja vain 58 prosenttia yhdisti päätepisteet kanonisiin tunnisteisiin. Ero näkyy myös vastauksissa: ontologiaohjattu järjestelmä ylsi 95 prosentin viittaustarkkuuteen, kun GraphRAG-vertailukohta saavutti 66 prosenttia.

Kirjoittajien rakenteellinen selitys on tärkein osa. LLM:n poimimassa GraphRAG:ssa vastaukset perustuvat tiivistelmiin, jotka on kirjoittanut samanlainen malli kuin vastauksen tuottava malli, joten alkuperäketju katkeaa neuroverkkovälittäjään eikä yllä auktoritatiiviseen tietueeseen. Viittaus mallin kirjoittamaan tiivistelmään on viittaus tulkintaan. Viittaus lähdetietueeseen, kun jokainen kaari on jäljitettävissä kyseiseen tietueeseen tai ilmoitettuun sääntöön, on viittaus todisteeseen.

Luvut sellaisina kuin Benfenati ja Rinaldi raportoivat ne julkaisussa Neural Computing and Applications, 2026, kyberturvallisuusaineistosta.

Viittaukset eivät ole koko alkuperä

Kolmas, pienempi vuoden 2026 artikkeli tuo mukaan hyödyllisen lisämutkan. "Why Neighborhoods Matter: Traversal Context and Provenance in Agentic GraphRAG", joka julkaistiin arXivissa toukokuussa 2026, tutkii järjestelmiä, joissa agentti tutkii tietograafia ennen vastaamista ja viittaa sen jälkeen pieneen joukkoon entiteettejä. Siinä kysytään, riittävätkö lopulliset viittaukset selittämään näytön, johon vastaus perustui.

Johtopäätös on, etteivät ne riitä. Viitatut entiteetit ovat yleensä merkityksellisiä: niiden poistaminen muuttaa vastauksia huomattavasti ja heikentää tarkkuutta. Kokeet kuitenkin osoittavat, että tarkka vastaaminen riippuu myös graafin läpikäynnistä, naapuruston rakenteesta ja entiteeteistä, joissa agentti kävi mutta joihin se ei viitannut. Kirjoittajat päättelevät, että uskollisen viittaamisen "tulisi ottaa huomioon myös graafikonteksti ja hakupolku, jotka muovaavat lopullista vastausta."

Tämä havainto terävöittää Benfenatin ja Rinaldin artikkelin opetusta. Deterministinen, jäljitettävä graafi on välttämätön, jotta vastausten näyttö voidaan tarkistaa. Se ei riitä, jos järjestelmä tallentaa vain sen, mihin se viittaa, eikä sitä, mitä se luki. Alkuperän on sisällettävä polku, ei vain määränpää. Tämä on sattumalta sama johtopäätös, johon päädyimme insinöörityön puolella suunnitellessamme Knotia, jonka julkaisemme 4. neljännes 2026: agentin ajon tallenteen on sisällettävä jokainen luku ja jokainen välivaihe, ei vain lopullinen tulos, koska vaiheet selittävät tuloksen.

Mitä tulokset eivät osoita

Molemmat pääartikkelit suhtautuvat huolellisesti omiin rajoituksiinsa, ja ne rajoitukset kannattaa todeta suoraan, sillä innostus tulosta kohtaan tapaa pyyhkiä pois sen ehdot.

Kehollistettujen agenttien tulokset ovat simulaatiosta. VirtualHome ja ALFWorld ovat vakiintuneita vertailuaineistoja, mutta ne ovat simuloituja kotitalousympäristöjä, joiden dynamiikka tunnetaan. Takuu siitä, että suunnitelmat ovat toteutettavissa "rakenteellisesti", pätee siirtymämallin vallitessa, toisin sanoen symbolisen kuvauksen vallitessa siitä, miten maailma toimii. Jos kuvaus on väärä tai puutteellinen, takuu ei siirry. Todellisessa maailmassa täydellisen ja oikean siirtymämallin kirjoittaminen on vaikeaa, ja maailmalla on tapana sisältää asioita, joita malli ei osannut odottaa.

Samat tulokset edellyttävät oikeaa visuaalista taustoitusta. Tiivistelmä sanoo tämän suoraan. Jos kartoitusvaihe tunnistaa kohteen väärin tai jättää jonkin huomaamatta, symbolinen tila on virheellinen, ja suunnitelma, joka olisi täysin toteutettavissa väärän tilan vallitessa, voi epäonnistua todellisuudessa. Artikkelin havainto siitä, että jäljelle jäävät epäonnistumiset paikantuvat tilan hankintaan, on hyvä uutinen diagnosoitavuuden kannalta, ja se muistuttaa myös siitä, että havaitseminen on edelleen vaikein osuus.

GraphRAG-tulokset ovat yhdeltä alalta, kyberturvallisuudesta, jolla on olemassa auktoritatiivisia jäsenneltyjä tietovarantoja ja pysyvät tunnisteet. Moni ala ei ole tällainen. Kun tieto on pääosin jäsentämättömissä asiakirjoissa ilman kanonisia tunnisteita, ylhäältä alas tapahtuvaa aineistamista ei ole saatavilla, ja jonkinlainen poiminta on väistämätöntä. Artikkelin menetelmä osoittaa, mitä tulee mahdolliseksi, kun hyviä lähteitä on olemassa. Se ei osoita, miten ne luodaan sinne, missä niitä ei ole.

GraphRAG-arvioinnissa vastausten oikeellisuutta mitattiin kielimallia tuomarina käyttäen, Gemini 2.5 Flashia, viidentoista kysymyksen yli tehtävää kohden. Tämä on kohtuullinen asetelma tutkimusartikkelille, ja alkuperäketjun tarkastus on suorempi mittaus. Lukijoiden kannattaa kuitenkin pitää vastausten laatua koskevia lukuja suuntaa antavina eikä lopullisina, ja alkuperäketjun lukuja vahvempana tuloksena.

Mikään näistä rajoituksista ei horjuta artikkeleita. Ne ovat hyvän tutkimuksen tavanomaisia ehtoja. Mutta ne ovat merkityksellisiä jokaiselle, joka on taipuvainen lukemaan sanan "neurosymbolinen" yleispätevänä ratkaisuna. Se on joukko arkkitehtuurisia valintoja, jotka toimivat erittäin hyvin, kun niiden ennakkoehdot täyttyvät: alan oikea symbolinen malli, havaitsemisen luotettava taustoittaminen tuohon malliin ja auktoritatiiviset lähteet tiedolle. Suuri osa käytännön työstä on näiden ennakkoehtojen luomista.

Mitä tapahtuu ensimmäisen virheen jälkeen

Onnistumisprosentit kertovat, kuinka usein järjestelmä saa tehtävän valmiiksi. Ne eivät kerro, miten se käyttäytyy, kun jokin menee pieleen, mikä on usein tärkeämpi kysymys kenelle tahansa, jonka on otettava järjestelmä käyttöön. Kehollistettuja agentteja käsittelevä artikkeli sisältää liitteen, joka vastaa tähän, ja se on yksi työn paljastavimmista osista.

Kirjoittajat mittasivat, mitä toimintaperiaatteet tekivät "ensimmäisen taustoittamattoman tai epäonnistuneen suorituksen jälkeen", ja raportoivat, kuinka usein tehtäviin sisältyi tällainen tapahtuma, kuinka usein toimintaperiaate onnistui palauttamaan tehtävän, kuinka usein se toisti epäonnistuneen pyynnön välittömästi ja kuinka usein se ajautui pysyvään toimintasilmukkaan. Tulokset suorille visuaalisille toimintaperiaatteille, jotka suunnittelevat ilman symbolisia rajoitteita, ovat silmiinpistäviä.

VirtualHomessa 4B:n suora Qwen-toimintaperiaate kohtasi epäonnistumisen 64,5 prosentissa tehtävistä. Se palautti tehtävän 5,4 prosentissa näistä tapauksista, toisti epäonnistuneen pyynnön välittömästi 74,5 prosentissa ja päätyi pysyvään silmukkaan 45,5 prosentissa. ALFWorldissa sama malli kohtasi epäonnistumisen 73,9 prosentissa tehtävistä, palautti 1,0 prosentissa ja päätyi pysyvään silmukkaan 94,8 prosentissa. Suurin suora malli pärjäsi paremmin, kuten odottaa saattaa: VirtualHomessa 27B:n toimintaperiaate kohtasi epäonnistumisen 29,0 prosentissa tehtävistä, palautti 37,9 prosentissa, toisti pyynnön 8,3 prosentissa ja ajautui silmukkaan 9,5 prosentissa. ALFWorldissa vieläpä tuo malli palautti vain 25,7 prosentissa tapauksista.

Artikkelin johdanto selittää, miksi näin käy. Suoran toimintaperiaatteen on tunnistettava kohteet, seurattava niiden tilaa, valittava soveltuvat toiminnot ja pääteltävä viivästyneistä vaikutuksista "yhden autoregressiivisen historian sisällä, jossa ne voivat kasaantua vapaasti". Kirjoittajat huomauttavat, että "suorituksen palaute voi paljastaa tällaisen virheen sen tapahduttua, mutta ei estä mallia toistamasta virheellistä valintaa tai ajautumasta pois tilasta, jonka sen omat toiminnot saivat aikaan."

Tuollainen kuvio on monelle tuttu laboratorion ulkopuolisista agenteista. Agentti yrittää jotakin, epäonnistuu, virhe palautetaan sille, ja agentti yrittää samaa tai käytännössä samaa asiaa uudelleen. Palaute on tietoa, mutta tieto ei rajoita toimintaa. Järjestelmä, joka pitää toiminnan kelpoisuutta pääteltävänä asiana sen sijaan että pakottaisi sen, voidaan kertoa sen olleen väärässä estämättä sitä olemasta väärässä uudelleen.

Rajoitettu lähestymistapa muuttaa tämän tekemällä sovellettavuudesta, artikkelin sanoin, "rajoitteen, joka säilyy koko generoinnin ja haun ajan". Toimintoa, jonka esiehdot eivät täyty, ei koskaan tuoteta, joten toistettavaa ei ole. Tämä ei tee järjestelmästä virheetöntä. Se siirtää epäonnistumisen toiseen paikkaan.

Luvut Albinhassanin ja kumppaneiden vuoden 2026 taulukosta 10 suorille käytännöille ilman symbolisia rajoitteita. Prosentteja; palautuminen ja toistaminen koskevat tehtäviä, joissa kohdattiin epäonnistuminen.

Artikkeli paikantaa omat epäonnistumisensa

Rehellisen kuvauksen tuloksista on kerrottava, missä rajoitettu agentti epäonnistuu, ja artikkeli tekee niin. Sen symbolinen suunnittelija voi suunnitella vain sen tilan pohjalta, joka sille annetaan. Kun visuaalisen tutkimisen vaihe jättää huomaamatta vaaditun kohteen, kirjoittajat toteavat: "epäonnistuminen etenee tällöin, koska maadoitettu alkutila jättää pois vaaditun kohteen. Tämä on visuaalisen tilanhankintakomponentin rajoitus eikä sovellettavuustakuun rajoitus."

Tällä erotuksella on merkitystä. Järjestelmän tarjoama takuu on kapea ja vahva: jokainen toiminto, jonka se suunnittelee, on sovellettavissa siinä tilassa, jossa se uskoo olevansa. Se, vastaako tämä uskomus maailmaa, riippuu havaitsemisesta, ja havaitsemisen tekee edelleen neuroverkkomalli kaikkine siihen liittyvine epävarmuuksineen. Kirjoittajat odottavat, että "parannukset visuaalisessa tunnistamisessa ja aktiivisessa näkökulman valinnassa siirtyvät suoraan koko menetelmään", mikä on kohtuullinen odotus ja samalla muistutus siitä, että symbolinen osa ei voi korvata sitä, mitä neuroverkko-osa ei onnistu näkemään.

Niille, jotka arvioivat tällaisia järjestelmiä, opetus on kysyä, mihin takuu päättyy. Neurosymbolinen järjestelmä tarjoaa tyypillisesti varmuuden prosessin yhdestä osasta (suunnitelma on kelvollinen, päättely seuraa säännöistä, vastaus on graafin tukema) ja perii epävarmuuden osista, jotka syöttävät sitä. Hyvä järjestelmä tekee tämän rajan näkyväksi. Se tallentaa, mitä se havaitsi, mitä se oletti ja mitä se johti, jotta arvioija voi päätellä, johtuiko epäonnistuminen päättelystä vai päättelyn syötteestä.

Siksi myös artikkelin liitteen kaltainen epäonnistumisanalyysi on niin arvokasta. Tieto siitä, että järjestelmä epäonnistuu pääosin maadoituksessa eikä suunnittelussa, kertoo insinöörille, mihin kannattaa panostaa, ja käyttöönottajalle, millaista valvontaa tarvitaan. Ihmisarvioijan, joka tarkistaa rajoitetun agentin työtä, tulisi tarkistaa sen kuva maailmasta, ei sen aritmetiikkaa.

Läpikulkututkimus on pieni, ja sanoo sen itse

Myös läpikulkukontekstia käsittelevä artikkeli suhtautuu varovaisesti omiin rajoituksiinsa. Sen kirjoittajat toteavat, että tutkimusta "rajoittaa vertailuaineiston pieni koko ja se, että siinä käytetään hallittua tietämysgraafia, joka on rakennettu 2WikiMultiHopQA:sta eikä suuresta todellisen maailman tietämysgraafista." He peräänkuuluttavat arviointia "suuremmilla aineistoilla, rikkaammilla graafirakenteilla ja toimialakohtaisilla tietopohjilla" sekä viittausmekanismeja, "jotka tuovat esiin paitsi lopulliset tukea antavat entiteetit myös olennaisen läpikulkukontekstin."

Tämä avoimuus on hyödyllistä. Havainto siitä, että viittaukset ovat välttämättömiä mutta eivät riitä selittämään agentin vastausta, on uskottava ja tärkeä, mutta se nojaa hallittuun asetelmaan. Ennen kuin kukaan rakentaa sen varaan toimintaperiaatteita, se olisi toistettava sellaisilla graafeilla, joita todelliset järjestelmät käyttävät: yritysten tietopohjilla, sääntelyaineistoilla, tuoteluetteloilla. Siihen asti se on parasta lukea hyvin suunnitelluksi varoitukseksi eikä vakiintuneeksi mittaustulokseksi.

Varoitus kannattaa silti ottaa vakavasti. Kirjoittajat päättelevät, että "provenienssia agenttipohjaisessa graafipohjaisessa haussa tulisi pitää koko läpikulun tason ominaisuutena". Järjestelmien rakentajille tämä tarkoittaa, että on tallennettava polku eikä vain määränpäätä: mitkä entiteetit käytiin läpi, mitä kaaria seurattiin, mitkä naapurit nähtiin mutta jätettiin viittaamatta. Viittausluettelo on tiivistelmä tästä polusta. Kuten mikä tahansa tiivistelmä, se voi olla tarkka ja silti jättää pois jotain olennaista.

Polun tallentamisesta koituu käytännön kustannus, ja se on syytä todeta. Läpikulkutietueet ovat viittausluetteloita suurempia, ne voivat sisältää aineistoa, jota käyttäjälle ei koskaan näytetty, ja niiden käyttöoikeuksista ja säilytyksestä on huolehdittava yhtä tarkasti kuin mistä tahansa muusta lokista. Mutta vaihtoehto on huonompi. Kun vastausta kyseenalaistetaan, järjestelmä, joka säilytti vain viittauksensa, voi näyttää, mihin se viittasi. Järjestelmä, joka säilytti läpikulkunsa, voi näyttää, miten se sinne päätyi, ja juuri sitä arvioija todella kysyy. Agenttipohjaisessa haussa tämä ero ratkaisee todennäköisesti sen, hyväksytäänkö selitys vai vain siedetäänkö sitä.

Vanha väittely selittämisestä pätee edelleen

Tässä ei ole hengeltään mitään uutta. Keskustelu selittämisestä koneoppimisessa on jatkunut vuosia, ja vuoden 2026 tulokset sopivat siihen sen sijaan että korvaisivat sen.

Vuonna 2017 Finale Doshi-Velez ja Been Kim huomauttivat, että "kiinnostuksesta tulkittavuutta kohtaan huolimatta ei ole juuri lainkaan yksimielisyyttä siitä, mitä tulkittava koneoppiminen on ja miten sitä pitäisi mitata." Vuonna 2018 Cynthia Rudin väitti, että "mustan laatikon mallien selittäminen sen sijaan, että luotaisiin alun perin tulkittavia malleja, todennäköisesti ylläpitää huonoja käytäntöjä ja voi mahdollisesti aiheuttaa katastrofaalista haittaa yhteiskunnalle." Samana vuonna Julius Adebayo ja kollegat osoittivat, että eräät huomattavuusmenetelmät "ovat riippumattomia sekä mallista että aineiston tuottoprosessista", tuottaen samankaltaisia selityksiä riippumatta siitä, oliko malli oppinut mitään.

Rajoitetun suunnittelun ja GraphRAG:n tulokset voidaan lukea todisteeksi Rudinin kannan puolesta uudessa ympäristössä. Kun suunnitelma syntyy eksplisiittisten sääntöjen haun tuloksena, sen pätevyys on ominaisuus siinä, miten se tehtiin, ja selitys sille, miksi toiminto valittiin, voidaan lukea hausta. Kun vastaus syntyy graafia läpikulkemalla, sen provenienssi on läpikulun ominaisuus, edellyttäen että läpikulku tallennetaan. Molemmissa tapauksissa selitys ei ole toisen mallin tulkinta ensimmäisestä. Se on tietue siitä, mitä ensimmäinen teki.

Vuoden 2026 tulokset antavat näyttöä siitä, että tämänkaltainen järjestelmä voi myös suoriutua hyvin. Vanha vastalause tulkittavissa olevia menetelmiä kohtaan oli, että ne maksavat tarkkuudessa. Tämänkaltaiset tulokset, joissa pienet rajoitetut mallit päihittävät suuremmat rajoittamattomat mallit jäsennellyissä tehtävissä, eivät ratkaise kysymystä yleisesti. Ne kuitenkin osoittavat, että tehtävissä, joissa on eksplisiittiset säännöt ja tarkistettavat tulokset, kompromissi ei ole se, mitä oletettiin.

Pidempi ajattelu ei auttanut, ja helppo vertailutehtävä peittää sen alleen

Fyysistä agenttia käsittelevän artikkelin komponenttipoisto sisältää kaksi muuta yksityiskohtaa, jotka ansaitsevat huomiota, sillä ne ovat ristiriidassa yleisten oletusten kanssa.

Ensimmäinen koskee laajennettua päättelyä. 27B Qwen -mallilla pelkkä ahne dekoodaus saavutti 61,0 prosentin onnistumisen VirtualHomessa ja 15,4 prosenttia ALFWorldissa. Sama malli ajattelutilassa, jossa artikkelin dekoodausasetusten mukaan käytettiin jopa 32 768 tulostetokenin budjettia, saavutti 59,0 ja 16,9 prosenttia. Mallin antaminen päätellä huomattavasti pidempään ei käytännössä muuttanut mitään. Sovellettavuusrajoitteiden lisääminen ahneeseen dekoodaukseen sen sijaan nosti VirtualHomen onnistumisen 61,0:sta 98,5 prosenttiin. Kirjoittajien sanoin tämä osoittaa, että "sovellettavuusrajoitteet selittävät suurimman osan hyödystä".

Tämä on hyödyllinen korjaus käsitykseen, jonka mukaan useammat päättelytokenit ovat yleislääke suunnitteluvirheisiin. Kun virhe on sellaisen toiminnon valitseminen, jonka esiehdot eivät täyty, lisääntynyt sisäinen harkinta ei luotettavasti estä sitä. Sääntö, joka tekee tällaiset toiminnot mahdottomiksi, estää sen.

Toinen yksityiskohta koskee vertailutehtävän vaikeustasoa. VirtualHomessa pelkkä rajoittamaton haku saavutti 99,0 prosenttia, saman kuin koko menetelmä, joskin kirjoittajat huomauttavat sen tehneen niin "korkeammalla generointikustannuksella", joka näkyy heidän kuvioissaan. Pelkästään VirtualHomea tarkasteleva lukija voisi päätellä, että haku riittää yksinään. ALFWorld osoittaa muuta: pelkät rajoitteet saavuttivat 32,3 prosenttia, rajoittamaton haku 29,2 prosenttia ja yhdistelmä 95,5 prosenttia. Kirjoittajat selittävät suurempaa eroa vaikeammalla suunnitteluongelmalla. 27B-mallin onnistuneet suunnitelmat sisälsivät keskimäärin 8,0 korkean tason toimintoa ALFWorldissa ja 6,4 VirtualHomessa, enimmäismäärien ollessa 30 ja kahdeksan, ja ALFWorld "tuo mukaan enemmän instanssi- ja säiliösidontoja jokaisessa vaiheessa."

Yleinen opetus on, että helppo vertailutehtävä voi saada kaksi erilaista suunnittelua näyttämään samanarvoisilta. Vasta kun ongelmasta tulee riittävän pitkä ja riittävän rajoitettu, erot tulevat esiin. Agenttiarkkitehtuureja vertailevan kannattaa testata niitä tehtävillä, jotka ovat vähintään yhtä pitkiä ja yhtä tiukasti rajoitettuja kuin ne, joissa ne aikoo ottaa käyttöön, ei lyhyimpiä saatavilla olevia tehtäviä.

Kokeet ovat suunnittelultaan toistettavissa

Vielä yksi artikkelin piirre ansaitsee huomiota, sillä se liittyy tämän sarjan muuallekin nousevaan teemaan. Kirjoittajat julkaisevat dekoodausasetuksensa kokonaisuudessaan. Rajoitetut Qwen-vaiheet ajetaan lämpötilalla 0,0. Kun ydinotantaa käytetään, täydentävissä ajatteluajoissa ja fyysisen agentin vertailukohteissa, arvioinnit toistetaan kolmella nimetyllä siemenluvulla: 0, 42 ja 1738. Haku on rajattu 250 sekuntiin tehtävää kohden, ja artikkelissa todetaan, että sen hakuhyperparametrit "valittiin empiirisesti".

Nämä yksityiskohdat tekevät tuloksesta tarkistettavan. Lukija, joka haluaa toistaa työn, tietää, mitä asetuksia käyttää, kuinka monta ajoa tehdä ja kuinka paljon vaihtelua odottaa. Ne tekevät myös rajat näkyviksi: empiirisesti valitut hyperparametrit voivat vaatia uudelleensäätöä muissa ympäristöissä, ja aikaraja tarkoittaa, että jotkin tehtävät voivat epäonnistua ajan puutteen eikä suunnitelman puutteen vuoksi. Molempien mainitseminen on hyvää käytäntöä. Se on standardi, jonka mielestämme minkä tahansa julkaistun tuloksen, myös omiemme, tulisi täyttää. Tulosta, jota ei voi ajaa uudelleen, voi silti pitää kiinnostavana, mutta siihen ei voi vielä luottaa, ja ero on merkittävin silloin, kun tulosta käytetään suunnittelun perustelemiseen.

Sanasta on tulossa leima, joten se tarvitsee testin

Menestys tuo jäljittelijöitä, ja sana "neurosymbolinen" liitetään nyt järjestelmiin, joilla on vain vähän yhteistä näiden artikkelien arkkitehtuurien kanssa. Kielellistä mallia, jonka kehotteessa sanotaan "ajattele askel askeleelta", kutsutaan joskus neurosymboliseksi. Niin kutsutaan myös mallia, joka kutsuu laskinta, chatbotia, jolla on sääntöpohjainen tervehdys, tai hakujärjestelmää, joka käyttää tietokantaa. Jokainen näistä yhdistää jotain neuroverkkoihin perustuvaa johonkin, joka ei ole sitä, ja sanasta tulee merkityksetön, jos se kattaa ne kaikki.

Meidän mielestämme on hyödyllistä soveltaa yksinkertaista testiä, joka on johdettu siitä, mikä sai vuoden 2026 tulokset toimimaan. Järjestelmä ansaitsee sanan, kun sen symbolinen osa rajoittaa tai varmentaa neuroverkkoihin perustuvaa osaa tavalla, joka muuttaa sitä, mitä järjestelmä voi tuottaa, ja kun tätä rajoitetta voidaan tarkastella.

Fyysistä toimijaa käsittelevässä artikkelissa PDDL-siirtymämalli rajoittaa dekoodauksen sovellettaviin toimintoihin. Kielellinen malli ei kirjaimellisesti voi tuottaa virheellistä toimintoa. Tämä on rajoite, joka muuttaa tuotosavaruutta, ja siirtymämalli on kenen tahansa luettavissa. GraphRAG-artikkelissa tietograafi rakennetaan ilmoitettujen sääntöjen mukaisesti auktoritatiivisista tietueista, ja kielellinen malli saa todisteita vain tästä graafista. Jokaisen kaaren alkuperä voidaan tarkistaa. Molemmat järjestelmät läpäisevät testin.

Kehote, joka pyytää mallia päättelemään huolellisesti, ei läpäise testiä. Se voi parantaa tuotoksia, mutta se ei rajoita niitä, eikä siitä voi tarkistaa mitään sen selvittämiseksi, mitä malli saa sanoa. Malli, joka voi kutsua laskinta, läpäisee testin vain osittain: laskimen tulos on tarkka, mutta malli päättää, kutsuuko se sitä ja mitä se tekee tuloksella, eikä mikään estä sitä jättämästä tulosta huomiotta tai tekemästä laskutoimitusta itse. Testi ei koske puhtautta. Se koskee sitä, mistä takeet tulevat.

Kysymyksiä järjestelmälle, joka väittää olevansa neurosymbolinen

Organisaatioille, jotka arvioivat neurosymbolisiksi kuvattuja järjestelmiä, testi tarkoittaa muutamaa konkreettista kysymystä.

Mitä symbolinen osa estää? Hyödyllinen vastaus nimeää luokan tuotoksia, joita järjestelmä ei voi tuottaa, kuten virheelliset toiminnot, perustelemattomat väitteet tai sääntörikkomukset, ja selittää mekanismin. Vastaus, jonka mukaan symbolinen osa "ohjaa" tai "informoi" mallia nimeämättä mitään, mitä se estää, on merkki siitä, että takuu on pehmeä.

Voidaanko symbolinen osa lukea? Sääntöjen, rajoitteiden, ontologioiden ja siirtymämallien tulisi olla niiden ihmisten tarkasteltavissa, jotka nojaavat järjestelmään, ainakin siinä muodossa, joka on olennaista heidän päätöstensä kannalta. Jos symbolinen kerros on itsessään opittu, läpinäkymätön komponentti, se ei tarjoa sellaista takuuta, joka tekee neurosymbolisista suunnitteluista arvokkaita.

Mihin alkuperän jäljitys päättyy? Seuraa minkä tahansa vastauksen viittauksia. Johtavatko ne auktoritatiivisiin lähdetietueisiin jäljitettävien vaiheiden kautta vai mallin kirjoittamiin väliteksteihin? GraphRAG:n alkuperän tarkastus on malliesimerkki tästä tarkistuksesta.

Missä epäonnistumiset ovat? Pyydä erittely epäonnistumistapauksista komponenteittain. Hyvin jäsennellyn järjestelmän pitäisi pystyä sanomaan, johtuvatko sen epäonnistumiset havaitsemisesta, pohjustamisesta, hausta, päättelystä vai tuottamisesta. Järjestelmä, joka ei pysty sanomaan tätä, on joko jäsentämätön tai mittaamaton.

Mitä tallennetaan? Kysy, tallentaako järjestelmä kulkemansa polun, mukaan lukien sen, mitä se luki ja mitkä komponentit vaikuttivat, eikä vain lopullista vastausta. Agenttiseen GraphRAG:hen liittyvät havainnot osoittavat, miksi tällä on merkitystä.

Minkään näiden kysymysten esittäminen ei vaadi syvällistä asiantuntemusta. Ne kaikki erottavat arkkitehtuurit, jotka tarjoavat tarkistettavia takeita, järjestelmistä, jotka käyttävät sanastoa.

Miksi tällä on merkitystä selittämisen ja valvonnan kannalta

Näihin tuloksiin liittyy sääntelyulottuvuus, joka kannattaa nostaa esiin, koska se yhdistää tutkimusarkkitehtuurin velvoitteisiin, joita tulee sovellettavaksi moniin organisaatioihin.

Tekoälysäädös edellyttää huomattavaa selitysvelvoitetta. Artikla 13 vaatii, että suuririskiset järjestelmät on suunniteltava niin, että käyttöönottajat voivat tulkita niiden tuotosta ja käyttää sitä asianmukaisesti. Artikla 14 vaatii, että valvontaan nimetyt henkilöt voivat tulkita järjestelmän tuotosta oikein ja päättää jättää sen huomiotta, ohittaa sen tai kumota sen. Artikla 86 antaa asianomaisille henkilöille oikeuden selkeisiin ja merkityksellisiin selityksiin tekoälyjärjestelmän roolista tietyissä päätöksissä. Nämä velvoitteet koskevat suuririskisiä järjestelmiä joulukuusta 2027 tai elokuusta 2028 alkaen Digital Omnibus -asetuksen mukaisesti, mutta suunnitteluratkaisut, jotka tekevät niistä toteutettavia, tehdään jo nyt.

Faktoroitu neurosymbolinen järjestelmä on selvästi helpompi selittää kuin päästä päähän -malli, juuri niistä syistä, jotka vuoden 2026 artikkelit osoittavat. Kun suunnitelma on rakenteellisesti toteutettavissa siirtymämallin mukaisesti, selitys sille, miksi vaihe sallittiin, on viittaus sääntöön, joka sen salli. Kun vastaus viittaa särmiin, jotka ovat jäljitettävissä auktoritatiivisiin tietueisiin, selitys sille, miksi väite esitettiin, on tietueiden ketju. Kun virheet paikantuvat komponenttiin, selitys sille, miksi järjestelmä oli väärässä, nimeää komponentin. Kukin selitys on väite jostakin olemassa olevasta ja tarkasteltavissa olevasta, ei jälkikäteen laadittu perustelu neuroverkkolaskennalle.

Tämä ei tee selittämisestä triviaalia. Jonkun on silti käännettävä säännöt ja tietueet kielelle, jota asianomainen henkilö ymmärtää. Mutta se muuttaa tehtävän luonteen rekonstruktiosta esittämiseksi. Rekonstruktio kysyy: "mikä on saattanut aiheuttaa tämän tuotoksen?" ja voi tarjota vain hypoteeseja. Esittäminen kysyy: "miten näytämme säännöt ja tietueet, jotka tuottivat tämän tuotoksen?" ja voi tarjota todisteita. Valvonnan ja selitysoikeuden kannalta tämä ero on ratkaiseva.

Siksi ajattelemme myös, että tehokkuustulosten pitäisi kiinnostaa sääntelyviranomaisia yhtä lailla kuin insinöörejä. Pieni, rajoitettu malli, joka on halvempi ajaa, on myös malli, joka on halvempi auditoida: se voidaan isännöidä siellä, missä auditoija voi tavoittaa sen, kiinnittää versioon tutkinnan ajaksi ja toistaa deterministisesti samoilla syötteillä. Suvereniteetti-, energia- ja vastuuvelvollisuusargumentit strukturoitujen pienten järjestelmien puolesta osoittautuvat samaksi argumentiksi kolmelta eri puolelta katsottuna.

Mitä otamme tästä irti

Oman työmme kannalta vuoden 2026 tulokset vahvistavat kolme suunnittelupäätöstä ja terävöittävät neljättä.

Ne vahvistavat, että pienet mallit, joissa on rakenne, voivat päihittää suuret mallit ilman sitä tehtävissä, jotka vaativat luotettavuutta. Tämä on Loomin spesialistin reitityksen taustalla oleva lähtökohta: useimpiin kysymyksiin vastaa parhaiten oikea spesialisti, usein pieni malli tai symbolinen ratkaisija, eikä suurin saatavilla oleva malli. Kehollistetun agentin ablointi on selkein tuntemamme julkaistu näyttö siitä, että tämä lähtökohta pätee suunnitteluun.

Ne vahvistavat, että tietämys tulisi rakentaa auktoritatiivisista lähteistä, joilla on julistetut säännöt, ja viitata sen lähteeseen. Dweven tietämyskerros viittaa jokaiseen vastauksessa käytettyyn tietämyksen osaan solmun ja version tiivisteen avulla, jotta arvioija voi seurata viittausta tarkkaan tietueeseen ja versioon. GraphRAG-provenienssiauditointi osoittaa, mitä menetetään, kun tämä ketju pysähtyy mallin kirjoittamaan välivaiheeseen.

Ne vahvistavat, että polun tallentaminen on yhtä tärkeää kuin vastauksen tallentaminen. Agenttisen GraphRAG-artikkelin havainto vierailtuihin mutta viittaamattomiin entiteetteihin on juuri se syy, miksi Knot tallentaa lukemiset ja välivaiheet, ja se syy, miksi Loomin jäljitys näyttää, mitkä spesialistit osallistuivat.

Ja ne terävöittävät huomiotamme ankkurointiin. Molemmat artikkelit paikantavat jäljellä olevat virheensä siihen kohtaan, jossa maailma tai lähde muunnetaan symboliseksi esitykseksi. Tämä on raja, jossa neuraalinen havainnointi siirtyy symboliseen päättelyyn, ja juuri siihen verifiointityön tulisi keskittyä. Symbolinen kerros, joka päättelee täydellisesti väärän tilan pohjalta, tuottaa itsevarman väärän vastauksen. Seuraavan vuoden insinöörikysymys on, miten tuo raja voidaan tehdä yhtä tarkistettavaksi kuin sen molemmilla puolilla olevat kerrokset.

Renessanssi lukuina

Vuosi sitten väite siitä, että neurosymboliset järjestelmät päihittäisivät puhtaat kielimallit luotettavuutta vaativissa tehtävissä, oli argumentti. Vuonna 2026 sillä on lukuja: yli 90 prosentin onnistumisaste pienillä avoimilla malleilla kotitalouksien suunnittelussa, 4 miljardin parametrin agentti päihittää 27 miljardin parametrin suoran politiikan selvällä erolla, rajoitteet ja haku ratkaisevat kumpikin alle kolmanneksen tehtävistä yksin ja yli 95 prosenttia yhdessä, ja jokainen särmä ontologialla rakennetussa graafissa on jäljitettävissä lähteeseensä, kun taas poimitussa graafissa vastaava osuus on 83 prosenttia.

Nuo luvut eivät tule ilman ehtoja, ja ehdot ovat yhtä tärkeitä kuin tulokset. Mutta suunta on selvä. Kun tekoälyjärjestelmän on oltava oikeassa tarkistettavissa olevilla tavoilla, rakenne ei ole este kyvykkyydelle. Se on yksi sen lähteistä.

Miksi benchmarkin suunnittelu on yhtä tärkeää kuin itse tulos

Molemmissa artikkeleissa on laajempi metodologinen opetus, joka ansaitsee lyhyen huomautuksen, koska se vaikuttaa siihen, miten koko alan tulisi arvioida järjestelmiä, jotka väittävät olevansa luotettavia.

Molemmat artikkelit mittaavat jotakin muuta kuin sujuvuutta. Kehollista agenttia käsittelevä artikkeli mittaa onnistumista: saatiinko kotitaloustehtävä tehtyä ympäristössä? GraphRAG-artikkeli mittaa provenienssia: voidaanko jokainen särmä ja jokainen viittaus jäljittää auktoritatiiviseen tietueeseen? Kumpikaan ei nojaa ensisijaisesti siihen, onko vastaus sujuvaa luettavaa tai vastaako se viitetekstiä. Tämä on merkittävää, koska suuri osa tekoälyn arvioinnista palkitsee edelleen pintatason laatua. "Miksi naapurustot ovat merkityksellisiä" -tutkimussuuntaus ja siihen liittyvä arviointitutkimus ovat esittäneet saman havainnon toisesta suunnasta: sanastollinen päällekkäisyys viitevastauksen kanssa voi olla suurta, vaikka näyttö vastauksen tueksi puuttuu.

Organisaatioille, jotka arvioivat tekoälyjärjestelmiä merkityksellisiä päätöksiä varten, opetus on se, että on kysyttävä, mitä vertailumittari mittaa, ennen kuin kysyy, minkä pistemäärän järjestelmä saavutti. Järjestelmä, joka saa hyvän pistemäärän sujuvuuteen perustuvassa vertailumittarissa, voi silti tuottaa suunnitelmia, jotka eivät toteudu, tai vastauksia, joiden viitteet eivät johda mihinkään. Järjestelmä, joka saa hyvän pistemäärän toteutettavuudessa tai alkuperän jäljitettävyydessä, on osoittanut jotain, mikä on lähempänä sitä, mitä päätöksentekijä tarvitsee. Haluaisimme nähdä enemmän hankinta-arviointeja, jotka on suunniteltu samalla tavalla kuin nämä kaksi artikkelia: joissa on tehtävä, joka joko onnistuu tai epäonnistuu tarkistettavalla tavalla, ja joihin sisältyy auditointi siitä, mistä kunkin vastauksen näyttö on peräisin.

Lähteet