A modellösszeomlás-válság: Miért öli meg az intelligenciát az AI beltenyészete
A Habsburg-probléma digitális formában
Az európai történelemben a Habsburg-ház az egyik leghatalmasabb királyi dinasztia volt. Évszázadokon át uraltak hatalmas területeket. De volt egy végzetes hibájuk: a hatalom megszilárdítása és a vérvonal „tisztaságának" megőrzése érdekében unokatestvéreikkel házasodtak. Generációkon át ez a visszatérő beltenyészet vezetett a híres „Habsburg-állkapocshoz" és a genetikai rendellenességek és egészségügyi problémák egész sorához. A génállomány túl kicsivé, túl visszatérővé vált, és végül a dinasztia összeomlott. II. Károly spanyol király, a Spanyol Birodalom utolsó Habsburg uralkodója annyira beltenyészet volt, hogy alig tudta megrágni az ételét.
2025-ben ennek a jelenségnek a digitális megfelelőjét látjuk. A kutatók ezt modellösszeomlásnak nevezik.
A mélytanulás forradalmának első évtizedében (nagyjából 2012-2022) az adatok aranykorát éltük. A modelleket az emberiség organikus teljesítményére tanítottuk. Összegyűjtöttük az emberi szerzők által írt könyveket, az emberi mérnökök által írt kódot, az emberi vitákkal teli fórumokat és az emberi kéz által létrehozott művészetet. Ez az adat rendetlen volt, igen. De gazdag volt. Változatos volt. Tartalmazta az eloszlás „széleit": a furcsát, a kreatívat, a váratlant. A fizikai valóságban gyökerezett.
De aztán jött a ChatGPT, a Midjourney és a Copilot. Hirtelen a tartalom előállításának költsége közel nullára esett. Az internetet elárasztották a mesterséges intelligencia által generált szövegek, képek és kódok. A SEO-spammerek LLM-eket használtak arra, hogy milliónyi „listás" cikket generáljanak a kattintások begyűjtésére. A botok botokkal kezdtek beszélgetni a közösségi médiában. A LinkedIn megtelt a „gondolati vezető szerepről" szóló, mesterséges intelligencia által írt bejegyzésekkel. A Mediumot elárasztották a mesterséges intelligenciáról szóló, mesterséges intelligencia által generált gondolatébresztők.
Ma a nyilvános web jelentős és egyre növekvő százaléka szintetikus. A becslések szerint 2025-re a nyilvános interneten található szövegek 30-50%-át mesterséges intelligencia generálta. És itt van a probléma: amikor a webet kaparjuk, hogy kiképezzük a következő generációs modelleket, elkerülhetetlenül az elődeik által generált adatokat kaparjuk. A mesterséges intelligenciát a saját teljesítményével etetjük. Bezárjuk a kört. Habsburg-mesterséges intelligenciát hozunk létre.
A regresszió matematikája
Ez nem csupán filozófiai aggály. Ez matematikai bizonyosság. Az Oxford, a Cambridge és a Torontói Egyetem kutatói szigorú, szakértők által lektorált tanulmányokban mutatták ki ezt a hatást. Ők „A rekurzió átkának" nevezik.
A matematika valójában egészen elegáns a maga komorságában. Amikor egy valószínűségi modell (B modell) egy másik valószínűségi modell (A modell) által generált adatokon tanul, a B modell az A modell valódi eloszlásról alkotott közelítését tanulja meg, nem magát a valódi eloszlást. A hibákat is megtanulja a jellel együtt.
De van rosszabb is. A B modell tanulási folyamata eleve az A modell kimenetének nagy valószínűségű tartományait helyezi előtérbe. A ritka események, a kreatív kiugró értékek, az eloszlás „farokrészei" alulreprezentáltak az A modell szintetikus kimenetében (mert definíció szerint ritkák). Így a B modell még kevesebb példát lát ezekből a farokrészekből, mint az A modell. Veszít a varianciából.
Most tanítsuk a C modellt a B modell kimenetén. A farokrészek tovább zsugorodnak. Tanítsuk a D modellt a C modellen. Még tovább. Elég generáció után az eloszlás egyetlen pontba omlik össze. Minden kimenet ugyanaz lesz: az eredeti eloszlás „átlaga", minden sokszínűségtől megfosztva.
Gondoljunk rá úgy, mint fénymásolat készítése fénymásolatról, amely fénymásolatról készült. Az első másolat még elfogadható. A második egy kicsit elmosódott. A tizedik másolatra az éles kontúrok zajjá válnak, a részletek kimosódnak, a kép pedig szürke masszává válik. A jel minden generációval exponenciálisan romlik.
A farokrészek elvesztése
Az AI-modellekben ez a kreativitás és az árnyaltság elvesztéseként jelentkezik. A modellek „színtelenné" válnak. Írásuk általánossá, ismétlődővé és biztonságossá válik. Művészetük egy konkrét, fényes, túlcsiszolt esztétikába torkollik, amelyből hiányzik a valóság nyersessége és textúrája. Kódjuk szintaktikailag tökéletes, de funkcionálisan általános, hiányoznak belőle azok az okos optimalizálási trükkök, amelyeket egy emberi szakértő alkalmazna.
Az eloszlás „farokrészeiben" él az innováció. Shakespeare a farokrészekben van. Einstein a farokrészekben van. A fura startupötletek, amelyekből milliárdos cégek lesznek, a farokrészekben vannak. Ha megszüntetjük a farokrészeket, megszüntetjük a zsenialitás lehetőségét is. Egy kompetens középszerűségből álló világot kapunk.
A hallucináció felerősödése
Talán még a kreativitás elvesztésénél is rosszabb, amikor magabiztos tévedés születik. Ahogy a modellek elődeik hallucinációin tanulnak, ezek a hibák megerősödnek. Egy egyszer elmondott hazugság anomália. Egy milliószor ismételt hazugság a tanítóadatban ténnyé válik.
Vegyünk egy feltételezést: a GPT-5 azt hallucinálja, hogy egy bizonyos gyógyszer biztonságos terhesség alatt (pedig nem az). Ez a hallucináció megjelenik több ezer MI-generálta egészségügyi cikkben. A GPT-6 ezeken a cikkeken tanul. Most már még nagyobb magabiztossággal „hisz" ebben a hamis tényben, mert olyan sokszor látta. A GPT-7 pedig bevett orvosi ismeretként kezeli.
A modellösszeomlás nem csak arról szól, hogy unalmassá válik; arról szól, hogy elszakad a valóságtól. Arról, hogy létrejöjjön egy MI, amely rendkívül magabiztos egy olyan tényekből álló univerzumban, amely nem létezik.
A bizonyíték már itt van
Nem arra várunk, hogy a modellösszeomlás bekövetkezzen. Élőben nézzük végig, ahogy kibontakozik.
A Stack Overflow forgalma hatalmasat zuhant, miközben a GitHubon a MI-generálta kód mennyisége robbanásszerűen megnőtt. Ha 2025-ös GitHub-adatokon tanítasz egy kódolómodellt, akkor olyan kódokon tanítod, amelyeket valószínűleg a Copilot írt (vagy legalábbis segített megírni) 2024-ben. Ha abban a 2024-es kódban volt egy rejtett hiba (mondjuk egy biztonsági rés, amelyet az MI hajlamos javasolni), a 2025-ös modell ezt a hibát fogja bevált gyakorlatként megtanulni. Fel fogja erősíteni.
A Google kutatói megfigyelték, hogy az újabb keresési találatok egyre inkább az LLM-kimenetre jellemző, ismétlődő megfogalmazási mintákat tartalmaznak. Ugyanazok a frázisok bukkannak fel újra és újra: „Fontos megjegyezni, hogy...", „A mai felgyorsult világban...", „Vágjunk is bele...". Ezek a nyelvi ketyerék vírusként terjednek a korpuszban.
Az Amazon jelentése szerint a platformjukon megjelenő vásárlói értékelések jelentős százaléka már MI-generálta. A termékleírások MI-generáltak. A termékek értékelései MI-generáltak. Hamarosan az értékelések összefoglalói is MI-generáltak lesznek. Ez a teknősök esete a végtelenségig.
A MI-fellendülést hajtó „skálázási törvények" (az az elképzelés, hogy egyszerűen több adat és több számítási kapacitás mindig jobb teljesítményt eredményez) falba ütköznek. Az adat már nem a korlát; a valóság a korlát. Elfogytak a tiszta emberi adatok. Megmérgeztük a saját kútunkat.
A Dweve-megoldás: episztemológiai szigora
A Dweve-nél előre láttuk ezt a válságot. Korán felismertük, hogy a „mindent lekaparunk” stratégia hosszú távon tarthatatlan. Ahhoz, hogy olyan robusztus rendszereket építsünk, amelyek nem omlanak össze hallucinációba, az adatok származását kell előtérbe helyezni: pontosan tudni, honnan származnak az adatok, és hogy a valóságot tükrözik-e.
Ezért építettük meg a Dweve Spindle-t: a vállalati tudáskezelő platformunkat. A Spindle nem csupán egy adatcsővezeték. Ez egy episztemológiai rendszer. A nyers információt egy szigorú, hétlépcsős folyamaton keresztül ellenőrzött, MI-kész tudássá alakítja.
A hétlépcsős episztemológiai csővezeték
A Dweve-ökoszisztémába belépő minden egyes információ ezen a csővezetéken halad keresztül:
1. szakasz: Jelölt. A nyers információt azonosítják és feldolgozásra jelölik. Ez lehet egy weboldal, egy dokumentum, egy adatbázisrekord vagy egy érzékelőleolvasás. Ebben a szakaszban csak azt tudjuk, hogy az információ létezik, azt nem, hogy igaz vagy hasznos-e.
2. szakasz: Kinyert. A strukturált információt kinyerik a nyers forrásból. Azonosítják az entitásokat. Kinyerik a tényeket. A strukturálatlan káoszból strukturált tudásgráf-jelölt lesz.
3. szakasz: Elemzett. Az állításokat atomi tényekre bontják. Egy olyan mondat, mint „Einstein a relativitáselméletért kapott Nobel-díjat”, ellenőrizhető összetevőkre bomlik: „Einstein létezett”, „Einstein Nobel-díjat kapott”, „A díjat fizikáért adták”, „A díjat a relativitáselméletért végzett munkáért adták”. (Megjegyzés: ez utóbbi állítás valójában hamis, amit a csővezeték kiszűrne.)
4. szakasz: Összekapcsolt. Az atomi tényeket hozzákapcsoljuk a meglévő tudáshálózatunkhoz. Ellentmond-e ez az új információ a megalapozott tényeknek? Alátámasztja azokat? Kitölti a hiányosságokat? A gráfintegráció feltárja az összhangot és az ütközéseket.
5. szakasz: Ellenőrzött. Többforrású validálás történik. Találunk-e független megerősítést hiteles forrásokból? Megfelel-e az állítás a logikai konzisztenciavizsgálatoknak? Mi az eredeti forrás származása?
6. szakasz: Tanúsított. A minőségbiztosítás befejeződött. Az információ a hat minőségi dimenziónkon 0,7 feletti megbízhatósági pontszámot ért el. Megbízhatóként van megjelölve a downstream alkalmazásokban való felhasználásra.
7. szakasz: Kanonikus. Az információ tekintélyes, MI-kész tudássá válik. Használható tanításhoz, következtetéshez, visszakereséshez. Ez az alapigazság.
A 32 ágensből álló katonai hierarchia
Ezt a csővezetéket nem egyetlen algoritmus hajtja végre. Egy 32 MI-ágensből álló, specializált csapat irányítja, amely katonai jellegű hierarchiába szerveződik:
- Felderítő Dandár (6 ágens): Felderítők, akik azonosítják és visszakeresik a potenciális tudásforrásokat
- Kinyerő Hadtest (5 ágens): Az elemzésre, NER-re és a nyers adatok strukturálására specializálódott szakértők
- Elemző Hadosztály (6 ágens): Logikusok, akik az állításokat bontják elemeikre és azonosítják a függőségeket
- Kapcsolódási Hálózat (4 ágens): Gráfszakértők, akik integrálják az új tudást
- Minőségi Őrség (4 ágens): Validálók, akik keresztellenőrzést végeznek és feltárják az ellentmondásokat
- Irigáló Tanács (12 ágens): Senior ágensek, akik a végső tanúsítási döntéseket hozzák
Minden ágens speciális szakértelemmel rendelkezik. Vitáznak. Megkérdőjelezik egymás következtetéseit. Konszenzust követelnek, mielőtt az információ a következő szakaszba lépne. Ez a többágenses ellenőrzési folyamat sokkal robusztusabb, mint bármely egymodelles tényellenőrzési megközelítés.
47 torzítástípus felismerése
A Spindle-t kifejezetten arra tervezték, hogy felismerje és jelezze a tanítóadatok torzításait. Rendszerünk 47 különálló torzítástípust azonosít négy kategóriában:
- Statisztikai torzítás: Mintavételi torzítás, szelekciós torzítás, túlélési torzítás, megerősítési torzítás az adatgyűjtésben
- Kognitív torzítás: Horgonyzás, elérhetőségi heurisztika, keretezési hatások a forrásanyagban
- Nyelvi torzítás: Érzelmileg terhelt kifejezések, eufemizmusok, ködösítő kifejezések, meggyőző keretezés
- Rendszerszintű torzítás: Reprezentációs hiányosságok, a szövegbe kódolt történelmi torzítások, kulturális vakfoltok
Ha torzítást észlel a rendszer, az adott információt vagy kijavítja (ha lehetséges), vagy megjelöli (ha a javítás bizonytalan), vagy elutasítja (ha a torzítás alapvető és nem javítható). Ez megakadályozza a torzítások felerősítését, amely a nyers webes adatgyűjtésen tanított modellek problémája.
Az adatszármazás négy pillére
A Spindle-csővezetéken túl a tágabb adatstratégiánk négy pilléren nyugszik:
1. Az érintetlen web (2023 előtti archívumok)
Kiemelt jelentőséget tulajdonítunk azoknak az adatoknak, amelyek a generatív mesterséges intelligencia széles körű elterjedése (nagyjából 2022 vége, 2023 eleje) előtt készültek. Ezt az időszakot tekintjük az „érintetlen webnek”. Ez az archív adatállomány a képzésünk alapköve. Ez az emberi teljesítmény alapténye a szennyeződés megkezdése előtti időkből.
Jelentős összegeket fektettünk a 2022 előtti adatállományok beszerzésébe és gondozásába: digitalizált könyvek, tudományos archívumok, olyan kódrepóik, amelyeknek a commit-előzményei bizonyítják az emberi szerzőséget, valamint fórumarchívumok abból a korszakból, amikor minden bejegyzést ember írt.
Ezek az adatok pótolhatatlanok. Miután a web szennyezetté vált, nem tudtuk többé megtisztítani. De megőrizhetjük és előnyben részesíthetjük a tiszta archívumokat.
2. Tanúsított emberi források
A modern adatok esetében nem hagyatkozunk vak webes adatgyűjtésre. Közvetlenül megbízható intézményekkel működünk együtt. Adatokat licencelünk a következőktől:
- Tudományos kiadók: A lektorált tanulmányokat (többnyire) emberek írják, és emberek ellenőrzik. A bírálati folyamat minőségi szűrőként szolgál.
- Könyvkiadók: A szerkesztési folyamatok olyan szintű emberi felügyeletet biztosítanak, amellyel a webes tartalmak nem rendelkeznek.
- CI/CD-vel rendelkező kódrepók: Ez kulcsfontosságú. Nem csak úgy összegyűjtjük a kódot. Olyan kódot gyűjtünk, amely átmegy a teszteken. Ha egy függvény nem fordul le, eldobjuk. Ha nem megy át a tesztkészletén, eldobjuk. A működő kód sokkal valószínűbb, hogy ember írta (vagy legalábbis ember ellenőrizte), mint a véletlenszerű kódrészletek.
- Vállalati partnerek: A vállalatok saját adatokat biztosítanak számunkra egyedi modellek fejében. Ezek az adatok értelemszerűen ember által létrehozottak és üzleti szempontból relevánsak.
3. A szimbolikus ellenőrzés mint immunrendszer
Ez egyedülálló a neuro-szimbolikus megközelítésünkben. Mivel a rendszerünk a kényszeralapú architektúránkon keresztül érti a logikát és a kód szerkezetét, szimbolikus ellenőrzést használhatunk a képzési adatok szűrésére.
Ha egy modellt tanítunk Python írására, nem csak nyers szövegfájlokat adunk neki. Lefuttatjuk a kódot egy fordítón. Ha szintaktikai hibái vannak, eldobjuk. Lefuttatjuk egy statikus elemzőn. Ha nyilvánvaló biztonsági hibái vannak, eldobjuk. Tesztesetek ellen futtatjuk. Ha nem megy át, eldobjuk.
A tényszerű tartalmak esetében az állításokat az ellenőrzött tudásgráfunkkal vetjük össze. Ha egy dokumentum azt állítja, hogy Párizs Németország fővárosa, a szimbolikus réteg észleli az ellentmondást, és megbízhatatlanként jelöli meg a dokumentumot.
Ez immunrendszerként működik a Model Collapse ellen. A más mesterséges intelligenciák által generált hallucinációk és hibás kódok megbuknak az ellenőrzési folyamatunkon, és kiszűrésre kerülnek, mielőtt beszennyezhetnék a tanításunkat.
4. A farok megőrzésének stratégiája
Kifejezetten felülmintavételezzük az eloszlás "farok" részét. Olyan adatokat keresünk, amelyek kiváló minőségűek, de nem szokványosak. Nem azt akarjuk, hogy a modellünk "átlagos" legyen. Azt akarjuk, hogy értse a szélsőséges eseteket, a kreatív ugrásokat, a zseniális kivételeket.
A legtöbb LLM tanítási folyamat agresszívan kiszűri a "kiugró értékeket" a tanítás stabilizálása érdekében. Mi gondosan válogatjuk össze őket. Az innováció nem az átlagnál történik; a széleken történik. A következő áttörést jelentő ötlet nem fog úgy hangzani, mint minden más ötlet. Furcsán fog hangzani. Mi meg akarjuk őrizni ezt a furcsaságot.
A valóság értéke
A közeljövőben a "ember által generált adat" prémium eszközosztály lesz. A nyilvános internet hatalmas óceánja "szemétadatnak" számít majd: hasznos lehet tölteléknek, vagy talán az alapvető nyelvtan elsajátításához, de veszélyes az alapvető tudás szempontjából.
Azok a vállalatok, amelyek hozzáférnek saját, valós világból származó adatokhoz (érzékelőnaplók valódi gyárakból, betegnyilvántartások valódi orvosoktól, tranzakciós adatok valódi gazdaságokból), óriási versenyelőnyhöz jutnak. Ők birtokolják a "valóság alapját".
A Model Collapse egzisztenciális fenyegetést jelent a generatív mesterséges intelligencia buborékára. Azt sugallja, hogy nem növekedhetünk a végtelenségig. Nem szimulálhatjuk magunkat a szuperintelligenciáig. A valósághoz kötve kell maradnunk. Válogatnunk kell. A minőséget kell többre értékelnünk a mennyiségnél.
A jövő mesterséges intelligenciája nem a teljes internetre fog épülni. Az ellenőrzött internetre fog épülni. Az igazságra fog épülni.
A szabályozási dimenzió
Ez nem csupán technikai kérdés. A szabályozó hatóságok kezdik felismerni a szintetikus adatszennyezés következményeit.
Az EU mesterséges intelligenciáról szóló rendelete kifejezetten megköveteli a képzési adatok származásának dokumentálását a nagy kockázatú mesterséges intelligencia rendszerek esetében. Ha a modelljét szennyezett adatokon tanították, és káros kimeneteket produkál, bizonyítania kell, hogy ésszerű lépéseket tett az adatminőség biztosítása érdekében. A "lekapartuk a webet" nem lesz elfogadható válasz.
A GDPR már most is megköveteli a szervezetektől, hogy nyilvántartást vezessenek az adatfeldolgozási tevékenységekről. Ennek kiterjesztése a mesterséges intelligencia képzési adataira természetes fejlődés. Honnan származnak a képzési adataid? Be tudod bizonyítani, hogy jogszerűen gyűjtötték őket? Be tudod mutatni, hogy a valóságot tükrözik, nem pedig a mesterséges intelligencia hallucinációit?
Azok a vállalatok, amelyek nem tudnak válaszolni ezekre a kérdésekre, egyre nagyobb szabályozói ellenőrzéssel néznek szembe. Azok a vállalatok, amelyek igazolni tudják a szigorú adat-eredetiséget (például azok, amelyek a Dweve Spindle-t használják), előnyben lesznek a megfelelés terén.
Az előre vezető út
A modellösszeomlás nem elkerülhetetlen. A lusta adatkezelési gyakorlatok következménye. Ha továbbra is a szennyezett webet kaparjuk, és egyre nagyobb modelleket táplálunk vele, Habsburg-mesterséges intelligenciát kapunk: magabiztosnak tűnő, de alapvetően elfajult rendszert.
De ha befektetünk az adatminőségbe, ha olyan ismeretelméleti rendszereket építünk, amelyek meg tudják különböztetni az igazságot a hallucinációtól, ha megőrizzük az emberi gondolkodás sokszínűségét ahelyett, hogy szintetikus masszává gyűrnénk, olyan mesterséges intelligenciát építhetünk, amely a valóságban gyökerezik.
Ez keményebb munkát igényel. Több befektetést igényel. Azt igényli, hogy az adatokat értékes erőforrásként kezeljük, ne pedig nyersanyagként, amit fel kell tárni. De ez az egyetlen út azokhoz a mesterséges intelligencia rendszerekhez, amelyek hosszú távon hasznosak, pontosak és megbízhatóak maradnak.
A Dweve-nél ezt az utat választottuk. Az érintetlen archív adatok, a tanúsított emberi források, a szimbolikus ellenőrzés és a sokszínűség megőrzésének kombinációja biztosítja, hogy modelljeink kapcsolatban maradjanak a valós világgal. Mi építjük a szűrőt a valóság és a szimuláció között.
A könnyű út a modellösszeomláshoz vezet. A nehéz út olyan intelligenciához vezet, amely valóban működik. Tudjuk, melyiket választjuk.