Kriza propadanja modelov: Zakaj bo parjenje v sorodstvu umetne inteligence uničilo inteligenco
The Habsburg Problem in Digital Form
In European history, the House of Habsburg was one of the most powerful royal dynasties. They ruled vast territories for centuries. But they had a fatal flaw: in their quest to consolidate power and keep their bloodline "pure," they married their cousins. Over generations, this recursive inbreeding led to the famous "Habsburg Jaw" and a host of genetic deformities and health issues. The gene pool became too small, too recursive, and ultimately, the line collapsed. Charles II of Spain, the last Habsburg ruler of the Spanish Empire, was so inbred that he could barely chew his own food.
In 2025, we are witnessing the digital equivalent of this phenomenon. Researchers call it Model Collapse.
For the first decade of the Deep Learning revolution (roughly 2012-2022), we lived in a Golden Age of data. We trained our models on the organic output of humanity. We scraped books written by human authors, code written by human engineers, forums filled with human arguments, and art created by human hands. This data was messy, yes. But it was rich. It was varied. It contained the "tails" of the distribution: the weird, the creative, the unexpected. It was grounded in physical reality.
But then came ChatGPT, Midjourney, and Copilot. Suddenly, the cost of generating content dropped to near zero. The internet was flooded with AI-generated text, AI-generated images, and AI-generated code. SEO spammers used LLMs to generate millions of "listicle" articles to farm clicks. Bots began talking to bots on social media. LinkedIn filled with AI-written posts about "thought leadership." Medium overflowed with AI-generated think pieces about AI.
Today, a significant and growing percentage of the public web is synthetic. Estimates suggest that by 2025, 30-50% of text on the public internet was generated by AI. And here is the problem: when we scrape the web to train the next generation of models, we are inevitably scraping data generated by their predecessors. We are feeding the AI its own output. We are closing the loop. We are creating Habsburg AI.
Matematika regresije
To ni zgolj filozofska skrb. To je matematična gotovost. Raziskovalci z Oxforda, Cambridgea in Univerze v Torontu so ta učinek dokazali v strogih strokovno pregledanih študijah. Imenujejo ga "Prekletstvo rekurzije".
Matematika je v svoji mračnosti pravzaprav precej elegantna. Ko se verjetnostni model (model B) uči na podatkih, ki jih je ustvaril drug verjetnostni model (model A), se model B nauči približka prave porazdelitve modela A, ne pa prave porazdelitve same. Nauči se napake skupaj s signalom.
Ampak postane še slabše. Učni proces modela B sam po sebi poudarja območja z visoko verjetnostjo v izhodih modela A. Redki dogodki, ustvarjalne izstopajoče vrednosti, "repi" porazdelitve, so v sintetičnih izhodih modela A premalo zastopani (ker so po definiciji redki). Zato model B vidi še manj primerov teh repov kot model A. Izgubi varianco.
Zdaj naučimo model C na izhodih modela B. Repi se še bolj skrčijo. Naučimo model D na modelu C. Še bolj. Po dovolj generacijah se porazdelitev sesede v točko. Vsi izhodi postanejo enaki: "povprečje" prvotne porazdelitve, oropano vse raznolikosti.
Predstavljajte si to kot fotokopijo fotokopije fotokopije. Prva kopija je videti sprejemljivo. Druga je nekoliko zamegljena. Do desete kopije ostri robovi postanejo šum, podrobnosti so izprane in slika se spremeni v siv mulj. Signal z vsako generacijo eksponentno razpada.
Izguba repov
Pri modelih umetne inteligence se to kaže kot izguba ustvarjalnosti in nians. Modeli postanejo "bež". Njihovo pisanje postane generično, ponavljajoče se in varno. Njihova umetnost konvergira k specifični, sijajni, pretirano polirani estetiki, ki ji manjkata ostrina in tekstura resničnosti. Njihova koda postane skladenjsko popolna, a funkcionalno generična, brez pametnih optimizacijskih trikov, ki bi jih uporabil človeški strokovnjak.
"Repi" porazdelitve so prostor, kjer živi inovacija. Shakespeare je v repih. Einstein je v repih. Nenavadne startup ideje, ki postanejo milijardna podjetja, so v repih. Ko odpravite repe, odpravite možnost genialnosti. Dobite svet kompetentne povprečnosti.
Okrepitev halucinacij
Morda je še hujše od izgube ustvarjalnosti pridobivanje samozavestne napačnosti. Ko se modeli učijo na halucinacijah svojih predhodnikov, se te napake krepijo. Laž, povedana enkrat, je anomalija. Laž, ponovljena milijonkrat v učni množici, postane dejstvo.
Poglejmo hipotetičen primer: GPT-5 halucinira, da je določeno zdravilo varno med nosečnostjo (ni). Ta halucinacija se objavi v na tisoče člankov o zdravju, ki jih ustvari umetna inteligenca. GPT-6 se uči na teh člankih. Zdaj »verjame« v to napačno dejstvo z še večjo samozavestjo, ker ga je videl tolikokrat. GPT-7 ga obravnava kot uveljavljeno medicinsko znanje.
Kolaps modela ni le v tem, da postane dolgočasen; gre za to, da se odmakne od resničnosti. Gre za ustvarjanje umetne inteligence, ki je skrajno prepričana v vesolje dejstev, ki ne obstajajo.
Dokazi so že tukaj
Ne čakamo, da se kolaps modela zgodi. Opazujemo ga, kako se odvija v realnem času.
Stack Overflow je zabeležil ogromen upad človeškega prometa, medtem ko je obseg kode, ki jo ustvari umetna inteligenca na GitHubu, eksplodiral. Če model za kodiranje učite na podatkih z GitHuba iz leta 2025, ga učite na kodi, ki jo je leta 2024 verjetno napisal (ali vsaj pomagal napisati) Copilot. Če je imela ta koda iz leta 2024 prikrito napako (recimo ranljivost pri varnosti, ki jo umetna inteligenca pogosto predlaga), se bo model iz leta 2025 te napake naučil kot najboljše prakse. To napako bo še okrepil.
Raziskovalci pri Googlu so opazili, da novejši rezultati iskanja vsebujejo vse bolj ponavljajoče se fraze, značilne za izpise velikih jezikovnih modelov. Iste fraze se pojavljajo znova in znova: »Pomembno je omeniti, da ...«, »V današnjem hitrem svetu ...«, »Poglobimo se ...«. Te jezikovne posebnosti se širijo po korpusu kot virus.
Amazon je poročal, da je zdaj znaten odstotek ocen strank na njihovi platformi ustvarjenih z umetno inteligenco. Opisi izdelkov so ustvarjeni z umetno inteligenco. Ocene teh izdelkov so ustvarjene z umetno inteligenco. Kmalu bodo tudi povzetki teh ocen ustvarjeni z umetno inteligenco. Same želve do konca.
»Zakonitosti skaliranja«, ki so poganjale razcvet umetne inteligence (ideja, da dodajanje več podatkov in več računske moči vedno prinese boljše rezultate), trčijo ob zid. Podatki niso več omejitev; omejitev je resničnost. Zmanjkalo nam je čistih človeških podatkov. Zastrupili smo svoj lastni vir.
Rešitev Dweve: epistemološka strogost
Pri Dweve smo to krizo predvideli. Zgodaj smo spoznali, da strategija »zajemi vse« ni trajnostna. Za izgradnjo zanesljivih sistemov, ki ne zdrsnejo v halucinacije, morate dati prednost izvoru podatkov: vedeti morate natančno, od kod podatki prihajajo in ali odražajo resničnost.
Zato smo zgradili Dweve Spindle: našo platformo za upravljanje znanja v podjetjih. Spindle ni le podatkovni cevovod. Je epistemološki sistem. Skozi strog sedemstopenjski postopek pretvarja surove informacije v preverjeno znanje, pripravljeno za umetno inteligenco.
Sedemstopenjski epistemološki cevovod
Vsaka informacija, ki vstopi v ekosistem Dweve, gre skozi ta cevovod:
1. stopnja: kandidat. Surove informacije so prepoznane in označene za obdelavo. To je lahko spletna stran, dokument, zapis v podatkovni zbirki ali odčitek senzorja. Na tej stopnji vemo le, da informacija obstaja, ne pa, ali je resnična ali uporabna.
2. stopnja: izluščeno. Strukturirane informacije so razčlenjene iz surovega vira. Entitete so prepoznane. Dejstva so izluščena. Nestrukturirana zmešnjava postane kandidat za strukturiran graf znanja.
3. stopnja: analizirano. Trditve so razčlenjene na atomska dejstva. Stavek, kot je »Einstein je dobil Nobelovo nagrado za teorijo relativnosti«, je razdeljen na preverljive dele: »Einstein je obstajal«, »Einstein je dobil Nobelovo nagrado«, »Nagrada je bila za fiziko«, »Nagrada je bila podeljena za delo o relativnosti«. (Opomba: zadnja trditev je dejansko napačna, kar bi cevovod zaznal.)
4. stopnja: povezano. Atomska dejstva so povezana z našim obstoječim omrežjem znanja. Ali je to nova informacija v nasprotju z uveljavljenimi dejstvi? Ali jih potrjuje? Ali zapolnjuje vrzeli? Integracija v graf razkriva skladnost in nasprotja.
5. stopnja: preverjeno. Poteka validacija iz več virov. Ali lahko najdemo neodvisno potrditev pri verodostojnih virih? Ali trditev prestane preverjanja logične skladnosti? Kakšen je izvor prvotnega vira?
6. stopnja: potrjeno. Zagotavljanje kakovosti je končano. Informacija je dosegla oceno zaupanja nad 0,7 na naših šestih dimenzijah kakovosti. Označena je kot zanesljiva za uporabo v aplikacijah na nižjih ravneh.
7. stopnja: kanonično. Informacija postane verodostojno znanje, pripravljeno za umetno inteligenco. Uporablja se lahko za usposabljanje, za sklepanje, za pridobivanje. Je temeljna resnica.
Vojaška hierarhija 32 agentov
Tega cevovoda ne izvaja en sam algoritem. Upravlja ga specializirana ekipa 32 agentov umetne inteligence, organizirana v vojaško hierarhijo:
- Iskalna brigada (6 agentov): izvidniki, ki prepoznajo in pridobijo potencialne vire znanja
- Korpus za izluščanje (5 agentov): strokovnjaki za razčlenjevanje, prepoznavanje imenovanih entitet in strukturiranje surovih podatkov
- Analitska divizija (6 agentov): logiki, ki razčlenjujejo trditve in prepoznavajo odvisnosti
- Povezovalno omrežje (4 agenti): strokovnjaki za grafe, ki vključujejo novo znanje
- Varuhi kakovosti (4 agenti): validacijski strokovnjaki, ki navzkrižno preverjajo in odkrivajo neskladnosti
- Svet upravljanja (12 agentov): višji agenti, ki sprejemajo končne odločitve o potrjevanju
Vsak agent ima specializirano strokovno znanje. Razpravljajo. Izpodbijajo drug drugemu zaključke. Preden informacija napreduje na naslednjo stopnjo, zahtevajo soglasje. Ta postopek preverjanja z več agenti je veliko zanesljivejši od katerega koli pristopa s posameznim modelom za preverjanje dejstev.
Zaznavanje 47 vrst pristranskosti
Spindle je posebej zasnovan za zaznavanje in označevanje pristranskosti v podatkih za usposabljanje. Naš sistem prepozna 47 različnih vrst pristranskosti v štirih kategorijah:
- Statistična pristranskost: pristranskost vzorčenja, pristranskost izbire, pristranskost preživetja, pristranskost potrditve pri zbiranju podatkov
- Kognitivna pristranskost: sidranje, hevristika razpoložljivosti, učinki okvirjanja v izvornem gradivu
- Jezikovna pristranskost: obremenjen jezik, evfemizmi, dvoumne besede, prepričevalno okvirjanje
- Sistemska pristranskost: vrzeli v zastopanosti, zgodovinske pristranskosti, zapisane v besedilu, kulturne slepe pege
Ko je pristranskost zaznana, se informacija bodisi popravi (če je to mogoče), označi (če je popravek negotov) ali zavrne (če je pristranskost temeljna in je ni mogoče popraviti). To preprečuje okrepitev pristranskosti, ki pesti modele, usposobljene na surovih spletnih izvlečkih.
Štirje stebri izvora podatkov
Poleg cevovoda Spindle naša širša podatkovna strategija sloni na štirih stebrih:
1. Nedotaknjeni splet (arhivi pred letom 2023)
Izjemno velik pomen pripisujemo podatkom, nastalim pred široko razširjenostjo generativne umetne inteligence (približno konec leta 2022 oziroma v začetku leta 2023). To obdobje imenujemo "nedotaknjeni splet." Ti arhivski podatki so temelj našega usposabljanja. So temeljna resnica človeških vsebin iz časa pred kontaminacijo.
Veliko smo vložili v pridobivanje in urejanje naborov podatkov iz obdobja pred letom 2022: digitalizirane knjige, akademski arhivi, skladišča kode z zgodovino potrditev, ki dokazujejo človeško avtorstvo, forumi iz obdobja, ko je vsako objavo napisal človek.
Ti podatki so nenadomestljivi. Ko je bil splet kontaminiran, ga nismo mogli več razkužiti. Lahko pa ohranimo in prednostno obravnavamo čiste arhive.
2. Potrjeni človeški viri
Pri sodobnih podatkih se ne zanašamo na slepo zajemanje spleta. Neposredno sodelujemo z zaupanja vrednimi institucijami. Podatke licenciramo od:
- Akademskih založnikov: Strokovno pregledane članke (večinoma) pišejo in preverjajo ljudje. Postopek recenzije zagotavlja filter kakovosti.
- Knjižnih založnikov: Uredniški postopki zagotavljajo raven človeškega nadzora, ki ga spletne vsebine nimajo.
- Skladišč kode s CI/CD: To je ključno. Ne zajemamo zgolj kode. Zajemamo kodo, ki prestane teste. Če se funkcija ne prevede, jo zavržemo. Če ne prestane testnega niza, jo zavržemo. Delujoča koda je veliko verjetneje človeško napisana (ali vsaj človeško preverjena) kot naključni odlomki.
- Poslovnih partnerjev: Podjetja nam zagotavljajo lastniške podatke v zameno za modele po meri. Ti podatki so po definiciji človeško ustvarjeni in poslovno pomembni.
3. Simbolično preverjanje kot imunski sistem
To je posebnost našega nevro-simboličnega pristopa. Ker naš sistem razume logiko in strukturo kode prek arhitekture, ki temelji na omejitvah, lahko s simboličnim preverjanjem filtriramo podatke za usposabljanje.
Če model usposabljamo za pisanje Pythona, mu ne dovajamo zgolj surovih besedilnih datotek. Kodo pognali skozi prevajalnik. Če vsebuje skladenjske napake, jo zavržemo. Pognali jo skozi statični analizator. Če ima očitne varnostne pomanjkljivosti, jo zavržemo. Izvedemo jo na testnih primerih. Če ne uspe, jo zavržemo.
Pri dejstvenih vsebinah navzkrižno preverjamo trditve z našim preverjenim grafom znanja. Če dokument trdi, da je Pariz glavno mesto Nemčije, simbolična plast odkrije neskladje in dokument označi kot nezanesljivega.
To deluje kot imunski sistem proti sesutju modela. Halucinacije in okvarjena koda, ki jih ustvarijo drugi AI-ji, ne prestanejo naših preverjanj in so filtrirane, preden lahko kontaminirajo naše usposabljanje.
4. Strategija ohranjanja repov porazdelitve
Izrecno prekomerno vzorčimo "repove" porazdelitve. Iščemo podatke, ki so visokokakovostni, a nekonvencionalni. Nočemo, da bi bil naš model "povprečen." Želimo, da razume robne primere, ustvarjalne preskoke, sijajne izjeme.
Večina cevovodov za usposabljanje LLM-jev agresivno filtrira "izstopajoče vrednosti", da bi stabilizirala usposabljanje. Mi jih skrbno negujemo. Inovacije se ne dogajajo pri povprečju; dogajajo se na robovih. Naslednja prelomna ideja ne bo zvenela kot vse druge ideje. Zvenela bo nenavadno. To nenavadnost želimo ohraniti.
Vrednost resničnosti
V bližnji prihodnosti bodo "podatki, ki jih ustvarijo ljudje," postali premijski razred sredstev. Ogromen ocean javnega interneta bo veljal za "odpadne podatke": uporabne morda za zapolnjevanje ali za učenje osnovne slovnice, a nevarne za temeljno znanje.
Podjetja, ki imajo dostop do lastniških podatkov iz resničnega sveta (dnevniki senzorjev iz resničnih tovarn, zdravstveni zapisi resničnih zdravnikov, transakcijski podatki iz resničnih gospodarstev), bodo imela ogromno konkurenčno prednost. Imajo "dejansko resnico."
Sesutje modela je eksistencialna grožnja mehurčku generativne umetne inteligence. Nakazuje, da se ne moremo večno le povečevati. Ne moremo se preprosto simulirati do superinteligence. Ostati moramo prizemljeni. Skrbno negovati moramo. Ceniti moramo kakovost pred količino.
Umetna inteligenca prihodnosti ne bo zgrajena na celotnem internetu. Zgrajena bo na preverjenem internetu. Zgrajena bo na resnici.
Regulativna razsežnost
To ni le tehnična skrb. Regulatorji se prebujajo za posledice kontaminacije s sintetičnimi podatki.
Akt EU o umetni inteligenci izrecno zahteva dokumentacijo o izvoru podatkov za usposabljanje sistemov umetne inteligence z visokim tveganjem. Če je bil vaš model usposobljen na kontaminiranih podatkih in proizvaja škodljive rezultate, morate biti sposobni dokazati, da ste sprejeli razumne ukrepe za zagotavljanje kakovosti podatkov. "Pobrali smo z interneta" ne bo sprejemljiv odgovor.
GDPR že zahteva, da organizacije vodijo evidence o dejavnostih obdelave podatkov. Razširitev tega na podatke za usposabljanje umetne inteligence je naravni razvoj. Od kod prihajajo vaši podatki za usposabljanje? Ali lahko dokažete, da so bili zbrani zakonito? Ali lahko dokažete, da predstavljajo resničnost in ne halucinacij umetne inteligence?
Podjetja, ki ne morejo odgovoriti na ta vprašanja, se bodo soočila z vse večjim regulativnim nadzorom. Podjetja, ki lahko dokažejo strogo sledljivost podatkov (kot tista, ki uporabljajo Dweve Spindle), bodo imela prednost pri skladnosti.
Pot naprej
Model Collapse ni neizogiben. Je posledica površnih praks pri ravnanju s podatki. Če bomo še naprej zajemali onesnaženi splet in ga dovajali v vedno večje modele, bomo dobili Habsburško UI: samozavestno, navidez sposobno, a v osnovi degenerirano.
A če vlagamo v kakovost podatkov, če gradimo epistemske sisteme, ki lahko ločijo resnico od halucinacij, če ohranjamo raznolikost človeške misli in je ne stiskamo v sintetično kašo, lahko zgradimo UI, ki ostaja zasidrana v resničnosti.
To zahteva več truda. Zahteva več naložb. Zahteva, da podatke obravnavamo kot dragocen vir in ne kot surovino, ki jo je treba izkopati. A to je edina pot do sistemov UI, ki ostajajo uporabni, natančni in vredni zaupanja na dolgi rok.
Pri Dweve smo izbrali to pot. Naša kombinacija neoporečnih arhivskih podatkov, certificiranih človeških virov, simboličnega preverjanja in ohranjanja raznolikosti zagotavlja, da naši modeli ostajajo povezani z resničnim svetom. Gradimo filter med resničnostjo in simulacijo.
Lahka pot vodi v Model Collapse. Težka pot vodi do inteligence, ki dejansko deluje. Vemo, katero smo izbrali.