Modeļu sabrukuma krīze: kāpēc AI radniecīga vairošanās nogalinās inteliģenci
Hābsburgu problēma digitālā formā
Eiropas vēsturē Hābsburgu dinastija bija viena no varenākajām karaliskajām dinastijām. Tā valdīja plašās teritorijās gadsimtiem ilgi. Taču tai bija liktenīgs trūkums: cenšoties nostiprināt varu un saglabāt savu asiņu "tīrību", tās locekļi apprecēja savus brālēnus un māsīcas. Paaudžu gaitā šī rekursīvā radniecīgo laulību prakse noveda pie slavenā "Hābsburgu žokļa" un veselas virknes ģenētisku deformāciju un veselības problēmu. Gēnu kopums kļuva pārāk mazs, pārāk rekursīvs, un galu galā dinastija sabruka. Spānijas Kārlis II, pēdējais Hābsburgu valdnieks Spānijas impērijā, bija tik ļoti radniecīgo laulību ietekmēts, ka tik tikko spēja sakošļāt savu ēdienu.
2025. gadā mēs esam liecinieki šīs parādības digitālajam ekvivalentam. Pētnieki to dēvē par modeļu sabrukumu.
Pirmajā dziļās mācīšanās revolūcijas desmitgadē (aptuveni no 2012. līdz 2022. gadam) mēs dzīvojām datu zelta laikmetā. Mēs trenējām savus modeļus uz cilvēces organisko radīto saturu. Mēs apkopojām grāmatas, ko sarakstījuši cilvēki autori, kodu, ko radījuši cilvēki inženieri, forumus, kas piepildīti ar cilvēku argumentiem, un mākslu, ko radījušas cilvēku rokas. Šie dati bija nekārtīgi, jā. Bet tie bija bagāti. Tie bija daudzveidīgi. Tie saturēja sadalījuma "astītes": dīvaino, radošo, negaidīto. Tie bija balstīti fiziskajā realitātē.
Bet tad parādījās ChatGPT, Midjourney un Copilot. Pēkšņi satura ģenerēšanas izmaksas samazinājās gandrīz līdz nullei. Internets tika pārpludināts ar mākslīgā intelekta ģenerētu tekstu, mākslīgā intelekta ģenerētiem attēliem un mākslīgā intelekta ģenerētu kodu. SEO surogātpasta izplatītāji izmantoja lielos valodas modeļus, lai ģenerētu miljoniem "sarakstu" rakstu klikšķu iegūšanai. Sociālajos medijos roboti sāka sarunāties ar robotiem. LinkedIn piepildījās ar mākslīgā intelekta rakstītām ziņām par "domu līderību". Medium pārplūda ar mākslīgā intelekta ģenerētām pārdomu publikācijām par mākslīgo intelektu.
Šodien ievērojama un arvien pieaugoša daļa publiskā tīmekļa ir sintētiska. Aprēķini liecina, ka līdz 2025. gadam 30-50% publiskā interneta teksta bija ģenerēts ar mākslīgā intelekta palīdzību. Un lūk, problēma: kad mēs apkopojam tīmekļa datus, lai trenētu nākamās paaudzes modeļus, mēs neizbēgami apkopojam datus, ko ģenerējuši to priekšteči. Mēs barojam mākslīgo intelektu ar tā paša radīto saturu. Mēs noslēdzam loku. Mēs radām Hābsburgu mākslīgo intelektu.
Regresijas matemātika
Tas nav tikai filozofisks jautājums. Tā ir matemātiska noteiktība. Pētnieki no Oksfordas, Kembridžas un Toronto Universitātes šo efektu ir pierādījuši stingrās recenzētās studijās. Viņi to dēvē par "rekursijas lāstu".
Matemātika savā drūmumā patiesībā ir visai eleganta. Kad varbūtības modelis (Modelis B) mācās no datiem, ko ģenerējis cits varbūtības modelis (Modelis A), Modelis B apgūst Modeļa A tuvinājumu patiesajam sadalījumam, nevis pašu patieso sadalījumu. Tas apgūst kļūdas kopā ar signālu.
Bet tas kļūst vēl sliktāk. Modeļa B mācīšanās process pēc būtības izceļ Modeļa A izvades augstas varbūtības apgabalus. Retie notikumi, radošās novirzes, sadalījuma "astes" Modeļa A sintētiskajā izvadē ir nepietiekami pārstāvētas (jo tie pēc definīcijas ir reti). Tātad Modelis B šīs astes redz vēl retāk nekā Modelis A. Tas zaudē dispersiju.
Tagad māciet Modeli C no Modeļa B izvades. Astes sarūk vēl vairāk. Māciet Modeli D no Modeļa C. Vēl vairāk. Pēc pietiekami daudzām paaudzēm sadalījums sabrūk līdz punktam. Visas izvades kļūst vienādas: sākotnējā sadalījuma "vidējā vērtība", kam atņemta visa daudzveidība.
Iedomājieties to kā kopijas kopijas kopijas izgatavošanu. Pirmā kopija izskatās pieņemama. Otrā ir nedaudz izplūdusi. Līdz desmitajai kopijai asās malas kļūst par troksni, detaļas ir izskalotas, un attēls pārvēršas pelēkā dubļu masā. Signāls ar katru paaudzi samazinās eksponenciāli.
Ašu zudums
Mākslīgā intelekta modeļos tas izpaužas kā radošuma un niansētības zudums. Modeļi kļūst "bēši". Viņu rakstība kļūst vispārīga, atkārtota un droša. Viņu māksla saplūst noteiktā, spīdīgā, pārlieku pulētā estētikā, kurai trūkst realitātes graudainības un faktūras. Viņu kods kļūst sintaktiski perfekts, bet funkcionāli vispārīgs, bez ģeniālajiem optimizācijas trikiem, ko varētu izmantot cilvēks eksperts.
Sadalījuma "astes" ir vieta, kur dzīvo inovācija. Šekspīrs ir astēs. Einšteins ir astēs. Dīvainās jaunuzņēmumu idejas, kas kļūst par miljardu vērtiem uzņēmumiem, ir astēs. Kad jūs likvidējat astes, jūs likvidējat ģenialitātes iespēju. Jūs iegūstat kompetentas viduvējības pasauli.
Halucināciju pastiprināšanās
Varbūt vēl sliktāk par radošuma zaudēšanu ir iegūta pārliecinoša nepareizība. Kad modeļi mācās no savu priekšgājēju halucinācijām, šīs kļūdas tiek nostiprinātas. Reiz melots ir anomālija. Miljons reižu atkārtots meli apmācības datu kopā kļūst par faktu.
Iedomājieties hipotētisku situāciju: GPT-5 halucinē, ka noteiktas zāles ir drošas grūtniecības laikā (tās nav). Šī halucinācija tiek publicēta tūkstošiem AI ģenerētu veselības rakstu. GPT-6 mācās no šiem rakstiem. Tagad tas "tic" šim nepatiesajam faktam ar vēl lielāku pārliecību, jo to ir redzējis tik daudzas reizes. GPT-7 to uztver kā iedibinātas medicīnas zināšanas.
Modeļa sabrukums nav tikai par kļūšanu garlaicīgam; tas ir par atraušanos no realitātes. Tas ir par tāda AI radīšanu, kas ir ārkārtīgi pārliecināts par faktu visumu, kas neeksistē.
Pierādījumi jau ir šeit
Mēs negaidām, kad Modeļa sabrukums notiks. Mēs vērojam, kā tas risinās reāllaikā.
Stack Overflow ir piedzīvojis milzīgu cilvēku datu plūsmas kritumu, savukārt AI ģenerētā koda apjoms GitHub ir eksplodējis. Ja apmācāt kodēšanas modeli ar GitHub datiem no 2025. gada, jūs to apmācāt ar kodu, kas, visticamāk, tika uzrakstīts (vai vismaz palīdzēts) ar Copilot 2024. gadā. Ja šajā 2024. gada kodā bija smalka kļūda (piemēram, drošības ievainojamība, ko AI mēdz ieteikt), 2025. gada modelis apgūs šo kļūdu kā labāko praksi. Tas to pastiprinās.
Google pētnieki ir novērojuši, ka jaunākie meklēšanas rezultāti satur arvien atkārtotākus frāžu modeļus, kas raksturīgi LLM izvadei. Tās pašas frāzes parādās atkal un atkal: "Ir svarīgi atzīmēt, ka...", "Mūsdienu straujajā pasaulē...", "Iedziļināsimies...". Šie lingvistiskie ieradumi izplatās pa korpusu kā vīruss.
Amazon ir ziņojis, ka ievērojama daļa klientu atsauksmju viņu platformā tagad ir AI ģenerētas. Produktu apraksti ir AI ģenerēti. Šo produktu atsauksmes ir AI ģenerētas. Drīz arī šo atsauksmju kopsavilkumi būs AI ģenerēti. Tas ir bruņurupuči līdz pat apakšai.
"Mērogošanas likumi", kas virzīja AI uzplaukumu (ideja, ka vienkārši pievienojot vairāk datu un vairāk skaitļošanas jaudas, vienmēr tiek iegūta labāka veiktspēja), saskaras ar sienu. Dati vairs nav ierobežojums; realitāte ir ierobežojums. Mums ir beigušies tīri cilvēku dati. Mēs esam saindējuši savu pašu aku.
Dweve risinājums: epistemoloģiska stingrība
Uzņēmumā Dweve mēs paredzējām šo krīzi. Mēs jau agri sapratām, ka stratēģija "nokasīt visu" nav ilgtspējīga. Lai izveidotu stabilas sistēmas, kas nesabrūk halucinācijās, ir jāprioritizē datu izcelsme: precīzi jāzina, no kurienes dati nāk un vai tie atspoguļo realitāti.
Tieši tāpēc mēs izveidojām Dweve Spindle: mūsu uzņēmuma zināšanu pārvaldības platformu. Spindle nav tikai datu cauruļvads. Tā ir epistemoloģiska sistēma. Tā pārveido neapstrādātu informāciju pārbaudītās, mākslīgajam intelektam gatavās zināšanās, izmantojot stingru septiņu posmu procesu.
Septiņu posmu epistemoloģiskais cauruļvads
Katra informācijas vienība, kas nonāk Dweve ekosistēmā, iziet cauri šim cauruļvadam:
1. posms: kandidāts. Neapstrādāta informācija tiek identificēta un atzīmēta apstrādei. Tas var būt tīmekļa lapa, dokuments, datubāzes ieraksts vai sensora rādījums. Šajā posmā mēs zinām tikai to, ka informācija pastāv, nevis to, vai tā ir patiesa vai noderīga.
2. posms: iegūts. Strukturēta informācija tiek izdalīta no neapstrādāta avota. Tiek identificētas entītijas. Tiek iegūti fakti. Nesakārtotais haoss kļūst par strukturēta zināšanu grafa kandidātu.
3. posms: analizēts. Apgalvojumi tiek sadalīti atomāros faktos. Teikums, piemēram, "Einšteins ieguva Nobela prēmiju par relativitāti", tiek sadalīts pārbaudāmās daļās: "Einšteins eksistēja", "Einšteins ieguva Nobela prēmiju", "Prēmija tika piešķirta par fiziku", "Prēmija tika piešķirta par darbu pie relativitātes". (Ņemiet vērā: pēdējais apgalvojums patiesībā ir nepatiess, un cauruļvads to atklātu.)
4. posms: savienots. Atomārie fakti tiek saistīti ar mūsu esošo zināšanu tīklu. Vai šī jaunā informācija ir pretrunā ar iedibinātiem faktiem? Vai tā tos apstiprina? Vai tā aizpilda robus? Grafu integrācija atklāj konsekvenci un konfliktus.
5. posms: pārbaudīts. Notiek daudzavotu validācija. Vai mēs varam atrast neatkarīgu apstiprinājumu autoritatīvos avotos? Vai apgalvojums iztur loģiskās konsekvences pārbaudes? Kāda ir sākotnējā avota izcelsme?
6. posms: sertificēts. Kvalitātes nodrošināšana ir pabeigta. Informācija ir sasniegusi ticamības rādītāju virs 0,7 mūsu sešās kvalitātes dimensijās. Tā ir atzīmēta kā uzticama izmantošanai pakārtotās lietojumprogrammās.
7. posms: kanonisks. Informācija kļūst par autoritatīvām, mākslīgajam intelektam gatavām zināšanām. To var izmantot apmācībai, secinājumu izdarīšanai un izguvei. Tā ir pamata patiesība.
32 aģentu militārā hierarhija
Šo cauruļvadu neizpilda viens algoritms. To vada specializēta 32 mākslīgā intelekta aģentu komanda, kas organizēta militārā stila hierarhijā:
- Atklāšanas brigāde (6 aģenti): izlūki, kas identificē un iegūst potenciālos zināšanu avotus
- Ieguves korpuss (5 aģenti): speciālisti parsēšanā, NER un neapstrādātu datu strukturēšanā
- Analīzes divīzija (6 aģenti): loģiķi, kas sadala apgalvojumus un identificē atkarības
- Savienojumu tīkls (4 aģenti): grafu speciālisti, kas integrē jaunas zināšanas
- Kvalitātes aizsardzība (4 aģenti): validatori, kas veic savstarpējo atsauču pārbaudi un atklāj nekonsekvences
- Pārvaldības padome (12 aģenti): vecākie aģenti, kas pieņem galīgos sertifikācijas lēmumus
Katram aģentam ir specializētas zināšanas. Viņi diskutē. Viņi apstrīd viens otra secinājumus. Viņi pieprasa vienprātību, pirms informācija virzās uz nākamo posmu. Šis daudzaģentu pārbaudes process ir daudz stabilāks nekā jebkura viena modeļa pieeja faktu pārbaudei.
47 veidu neobjektivitātes atklāšana
Spindle ir īpaši izstrādāts, lai atklātu un iezīmētu neobjektivitāti apmācības datos. Mūsu sistēma identificē 47 atšķirīgus neobjektivitātes veidus četrās kategorijās:
- Statistiskais aizspriedums: izlases kļūda, atlases kļūda, izdzīvošanas kļūda, apstiprinājuma kļūda datu vākšanā
- Kognitīvais aizspriedums: enkurošana, pieejamības heiristika, ierāmēšanas efekti avota materiālā
- Lingvistiskais aizspriedums: tendencioza leksika, eifēmismi, izplūduši formulējumi, pārliecināšanas ietvars
- Sistēmiskais aizspriedums: reprezentācijas nepilnības, vēsturiski aizspriedumi tekstā, kultūras aklo vietas
Kad tiek konstatēts aizspriedums, informācija tiek vai nu labota (ja iespējams), iezīmēta (ja labojuma pareizība ir neskaidra) vai noraidīta (ja aizspriedums ir būtisks un nelabojams). Tas novērš aizspriedumu pastiprināšanos, kas nomoka modeļus, kuri apmācīti uz neapstrādātiem tīmekļa datu vākumiem.
Četri datu izcelsmes pīlāri
Ārpus Spindle cauruļvada mūsu plašākā datu stratēģija balstās uz četriem pīlāriem:
1. Neskartais tīmeklis (arhīvi pirms 2023. gada)
Mēs piešķiram milzīgu nozīmi datiem, kas radīti pirms ģeneratīvā mākslīgā intelekta plašās izplatības (aptuveni 2022. gada beigas/2023. gada sākums). Mēs uzskatām šo laikmetu par "Neskarto tīmekli". Šie arhīva dati ir mūsu apmācības pamats. Tie ir cilvēku radītā satura patiesais stāvoklis pirms piesārņojuma sākuma.
Mēs esam ieguldījuši ievērojamus līdzekļus, lai iegūtu un kūrētu datu kopas no laika pirms 2022. gada: digitalizētas grāmatas, akadēmiskos arhīvus, koda repozitorijus ar izmaiņu vēsturi, kas pierāda cilvēka autorību, un foruma arhīvus no laikmeta, kad katru ierakstu bija rakstījis cilvēks.
Šie dati ir neaizvietojami. Kad tīmeklis bija piesārņots, mēs to vairs nevarējām attīrīt. Taču mēs varam saglabāt un prioritizēt tīros arhīvus.
2. Sertificēti cilvēku avoti
Mūsdienu datiem mēs nepaļaujamies uz aklo tīmekļa skrāpēšanu. Mēs tieši sadarbojamies ar uzticamām institūcijām. Mēs licencējam datus no:
- Akadēmiskie izdevēji: Recenzētus rakstus (pārsvarā) raksta cilvēki, un tos pārbauda cilvēki. Recenzēšanas process nodrošina kvalitātes filtru.
- Grāmatu izdevēji: Redakcionālie procesi nodrošina cilvēka uzraudzības līmeni, kāda tīmekļa saturam trūkst.
- Koda repozitoriji ar CI/CD: Tas ir būtiski. Mēs ne tikai nokopējam kodu. Mēs nokopējam kodu, kas iztur testus. Ja funkcija nekompilējas, mēs to atmetam. Ja tā neiztur testu komplektu, mēs to atmetam. Strādājošs kods, visticamāk, ir rakstīts cilvēka (vai vismaz pārbaudīts cilvēka) nekā nejauši fragmenti.
- Uzņēmumu partneri: Uzņēmumi mums sniedz patentētus datus apmaiņā pret pielāgotiem modeļiem. Šie dati pēc definīcijas ir cilvēka radīti un saistīti ar uzņēmējdarbību.
3. Simboliskā pārbaude kā imūnsistēma
Tas ir unikāls mūsu neiro-simboliskajai pieejai. Tā kā mūsu sistēma izprot loģiku un koda struktūru, izmantojot mūsu ierobežojumu arhitektūru, mēs varam izmantot simbolisko pārbaudi, lai filtrētu apmācības datus.
Ja mēs apmācām modeli rakstīt Python, mēs tam ne tikai ievadām neapstrādātus teksta failus. Mēs palaižam kodu caur kompilatoru. Ja tajā ir sintakses kļūdas, mēs to atmetam. Mēs palaižam to caur statisko analizatoru. Ja tajā ir acīmredzami drošības trūkumi, mēs to atmetam. Mēs izpildām to pret testa gadījumiem. Ja tas neizdodas, mēs to atmetam.
Faktu saturam mēs salīdzinām apgalvojumus ar mūsu pārbaudīto zināšanu grafiku. Ja dokuments apgalvo, ka Parīze ir Vācijas galvaspilsēta, simboliskais slānis konstatē neatbilstību un atzīmē dokumentu kā neuzticamu.
Šī sistēma darbojas kā imūnsistēma pret Modeļa sabrukumu. Citu mākslīgo intelektu radītās halucinācijas un kļūdainais kods neiztur mūsu pārbaudes un tiek filtrēti, pirms tie var piesārņot mūsu apmācības datus.
4. Astes saglabāšanas stratēģija
Mēs apzināti veicam sadalījuma "astu" pārmērīgu izlasi. Mēs meklējam datus, kas ir augstas kvalitātes, bet netradicionāli. Mēs nevēlamies, lai mūsu modelis būtu "viduvējs". Mēs vēlamies, lai tas saprastu robežgadījumus, radošos lēcienus un izcilos izņēmumus.
Lielākā daļa LLM apmācības procesu agresīvi filtrē "ārpusgadījumus", lai stabilizētu apmācību. Mēs tos rūpīgi atlasām. Inovācija nenotiek vidējā vērtībā; tā notiek malās. Nākamā izrāviena ideja neizklausīsies kā visas pārējās idejas. Tā izklausīsies dīvaini. Mēs vēlamies saglabāt šo dīvainību.
Realitātes vērtība
Tuvākajā nākotnē "cilvēku radītie dati" kļūs par augstvērtīgu aktīvu klasi. Milzīgais publiskā interneta okeāns tiks uzskatīts par "atkritumu datiem": noderīgiem, iespējams, kā aizpildījumam vai pamata gramatikas apguvei, bet bīstamiem pamatzināšanu veidošanai.
Uzņēmumiem, kuriem ir piekļuve patentētiem, reālās pasaules datiem (sensoru žurnāli no reālām rūpnīcām, pacientu ieraksti no reāliem ārstiem, darījumu dati no reālām ekonomikām), būs milzīgas konkurences priekšrocības. Viņiem pieder "patiesais pamats".
Modeļa sabrukums ir eksistenciāls drauds ģeneratīvā mākslīgā intelekta burbulim. Tas liecina, ka mēs nevaram vienkārši mūžīgi palielināt mērogu. Mēs nevaram vienkārši simulēt savu ceļu uz superinteliģenci. Mums ir jāsaglabā saikne ar realitāti. Mums ir jāatlasa dati. Mums ir jāvērtē kvalitāte, nevis kvantitāte.
Nākotnes mākslīgais intelekts netiks veidots uz visa interneta pamata. Tas tiks veidots uz pārbaudīta interneta pamata. Tas tiks veidots uz patiesības pamata.
Regulatīvā dimensija
Šī nav tikai tehniska problēma. Regulatori sāk apzināties sintētisko datu piesārņojuma sekas.
ES Mākslīgā intelekta akts tieši pieprasa apmācības datu izcelsmes dokumentāciju augsta riska mākslīgā intelekta sistēmām. Ja jūsu modelis ir apmācīts uz piesārņotiem datiem un rada kaitīgus rezultātus, jums ir jāspēj pierādīt, ka esat veicis saprātīgus pasākumus datu kvalitātes nodrošināšanai. "Mēs nokasījām tīmekli" nebūs pieņemama atbilde.
VDAR jau tagad pieprasa organizācijām veikt datu apstrādes darbību uzskaiti. To attiecināt arī uz mākslīgā intelekta apmācības datiem ir dabisks nākamais solis. No kurienes nāk jūsu apmācības dati? Vai varat pierādīt, ka tie ir iegūti likumīgi? Vai varat apliecināt, ka tie atspoguļo realitāti, nevis mākslīgā intelekta halucinācijas?
Uzņēmumi, kas nevar atbildēt uz šiem jautājumiem, saskarsies ar arvien lielāku regulatoru uzmanību. Uzņēmumi, kas var pierādīt stingru datu izcelsmes uzskaiti (piemēram, tie, kas izmanto Dweve Spindle), iegūs atbilstības priekšrocības.
Ceļš uz priekšu
Modeļa sabrukums nav neizbēgams. Tas ir sekas paviršai datu praksei. Ja turpināsim iegūt datus no piesārņotā tīmekļa un barot ar tiem arvien lielākus modeļus, mēs iegūsim Habsburgu MI: pārliecinātu, šķietami spējīgu, bet pamatā deģenerētu.
Bet, ja mēs investēsim datu kvalitātē, ja mēs veidosim epistemoloģiskas sistēmas, kas spēj atšķirt patiesību no halucinācijām, ja mēs saglabāsim cilvēka domas daudzveidību, nevis saspiedīsim to sintētiskā masā, mēs varam izveidot MI, kas paliek pamatots realitātē.
Tas prasa smagāku darbu. Tas prasa lielākas investīcijas. Tas prasa attieksmi pret datiem kā pret vērtīgu resursu, nevis kā pret izejvielu, ko bezrūpīgi izsmelt. Bet tas ir vienīgais ceļš uz MI sistēmām, kas ilgtermiņā paliek noderīgas, precīzas un uzticamas.
Uzņēmumā Dweve mēs esam izvēlējušies šo ceļu. Mūsu nevainojamu arhīva datu, sertificētu cilvēku avotu, simboliskās verifikācijas un daudzveidības saglabāšanas kombinācija nodrošina, ka mūsu modeļi paliek saistīti ar reālo pasauli. Mēs veidojam filtru starp realitāti un simulāciju.
Vieglais ceļš ved uz modeļa sabrukumu. Sarežģītais ceļš ved uz intelektu, kas patiešām darbojas. Mēs zinām, kuru mēs izvēlamies.