Mudelikollapsi kriis: miks AI-sisestus tapab intelligentsuse
Habsburgi probleem digitaalsel kujul
Euroopa ajaloos oli Habsburgide dünastia üks võimsamaid kuninglikke suguvõsasid. Nad valitsesid sajandeid tohutuid territooriume. Kuid neil oli saatuslik viga: püüdes oma võimu kindlustada ja hoida oma vereliini "puhtana", abiellusid nad oma nõbudega. Põlvkondade jooksul viis see korduv sugulusaretus kuulsa "Habsburgi lõuani" ning hulga geneetiliste deformatsioonide ja terviseprobleemideni. Geenivaramu muutus liiga väikeseks, liiga korduvaks ja lõpuks suguvõsa hääbus. Hispaania viimane Habsburgide valitseja, Hispaania kuningas Charles II, oli nii tugevalt sugulusaretusest mõjutatud, et suutis vaevu oma toitu närida.
2025. aastal oleme tunnistajaks selle nähtuse digitaalsele vastele. Teadlased nimetavad seda mudeli kokkuvarisemiseks.
Sügavõppe revolutsiooni esimesel kümnendil (umbes 2012-2022) elasime andmete kuldajastul. Treenisime oma mudeleid inimkonna orgaanilise väljundi peal. Kraapisime kokku inimautorite kirjutatud raamatuid, iniminseneride kirjutatud koodi, inimargumente täis foorumeid ja inimkäte loodud kunsti. Need andmed olid segased, jah. Kuid need olid rikkalikud. Need olid mitmekesised. Need sisaldasid jaotuse "sabasid": veidrat, loovat ja ootamatut. Need olid seotud füüsilise reaalsusega.
Kuid siis tulid ChatGPT, Midjourney ja Copilot. Järsku langes sisu genereerimise hind peaaegu nullini. Internet ujutati üle tehisintellekti loodud tekstiga, tehisintellekti loodud piltidega ja tehisintellekti loodud koodiga. SEO-rammijad kasutasid keelemudeleid, et genereerida miljoneid "loendite" artikleid klikkide kogumiseks. Sotsiaalmeedias hakkasid botid omavahel rääkima. LinkedIn täitus tehisintellekti kirjutatud postitustega "mõttejuhtimisest". Medium ujus üle tehisintellekti loodud arvamuslugudega tehisintellektist.
Tänapäeval on märkimisväärne ja kasvav osa avalikust veebist sünteetiline. Hinnangute kohaselt genereeris tehisintellekt 2025. aastaks 30-50% avaliku interneti tekstist. Ja siin on probleem: kui kraapime veebi, et treenida järgmise põlvkonna mudeleid, kraapime paratamatult andmeid, mille on genereerinud nende eelkäijad. Söödame tehisintellektile tema enda väljundit. Sulgeme ringi. Loome Habsburgi tehisintellekti.
Regressiooni matemaatika
Tegemist ei ole ainult filosoofilise murega. See on matemaatiline kindlus. Oxfordi, Cambridge'i ja Toronto ülikooli teadlased on seda mõju tõestanud rangetes eelretsenseeritud uuringutes. Nad nimetavad seda "rekursiooni needuseks".
Matemaatika on oma sünguses tegelikult üsna elegantne. Kui tõenäosusmudel (mudel B) õpib andmetest, mille on loonud teine tõenäosusmudel (mudel A), omandab mudel B mudeli A lähenduse tegelikust jaotusest, mitte tegelikku jaotust ennast. Ta õpib vead koos signaaliga.
Aga hullem on veel ees. Mudeli B treeningprotsess rõhutab loomulikult mudeli A väljundi kõrge tõenäosusega piirkondi. Haruldased sündmused, loovad kõrvalekalded, jaotuse "sabad" on mudeli A sünteetilises väljundis alaesindatud (sest need on definitsiooni järgi haruldased). Seega näeb mudel B neid sabasid veelgi vähem kui mudel A. Ta kaotab dispersiooni.
Nüüd treenime mudelit C mudeli B väljundil. Sabad kahanevad veelgi. Treenime mudelit D mudeli C väljundil. Veelgi enam. Piisavalt paljude põlvkondade järel kollapseerub jaotus punktiks. Kõik väljundid muutuvad ühesuguseks: algse jaotuse "keskmine", ilma igasuguse mitmekesisuseta.
Mõelge sellele nagu koopia koopiast koopia tegemisele. Esimene koopia näeb vastuvõetav välja. Teine on veidi udune. Kümnenda koopia puhul on teravad servad muutunud müraks, detailid on välja pestud ja pilt on muutunud halliks pudruks. Signaal laguneb iga põlvkonnaga eksponentsiaalselt.
Sabade kadu
AI-mudelite puhul avaldub see loovuse ja nüansirikkuse kaona. Mudelid muutuvad "beežiks". Nende kirjutis muutub üldsõnaliseks, korduvaks ja ohutuks. Nende kunst jõuab konkreetse, läikiva, ülipoleeritud esteetikani, millest puudub reaalsuse teralisus ja tekstuur. Nende kood muutub süntaktiliselt täiuslikuks, kuid funktsionaalselt üldsõnaliseks, ilma nutikate optimeerimisnippideta, mida inimspetsialist võiks kasutada.
Jaotuse "sabad" on koht, kus elab innovatsioon. Shakespeare on sabades. Einstein on sabades. Imelikud idufirmade ideed, millest saavad miljardifirmad, on sabades. Kui kõrvaldate sabad, kõrvaldate geeniusvõimaluse. Saate maailma, kus valitseb asjalik keskpärasus.
Hallutsinatsioonide võimendus
Võib-olla hullem kui loovuse kaotamine on enesekindel eksimine. Kui mudelid õpivad oma eelkäijate hallutsinatsioonidest, tugevnevad need vead. Üks kord räägitud vale on anomaalia. Miljon korda treeningandmestikus korratud valest saab fakt.
Vaatleme hüpoteetilist olukorda: GPT-5 hallutsineerib, et teatud ravim on raseduse ajal ohutu (see ei ole). See hallutsinatsioon avaldatakse tuhandetes AI loodud terviseartiklites. GPT-6 õpib nendest artiklitest. Nüüd "uskub" see seda valet fakti veelgi suurema enesekindlusega, sest on seda nii mitu korda näinud. GPT-7 käsitleb seda väljakujunenud meditsiiniteadmisena.
Mudeli kollaps ei tähenda ainult igavaks muutumist; see tähendab reaalsusest irdumist. See tähendab AI loomist, mis on ülimalt enesekindel faktide universumis, mida ei eksisteeri.
Tõendid on juba käes
Me ei oota mudeli kollapsi toimumist. Me vaatame, kuidas see reaalajas lahti rullub.
Stack Overflow on näinud tohutut inimliikluse langust, samal ajal kui AI loodud koodi hulk GitHubis on plahvatuslikult kasvanud. Kui treenite koodimudelit 2025. aasta GitHubi andmetel, treenite seda koodil, mille on tõenäoliselt kirjutanud (või vähemalt aidanud kirjutada) Copilot 2024. aastal. Kui sellel 2024. aasta koodil oli peen viga (näiteks turvanõrkus, mida AI kipub soovitama), õpib 2025. aasta mudel selle vea parima tavana. Ta võimendab seda.
Google'i teadlased on täheldanud, et uuemad otsingutulemused sisaldavad üha korduvamaid fraasimustreid, mis on iseloomulikud LLM-i väljundile. Samad fraasid ilmuvad ikka ja jälle: "Oluline on märkida, et...", "Tänapäeva kiires maailmas...", "Sukeldume sisse...". Need keelelised tikid levivad korpusesse nagu viirus.
Amazon on teatanud, et märkimisväärne protsent kliendiarvustustest nende platvormil on nüüd AI loodud. Tootekirjeldused on AI loodud. Nende toodete arvustused on AI loodud. Varsti on ka nende arvustuste kokkuvõtted AI loodud. Kilpkonnad lõpuni välja.
"Skaleerimisseadused", mis ajendasid AI buumi (idee, et lihtsalt rohkemate andmete ja rohkema arvutusvõimsuse lisamine annab alati parema jõudluse), jooksevad vastu seina. Andmed ei ole enam piirang; piirang on reaalsus. Meil on puhtad inimandmed otsas. Me oleme oma kaevu mürgitanud.
Dweve’i lahendus: epistemoloogiline rangus
Me nägime Dweve’is seda kriisi ette. Mõistsime juba varakult, et strateegia „kraabi kõik kokku“ ei ole jätkusuutlik. Selleks et ehitada robustseid süsteeme, mis ei vaju hallutsinatsiooni, tuleb seada esikohale andmete päritolu: teada täpselt, kust teie andmed tulevad ja kas need peegeldavad tegelikkust.
Seetõttu lõimegi Dweve Spindle’i: meie ettevõtte teadmiste haldamise platvormi. Spindle ei ole lihtsalt andmetorustik. See on epistemoloogiline süsteem. See muudab toorandmed kontrollitud, AI-kasutuseks valmis teadmisteks range seitsmeetapilise protsessi kaudu.
Seitsmeetapiline epistemoloogiline torustik
Iga infokild, mis siseneb Dweve’i ökosüsteemi, läbib selle torustiku:
1. etapp: kandidaat. Toorinfo tuvastatakse ja märgistatakse töötlemiseks. See võib olla veebileht, dokument, andmebaasikirje või andurite näit. Selles etapis teame ainult seda, et info on olemas, mitte seda, kas see on tõene või kasulik.
2. etapp: ekstraheeritud. Struktureeritud info parsitakse toorallikast. Üksused tuvastatakse. Faktid ekstraheeritakse. Struktureerimata segadusest saab struktureeritud teadmusgraafi kandidaat.
3. etapp: analüüsitud. Väited jaotatakse aatomilisteks faktideks. Lause nagu „Einstein võitis Nobeli preemia relatiivsusteooria eest“ jaotatakse kontrollitavateks osadeks: „Einstein oli olemas“, „Einstein võitis Nobeli preemia“, „Preemia oli füüsika eest“, „Preemia anti relatiivsusteooria alase töö eest“. (Pange tähele: viimane väide on tegelikult vale ja torustik tabaks selle kinni.)
4. etapp: ühendatud. Aatomilised faktid seotakse meie olemasoleva teadmusvõrgustikuga. Kas see uus info on vastuolus väljakujunenud faktidega? Kas see kinnitab neid? Kas see täidab lünki? Graafi integreerimine toob esile järjepidevuse ja konfliktid.
5. etapp: kontrollitud. Toimub mitme allika valideerimine. Kas leiame sõltumatu kinnituse autoriteetsetest allikatest? Kas väide läbib loogilise järjepidevuse kontrollid? Mis on algallika päritolu?
6. etapp: sertifitseeritud. Kvaliteeditagamine on lõpule viidud. Info on saavutanud usaldusväärsuse skoori üle 0,7 meie kuuel kvaliteedimõõtmel. See on märgitud usaldusväärseks kasutamiseks allavoolu rakendustes.
7. etapp: kanooniline. Infost saab autoriteetne, AI-kasutuseks valmis teadmine. Seda saab kasutada treenimiseks, järelduste tegemiseks ja otsinguks. See on põhitõde.
32 agendist koosnev sõjaline hierarhia
Seda torustikku ei käivita üks algoritm. Seda juhib spetsialiseerunud meeskond, kuhu kuulub 32 AI-agentti, korraldatuna sõjalisse hierarhiasse:
- Avastusbrigaad (6 agentti): luurajad, kes tuvastavad ja toovad kätte potentsiaalsed teadmiste allikad
- Ekstraheerimiskorpus (5 agentti): parsimise, NER-i ja toorandmete struktureerimise spetsialistid
- Analüüsidivisjon (6 agentti): loogikud, kes jaotavad väiteid ja tuvastavad sõltuvusi
- Ühendusvõrgustik (4 agentti): graafispetsialistid, kes integreerivad uut teadmist
- Kvaliteedivalve (4 agentti): valideerijad, kes teevad ristviiteid ja tuvastavad vastuolusid
- Valitsusnõukogu (12 agentti): vanemagendid, kes teevad lõplikke sertifitseerimisotsuseid
Igal agendil on spetsialiseerunud teadmised. Nad vaidlevad. Nad seavad kahtluse alla üksteise järeldused. Nad nõuavad konsensust, enne kui info liigub järgmisesse etappi. See mitme agendi valideerimisprotsess on oluliselt robustsem kui ükskõik milline ühemudeliline lähenemine faktikontrollile.
47 eelarvamuste tüübi tuvastamine
Spindle on loodud spetsiaalselt selleks, et tuvastada ja märgistada eelarvamusi treeningandmetes. Meie süsteem tuvastab 47 erinevat eelarvamuste tüüpi neljas kategoorias:
- Statistiline kallutatus: valimiviga, valiku kallutatus, ellujäämiskallutatus, kinnituse kallutatus andmete kogumisel
- Kognitiivne kallutatus: ankurdamise efekt, kättesaadavuse heuristik, raamistamise efektid lähtematerjalis
- Keeleline kallutatus: laetud sõnavara, eufemismid, udused sõnastused, veenev raamistus
- Süsteemne kallutatus: esindatuse lüngad, ajaloolised kallutatused tekstis, kultuurilised pimealad
Kui kallutatus on tuvastatud, siis teave kas parandatakse (kui see on võimalik), märgistatakse (kui parandamine on ebakindel) või lükatakse tagasi (kui kallutatus on põhimõtteline ja parandamatu). See hoiab ära kallutatuse võimendamise, mis vaevab toormaterjalist veebikaapimistega treenitud mudeleid.
Andmesidemete neli sammast
Lisaks Spindle-torustikule toetub meie laiem andmestrateegia neljale sambale:
1. Puhas veeb (enne 2023. aastat arhiveeritud)
Peame äärmiselt oluliseks andmeid, mis on loodud enne generatiivse tehisintellekti laialdast levikut (umbes 2022. aasta lõpp / 2023. aasta algus). Peame seda ajastut "puhtaks veebiks". Need arhiiviandmed on meie treeningu aluskivi. Need on tõeline alus inimese loodud sisule enne saastumise algust.
Oleme investeerinud palju enne 2022. aastat loodud andmekogumite hankimisse ja kureerimisse: digiteeritud raamatud, akadeemilised arhiivid, koodihoidlad koos tehingulugudega, mis tõendavad inimese autorlust, foorumiarhiivid ajastust, mil iga postitus oli kirjutatud inimese poolt.
Need andmed on asendamatud. Kui veeb oli saastunud, ei saanud me seda enam puhtaks teha. Kuid me saame säilitada ja eelistada puhtaid arhiive.
2. Sertifitseeritud inimallikad
Kaasaegsete andmete puhul ei tugine me pimedale veebikraapimisele. Teeme otsekoostööd usaldusväärsete asutustega. Litsentsime andmeid:
- Akadeemilistelt kirjastajatelt: Eelretsenseeritud artiklid on (enamasti) kirjutatud inimeste poolt ja kontrollitud inimeste poolt. Retsenseerimisprotsess tagab kvaliteedifiltri.
- Raamatukirjastajatelt: Toimetamisprotsessid tagavad inimjärelevalve taseme, mida veebisisul pole.
- Koodihoidlatest CI/CD-ga: See on ülioluline. Me ei kraabi lihtsalt koodi. Me kraabime koodi, mis läbib testid. Kui funktsioon ei kompileeru, viskame selle ära. Kui see ei läbi oma testikomplekti, viskame selle ära. Töötav kood on palju tõenäolisemalt inimese kirjutatud (või vähemalt inimese kontrollitud) kui juhuslikud killud.
- Ettevõtete partneritelt: Ettevõtted annavad meile patenteeritud andmeid vastutasuks kohandatud mudelite eest. Need andmed on definitsiooni järgi inimese loodud ja ettevõtlusega seotud.
3. Sümboliline kontroll kui immuunsüsteem
See on omane meie neuro-sümbolilisele lähenemisele. Kuna meie süsteem mõistab loogikat ja koodistruktuuri oma piirangupõhise arhitektuuri kaudu, saame kasutada sümbolilist kontrolli treeningandmete filtreerimiseks.
Kui treenime mudelit Pythoni kirjutamiseks, ei sööda me sellele lihtsalt toorfailidena teksti. Käivitame koodi kompilaatoriga. Kui selles on süntaksivead, viskame selle ära. Käivitame selle staatilise analüsaatoriga. Kui selles on ilmseid turvanõrkusi, viskame selle ära. Käivitame selle testijuhtumite vastu. Kui see ebaõnnestub, viskame selle ära.
Faktilise sisu puhul ristkontrollime väiteid oma kontrollitud teadmiste graafi vastu. Kui dokument väidab, et Pariis on Saksamaa pealinn, tuvastab sümbolikiht vastuolu ja märgib dokumendi ebausaldusväärseks.
See toimib immuunsüsteemina mudeli kokkuvarisemise vastu. Teiste tehisintellektide loodud hallutsinatsioonid ja vigane kood ei läbi meie kontrollimisi ning filtreeritakse välja enne, kui need jõuavad meie treeningandmeid saastada.
4. Saba säilitamise strateegia
Me teadlikult ülevalime jaotuse "sabasid". Otsime andmeid, mis on kvaliteetsed, kuid ebatavalised. Me ei taha, et meie mudel oleks "keskmine". Me tahame, et see mõistaks äärejuhtumeid, loomingulisi hüppeid ja säravaid erandeid.
Enamik suurte keelemudelite treeningutöövooge filtreerib "kõrvalekaldeid" agressiivselt välja, et treeningut stabiliseerida. Meie kureerime neid hoolikalt. Innovatsioon ei sünni keskmises; see sünnib servades. Järgmine läbimurdeidee ei kõla nagu kõik teised ideed. See kõlab kummaliselt. Me tahame seda kummalisust säilitada.
Reaalsuse väärtus
Lähitulevikus muutub "inimeste loodud andmete" kogum lisaväärtusega varaklassiks. Avaliku interneti tohutut ookeani peetakse "rämpsandmeteks": kasulik täiteainena, võib-olla põhigrammatika õppimiseks, kuid ohtlik alusteadmiste jaoks.
Ettevõtetel, kellel on juurdepääs patenteeritud, reaalse maailma andmetele (sensorilogid päris tehastest, patsiendiandmed päris arstidelt, tehinguandmed päris majandustest), on tohutu konkurentsieelis. Nemad omavad "põhitõde".
Mudeli kokkuvarisemine on generatiivse tehisintellekti mulli eksistentsiaalne oht. See viitab sellele, et me ei saa lihtsalt lõputult skaleerida. Me ei saa lihtsalt simuleerida teed superintelligentsini. Me peame jääma maandatuks. Me peame kureerima. Me peame väärtustama kvaliteeti kvantiteedi üle.
Tuleviku tehisintellekti ei ehitata kogu internetile. Seda ehitatakse kontrollitud internetile. Seda ehitatakse tõele.
Regulatiivne mõõde
See ei ole ainult tehniline mure. Regulaatorid ärkavad sünteetiliste andmete saastumise tagajärgedele.
ELi tehisintellekti määrus nõuab sõnaselgelt treeningandmete päritolu dokumenteerimist kõrge riskiga tehisintellektisüsteemide puhul. Kui teie mudel on treenitud saastunud andmetel ja toodab kahjulikke väljundeid, peate suutma tõendada, et võtsite mõistlikke samme andmekvaliteedi tagamiseks. "Me kraapisime veebi" ei ole vastuvõetav vastus.
GDPR nõuab organisatsioonidelt juba praegu andmetöötlustegevuste arvestuse pidamist. Selle laiendamine AI-treeningandmetele on loomulik areng. Kust teie treeningandmed pärinevad? Kas suudate tõestada, et need koguti seaduslikult? Kas suudate näidata, et need peegeldavad tegelikkust, mitte AI hallutsinatsioone?
Ettevõtted, kes nendele küsimustele vastata ei suuda, seisavad silmitsi üha kasvava regulatiivse järelevalvega. Ettevõtted, kes suudavad näidata ranget andmepäritolu (nagu need, kes kasutavad Dweve Spindle), omavad eelist järelevalve nõuete täitmisel.
Tee edasi
Mudeli kokkuvarisemine ei ole paratamatu. See on lohakate andmetavade tagajärg. Kui jätkame saastunud veebi kraapimist ja selle söötmist üha suurematele mudelitele, saame Habsburgi AI: enesekindla, võimeka näoga, kuid põhimõtteliselt mandunud.
Aga kui investeerime andmekvaliteeti, kui ehitame epistemoloogilisi süsteeme, mis suudavad eristada tõde hallutsinatsioonist, kui säilitame inimliku mõtte mitmekesisust, mitte ei suru seda kokku sünteetiliseks pudruks, saame ehitada AI, mis püsib tegelikkuses juurdununa.
See nõuab raskemat tööd. See nõuab rohkem investeeringuid. See nõuab andmetesse suhtumist kui hinnalisse ressurssi, mitte kui toormeks, mida kaevandada. Kuid see on ainus tee AI-süsteemideni, mis jäävad pikas perspektiivis kasulikuks, täpseks ja usaldusväärseks.
Dweve juures oleme selle tee valinud. Meie kombinatsioon puutumatutest arhiiviandmetest, sertifitseeritud inimallikatest, sümboolsest kontrollist ja mitmekesisuse säilitamisest tagab, et meie mudelid püsivad ühenduses reaalse maailmaga. Me ehitame filtrit tegelikkuse ja simulatsiooni vahele.
Lihtne tee viib mudeli kokkuvarisemiseni. Raske tee viib intelligentsuseni, mis tegelikult töötab. Me teame, kumma me valime.