Il-Kriżi tal-Kollass tal-Mudelli: Għaliex l-AI li Titrawwem Bejnha Tista' Toqtol l-Intelliġenza

Ir-riċerkaturi jwissu li t-taħriġ tal-AI fuq kontenut iġġenerat mill-AI jwassal għal 'Kollass tal-Mudell'. Hekk kif il-web timtela b'żibel sintetiku, kif...

Il-Kriżi tal-Kollass tal-Mudelli: Għaliex l-AI li Titrawwem Bejnha Tista' Toqtol l-Intelliġenza

The Habsburg Problem in Digital Form

Fl-istorja Ewropea, id-Dar ta' Habsburg kienet waħda mill-aktar dinastiji rjali qawwija. Huma ħakmu territorji vasti għal sekli sħaħ. Iżda kellhom difett fatali: fil-ħeġġa tagħhom biex jikkonsolidaw il-poter u jżommu d-demm tagħhom "pur," iżżewġu l-kuġini tagħhom. Matul ġenerazzjonijiet, dan l-inbreeding rikursiv wassal għall-"Habsburg Jaw" famuż u għal għadd ta' deformitajiet ġenetiċi u problemi tas-saħħa. Il-ġene pool sar żgħir wisq, rikursiv wisq, u fl-aħħar mill-aħħar, il-linja kkollassat. Karlu II ta' Spanja, l-aħħar ħakkiem Habsburg tal-Imperu Spanjol, kien tant inbred li bilkemm seta' jomgħod l-ikel tiegħu stess.

Fl-2025, qed naraw l-ekwivalenti diġitali ta' dan il-fenomenu. Ir-riċerkaturi jsejħulu Model Collapse.

Għall-ewwel deċennju tar-rivoluzzjoni tal-Deep Learning (bejn wieħed u ieħor 2012-2022), għexna f'Era tad-Deheb tad-dejta. Ħarreġna l-mudelli tagħna fuq il-produzzjoni organika tal-umanità. Ġbarna kotba miktuba minn awturi umani, kodiċi miktub minn inġiniera umani, fora mimlija b'argumenti umani, u arti maħluqa minn idejn umani. Din id-dejta kienet imbarazz, iva. Iżda kienet rikka. Kienet varjata. Kien fiha l-"dnub" tad-distribuzzjoni: l-istramb, il-kreattiv, l-aspettattiv. Kienet ibbażata fir-realtà fiżika.

Iżda mbagħad ġew ChatGPT, Midjourney, u Copilot. F'daqqa waħda, l-ispiża tal-ġenerazzjoni tal-kontenut niżlet għal kważi żero. L-internet kien mimli b'test iġġenerat mill-AI, stampi ġġenerati mill-AI, u kodiċi ġġenerat mill-AI. L-ispammers tal-SEO użaw l-LLMs biex jiġġeneraw miljuni ta' artikli "listicle" biex jaħsdu l-klikks. Il-bots bdew jitkellmu mal-bots fuq il-midja soċjali. LinkedIn imtela b'postijiet miktuba mill-AI dwar "thought leadership." Medium kien mimli b'think pieces ġġenerati mill-AI dwar l-AI.

Illum, persentaġġ sinifikanti u dejjem jikber tal-web pubblika huwa sintetiku. L-istimi jissuġġerixxu li sal-2025, 30-50% tat-test fuq l-internet pubbliku kien iġġenerat mill-AI. U hawn il-problema: meta niġbru l-web biex inħarrġu l-ġenerazzjoni li jmiss tal-mudelli, aħna neċessarjament qed niġbru dejta ġġenerata mill-predeċessuri tagħhom. Qed nagħtu lill-AI l-produzzjoni tagħha stess. Qed nagħlqu ċ-ċirku. Qed noħolqu Habsburg AI.

Iċ-Ċiklu tal-Kollass tal-Mudell: It-Tnaqqis fit-Taħriġ Rikursiv Kull ġenerazzjoni mħarrġa fuq il-produzzjoni tal-ġenerazzjoni ta' qabilha titlef id-diversità u l-eżattezza ĠEN 1 (2012-2022) "Web Verġni" 100% Data Umana DIVERSITÀ GĦOLJA Distribuzzjoni sħiħa Taħriġ ĠEN 2 (2023-2024) "Web Imħallat" 65% Uman, 35% AI DENIBS QED JIĊKENU Il-varjanza qed tonqos Taħriġ ĠEN 3 (2025+) "Web Kontaminat" 35% Uman, 65% AI QED JIKKOLLASSA Konverġenza tal-mod Taħriġ ĠEN 4 (Futur?) "Ħama Sintetika" 8% Uman, 92% AI MKOLLASSAT Punt deġenerat Erba' Sintomi tal-Kollass tal-Mudell Telf tad-Denib tad-Distribuzzjoni Outputs kreattivi u mhux tas-soltu jisparixxu. Kollox jikkonverġi lejn il-medja. Każijiet estremi mitlufa għal dejjem. "AI Beige" Amplifikazzjoni tal-Aluċinazzjoni Żbalji fil-Ġen 1 isiru "fatti" fil-Ġen 2, imbagħad għarfien kanoniku. Il-gideb isir verità. "Gideb Kunfidenti" Omogenizzazzjoni tal-Istil L-outputs kollha jinstemgħu l-istess. Ġeneriċi, sikuri, illustrati imma bla ruħ. Il-vuċi distintiva tmut. "Slop tal-AI" Distakk mir-Realtà Il-mudelli jitilfu l-ankraġġ fir-realtà fiżika. Manipulazzjoni pura ta' simboli mingħajr tifsira. "Reġressjoni Infinita" Il-Kollass tal-Mudell mhuwiex riskju teoretiku. Qed jiġri issa. L-internet diġà huwa kontaminat.
Ir-riskji f'"The Habsburg Problem in Digital Form" isiru maniġġabbli ladarba jkollhom ismijiet u sidien.

Il-Matematika tar-Reġressjoni

Din mhijiex biss tħassib filosofiku. Hija ċertezza matematika. Riċerkaturi minn Oxford, Cambridge, u l-Università ta' Toronto urew dan l-effett fi studji rigorużi riveduti bejn il-pari. Huma jsejħulha "Is-Saħta tar-Rikorsjoni."

Il-matematika fil-fatt hija pjuttost eleganti fil-ħruxija tagħha. Meta mudell probablistiku (Mudell B) jitħarreġ fuq dejta ġġenerata minn mudell probablistiku ieħor (Mudell A), il-Mudell B jitgħallem l-approssimazzjoni tal-Mudell A tad-distribuzzjoni vera, mhux id-distribuzzjoni vera nnifisha. Jitgħallem l-iżbalji flimkien mas-sinjal.

Imma jsir agħar. Il-proċess ta' taħriġ tal-Mudell B b'mod inerenti jenfasizza r-reġjuni ta' probabbiltà għolja tal-output tal-Mudell A. L-avvenimenti rari, l-outliers kreattivi, id-"dnub" tad-distribuzzjoni, huma sottorappreżentati fl-output sintetiku tal-Mudell A (għax huma, bid-definizzjoni, rari). Mela l-Mudell B jara saħansitra inqas eżempji ta' dawn id-dnub milli ra l-Mudell A. Jitlef il-varjanza.

Issa ħarreġ il-Mudell C fuq l-output tal-Mudell B. Id-dnub jiċkienu aktar. Ħarreġ il-Mudell D fuq il-Mudell C. Aktar u aktar. Wara ġenerazzjonijiet biżżejjed, id-distribuzzjoni tiġġarraf f'punt. L-outputs kollha jsiru l-istess: il-"medja" tad-distribuzzjoni oriġinali, imneħħija minn kull diversità.

Aħseb fiha bħal li tagħmel fotokopja ta' fotokopja ta' fotokopja. L-ewwel kopja tidher aċċettabbli. It-tieni hija ftit imċajpra. Sas-sittax-il kopja, it-truf li jaqtgħu jsiru storbju, id-dettalji jintilfu, u l-immaġni tinbidel f'tajn griż. Is-sinjal jiddiġenera b'mod esponenzjali ma' kull ġenerazzjoni.

It-Telf tad-Dnub

Fil-mudelli tal-AI, dan jimmanifesta ruħu bħala telf ta' kreattività u sfumatura. Il-mudelli jsiru "beige." Il-kitba tagħhom issir ġenerika, ripetittiva, u sigura. L-arti tagħhom tikkonverġi fuq estetika speċifika, tleqq, u iperillostrata li m'għandhiex il-ħruxija u n-nisġa tar-realtà. Il-kodiċi tagħhom isir sintattikament perfett iżda funzjonalment ġeneriku, mingħajr il-hacks ta' ottimizzazzjoni intelliġenti li espert uman jista' juża.

Id-"dnub" tad-distribuzzjoni huma fejn tgħix l-innovazzjoni. Shakespeare jinsab fid-dnub. Einstein jinsab fid-dnub. L-ideat strambi ta' startups li jsiru kumpaniji ta' biljuni ta' dollari jinsabu fid-dnub. Meta telimina d-dnub, telimina l-possibbiltà tal-ġenju. Ikollok dinja ta' medjokrità kompetenti.

Amplifikazzjoni tal-Aluċinazzjoni

Forsi agħar milli titlef il-kreattività huwa li tikseb ċertezza żbaljata. Hekk kif il-mudelli jitħarrġu fuq il-hallucinations ta' dawk ta' qabilhom, dawk l-iżbalji jissaħħu. Gidba li tingħad darba hija anomalija. Gidba li tiġi ripetuta miljun darba fis-sett ta' taħriġ issir fatt.

Ikkunsidra ipoteżi: GPT-5 jhallucina li ċertu mediċina hija sigura waqt it-tqala (u mhijiex). Dik il-hallucination tiġi ppubblikata f'eluf ta' artikli dwar is-saħħa ġġenerati mill-AI. GPT-6 jitħarreġ fuq dawk l-artikli. Issa "jemmen" dan il-fatt falz b'aktar ċertezza, għax rah tant drabi. GPT-7 jittrattah bħala għarfien mediku stabbilit.

Il-Kollass tal-Mudell mhuwiex biss dwar li ssir boring; huwa dwar li tinqata' mir-realtà. Huwa dwar il-ħolqien ta' AI li hija supremament kunfidenti f'univers ta' fatti li ma jeżistux.

L-Evidenza Diġà Hawn

M'aħniex nistennew li l-Kollass tal-Mudell iseħħ. Qegħdin narawh jiżvolġi f'ħin reali.

Stack Overflow ra tnaqqis kbir fit-traffiku uman, filwaqt li l-volum ta' kodiċi ġġenerat mill-AI fuq GitHub sploda. Jekk tħarreġ mudell ta' kodifikazzjoni fuq data ta' GitHub mill-2025, qed tħarreġtu fuq kodiċi li x'aktarx inkiteb (jew għall-inqas kien assistit) minn Copilot fl-2024. Jekk dak il-kodiċi tal-2024 kellu bug sottili (ngħidu aħna, vulnerabbiltà ta' sigurtà li l-AI għandha t-tendenza li tissuġġerixxi), il-mudell tal-2025 jitgħallem dak il-bug bħala prattika tajba. Se jamplifikah.

Riċerkaturi f'Google osservaw li riżultati ta' tfittxija aktar ġodda fihom mudelli ta' frażijiet dejjem aktar ripetittivi karatteristiċi tal-output tal-LLM. L-istess frażijiet jidhru għal darb'oħra: "Huwa importanti li wieħed jinnota li...", "Fid-dinja mgħaġġla tal-lum...", "Ejja ngħaddu fiha...". Dawn it-tics lingwistiċi qegħdin jinfirxu fil-korpus bħal virus.

Amazon irrapporta li persentaġġ sinifikanti ta' reviżjonijiet tal-klijenti fuq il-pjattaforma tagħhom issa huma ġġenerati mill-AI. Id-deskrizzjonijiet tal-prodotti huma ġġenerati mill-AI. Ir-reviżjonijiet ta' dawk il-prodotti huma ġġenerati mill-AI. Dalwaqt, is-sommarji ta' dawk ir-reviżjonijiet ikunu ġġenerati mill-AI. Huma fkieren sa l-aħħar.

Il-"Liġijiet tal-Iskalar" li saqqu l-boom tal-AI (l-idea li sempliċement iżżid aktar data u aktar komputazzjoni dejjem tagħti prestazzjoni aħjar) qegħdin jolqtu ħajt. Id-data m'għadhiex il-ħolqa dgħajfa; ir-realtà hija l-ħolqa dgħajfa. Spiċċajna mid-data umana nadifa. Aħna avvelenajna l-bir tagħna stess.

Dweve Spindle: Difiża Epistemoloġika ta' Seba' Stadji Nittrasformaw informazzjoni mhux ipproċessata fi għarfien verifikat u lest għall-AI Pipeline Epistemoloġiku ta' Seba' Stadji 1. KANDIDAT Info mhux ipproċessata Ġbir mill-web immarkat 2. ESTRATT Info strutturata analizzata Estrazzjoni ta' entitajiet/fatti 3. ANALIZZAT Fatti atomiċi dekomposti Dekompożizzjoni ta' dikjarazzjonijiet 4. KONNESS Marbut man-netwerk tal-għarfien Integrazzjoni fil-graff 5. IVVERIFIKAT Validazzjoni minn diversi sorsi Kontrolli b'referenzi inkroċjati 6. ĊERTIFIKAT QA komplut >0.7 kunfidenza Kwalità assigurata 7. KANONIKU Awtoritattiv Lest għall-AI Verità bażika għat-taħriġ Sitt Dimensjonijiet tal-Kwalità (Evalwati f'Kull Stadju) Verifikabbiltà Id-dikjarazzjoni tista' tiġi kkonfermata b'mod indipendenti? Oġġettività Huwa fatt jew opinjoni? Sejbien ta' preġudizzju. Kompletezza Il-kuntest kritiku huwa inkluż? Konsistenza Jikkonfliġġi ma' fatti magħrufa? Temporali Għadu kurrenti u rilevanti? Diversità tas-Sorsi Konfermi indipendenti multipli? Ġerarkija Militari ta' 32 Aġent (Jipproċessaw Kull Unità ta' Għarfien) Brigata ta' Skoperta 6 aġenti: Sib sorsi Korp ta' Estrazzjoni 5 aġenti: Analizza data Diviżjoni tal-Analiżi 6 aġenti: Iddekomponi Gwardja tal-Kwalità 4 aġenti: Ivverifika l-verità Kunsill ta' Governanza 12-il aġent: Iċċertifika

Is-Soluzzjoni ta' Dweve: Rigożità Epistemoloġika

F'Dweve, aħna antiċipajna din il-kriżi. Indunajna kmieni li l-istrateġija ta' "aħtaf kollox" ma kinitx sostenibbli. Biex tibni sistemi robusti li ma jaqgħux fl-alluċinazzjoni, trid tagħti prijorità lill-Provenjenza tad-Dejta: tkun taf eżatt minn fejn ġejja d-dejta tiegħek u jekk tirrappreżentax ir-realtà.

Għalhekk bnejna Dweve Spindle: il-Pjattaforma tagħna ta' Governanza tal-Għarfien għall-Intrapriżi. Spindle mhijiex biss pipeline tad-dejta. Hija sistema epistemoloġika. Tittrasforma informazzjoni mhux ipproċessata fi għarfien verifikat u lesta għall-AI permezz ta' proċess rigoruż ta' seba' stadji.

Il-Pipeline Epistemoloġiku ta' Seba' Stadji

Kull biċċa informazzjoni li tidħol fl-ekosistema ta' Dweve tgħaddi minn dan il-pipeline:

Stadju 1: Kandidat. Informazzjoni mhux ipproċessata tiġi identifikata u mmarkata għall-ipproċessar. Din tista' tkun paġna web, dokument, rekord ta' database, jew qari minn sensor. F'dan l-istadju, nafu biss li l-informazzjoni teżisti, mhux jekk hijiex vera jew utli.

Stadju 2: Estratt. Informazzjoni strutturata tiġi pparsata mis-sors mhux ipproċessat. L-entitajiet jiġu identifikati. Il-fatti jiġu estratti. L-imbarazz mhux strutturat isir kandidat għal knowledge graph strutturat.

Stadju 3: Analizzat. Id-dikjarazzjonijiet jiġu dekomposti fi fatti atomiċi. Sentenza bħal "Einstein rebaħ il-Premju Nobel għar-relatività" tinqasam f'komponenti verifikabbli: "Einstein kien jeżisti," "Einstein rebaħ Premju Nobel," "Il-premju kien għall-fiżika," "Il-premju ngħata għax-xogħol fuq ir-relatività." (Innota: dik l-aħħar dikjarazzjoni fil-fatt hija falza, u l-pipeline jaqbduha.)

Stadju 4: Konness. Il-fatti atomiċi jiġu marbuta man-netwerk tal-għarfien eżistenti tagħna. Din l-informazzjoni l-ġdida tikkontradixxi fatti stabbiliti? Tikkorroborahom? Timla lakuni? L-integrazzjoni tal-graph tiżvela konsistenza u kunflitti.

Stadju 5: Verifikat. Isseħħ validazzjoni minn sorsi multipli. Nistgħu nsibu konferma indipendenti minn sorsi awtorevoli? Id-dikjarazzjoni tgħaddi minn kontrolli ta' konsistenza loġika? X'inhi l-provenjenza tas-sors oriġinali?

Stadju 6: Ċertifikat. L-assigurazzjoni tal-kwalità titlesta. L-informazzjoni kisbet punteġġ ta' kunfidenza 'l fuq minn 0.7 fuq is-sitt dimensjonijiet tal-kwalità tagħna. Hija mmarkata bħala affidabbli għall-użu f'applikazzjonijiet downstream.

Stadju 7: Kanoniku. L-informazzjoni ssir għarfien awtorevoli u lesta għall-AI. Tista' tintuża għat-taħriġ, għall-inferenza, għall-irkupru. Hija l-verità fundamentali.

Il-Ġerarkija Militari ta' 32 Aġent

Dan il-pipeline ma jitwettaqx minn algoritmu wieħed. Huwa orkestrat minn tim speċjalizzat ta' 32 aġent tal-AI, organizzat f'ġerarkija stil militari:

  • Brigata ta' Skoperta (6 aġenti): Scouts li jidentifikaw u jirkupraw sorsi potenzjali ta' għarfien
  • Korp ta' Estrazzjoni (5 aġenti): Speċjalisti fil-parsing, NER, u l-istrutturar ta' dejta mhux ipproċessata
  • Diviżjoni ta' Analiżi (6 aġenti): Loġiċi li jiddekomponu dikjarazzjonijiet u jidentifikaw dipendenzi
  • Netwerk ta' Konnessjoni (4 aġenti): Speċjalisti tal-graph li jintegraw għarfien ġdid
  • Gwardja tal-Kwalità (4 aġenti): Validaturi li jikkorroboraw u jiskopru inkonsistenzi
  • Kunsill ta' Governanza (12-il aġent): Aġenti anzjani li jieħdu d-deċiżjonijiet finali ta' ċertifikazzjoni

Kull aġent għandu kompetenza speċjalizzata. Huma jiddebbattu. Huma jisfidaw il-konklużjonijiet ta' xulxin. Huma jirrikjedu kunsens qabel ma l-informazzjoni tavvanza għall-istadju li jmiss. Dan il-proċess ta' verifikazzjoni b'ħafna aġenti huwa ferm aktar robust minn kwalunkwe approċċ b'mudell wieħed għall-verifikazzjoni tal-fatti.

L-Identifikazzjoni ta' 47 Tip ta' Preġudizzju

Spindle hija ddisinjata speċifikament biex tidentifika u timmarka l-preġudizzju fid-dejta tat-taħriġ. Is-sistema tagħna tidentifika 47 tip distint ta' preġudizzju f'erba' kategoriji:

  • Preġudizzju statistiku: Preġudizzju fil-kampjunar, preġudizzju fl-għażla, preġudizzju tas-sopravivenza, preġudizzju ta' konferma fil-ġbir tad-dejta
  • Preġudizzju konjittiv: L-ankraġġ, l-euristika tad-disponibbiltà, effetti ta' qafas fil-materjal tas-sors
  • Preġudizzju lingwistiku: Lingwa mgħobbija, ewfemimi, kliem evażiv, qafas persważiv
  • Preġudizzju sistemiku: Lakuni fir-rappreżentazzjoni, preġudizzji storiċi inkodifikati fit-test, punti mejta kulturali

Meta jinstab preġudizzju, l-informazzjoni jew tiġi kkoreġuta (jekk possibbli), jew tiġi mmarkata (jekk il-korrezzjoni hija inċerta), jew tiġi miċħuda (jekk il-preġudizzju huwa fundamentali u ma jistax jissewwa). Dan jipprevjeni l-amplifikazzjoni tal-preġudizzji li taffettwa l-mudelli mħarrġa fuq ġbir ta' dejta mhux ipproċessat mill-internet.

Four-Pillar Data Provenance Strategy How Dweve maintains training data integrity in the age of synthetic content 1 PRISTINE WEB Pre-2023 Archives Human-written content from before ChatGPT: - Books digitized pre-2022 - Academic papers - Code repos (2010-2021) - Forum archives - Editorial journalism Ground Truth Bedrock 2 CERTIFIED SOURCES Licensed Human Data Direct partnerships with verified human creators: - Academic publishers - Book publishers - Code with CI/CD tests - Enterprise partners - Professional writers Verified Provenance 3 SYMBOLIC FILTER Logic-Based Verification Constraint-based checks reject synthetic garbage: - Syntax verification - Static analysis - Logic consistency - Fact cross-reference - Hallucination detection Immune System 4 TAILS PRESERVATION Diversity Protection Active curation of creative outliers: - Over-sample outliers - Preserve edge cases - Curate unusual data - Protect creativity - Value minority views Innovation Source Data Provenance is the new competitive moat. Quality over quantity. Reality over simulation.
"The Dweve Solution: Epistemological Rigor" huwa ċiklu: osserva, agħżel, aġixxi, u ittestja mill-ġdid.

L-Erba' Pilastri tal-Provenjenza tad-Dejta

Lil hinn mill-pipeline Spindle, l-istrateġija usa' tagħna dwar id-dejta tistrieħ fuq erba' pilastri:

1. Il-Web Verġni (Arkivji ta' Qabel l-2023)

Npoġġu valur kbir ħafna fuq dejta maħluqa qabel it-tixrid mifrux tal-AI ġenerattiva (bejn wieħed u ieħor l-aħħar tal-2022/bidu tal-2023). Aħna nqisu dan il-perjodu bħala l-"Web Verġni." Din id-dejta arkivjali hija l-pedament tat-taħriġ tagħna. Hija l-verità fundamentali tal-produzzjoni umana qabel ma bdiet il-kontaminazzjoni.

Investejna ħafna fil-kisba u l-kurazzjoni ta' settijiet ta' dejta ta' qabel l-2022: kotba diġitalizzati, arkivji akkademiċi, repożitorji ta' kodiċi bl-istorja tal-impenn li tipprova l-awtur uman, arkivji ta' forums minn era meta kull post kien miktub minn bniedem.

Din id-dejta ma tistax tiġi sostitwita. Ladarba l-web ġiet ikkontaminata, ma stajniex nikkontaminawha mill-ġdid. Iżda nistgħu nippreservaw u nagħtu prijorità lill-arkivji nodfa.

2. Sorsi Umani Ċertifikati

Għal dejta moderna, ma niddependux fuq scraping tal-web bl-addoċċ. Aħna nissieħbu direttament ma' istituzzjonijiet fdati. Aħna nikseb liċenzji għal dejta minn:

  • Pubblikaturi Akkademiċi: Dokumenti riveduti mill-pari huma (l-aktar) miktuba minn bnedmin u vverifikati minn bnedmin. Il-proċess ta' reviżjoni jipprovdi filtru ta' kwalità.
  • Pubblikaturi tal-Kotba: Il-proċessi editorjali jiżguraw livell ta' sorveljanza umana li l-kontenut tal-web m'għandux.
  • Repożitorji ta' Kodiċi b'CI/CD: Dan huwa kruċjali. Aħna ma nagħmlux biss scraping tal-kodiċi. Aħna nagħmlu scraping ta' kodiċi li jgħaddi mit-testijiet. Jekk funzjoni ma tikkompilax, aħna narmuha. Jekk tonqos mis-suite tat-testijiet tagħha, aħna narmuha. Kodiċi li jaħdem huwa ħafna aktar probabbli li jkun miktub minn bniedem (jew għall-inqas ivverifikat minn bniedem) minn siltiet każwali.
  • Impriżi Sħab: Kumpaniji jipprovdulna dejta proprjetarja bi skambju għal mudelli personalizzati. Din id-dejta hija definittivament iġġenerata mill-bniedem u rilevanti għan-negozju.

3. Verifikazzjoni Simbolika bħala Sistema Immuni

Dan huwa uniku għall-approċċ newro-simboliku tagħna. Peress li s-sistema tagħna tifhem il-loġika u l-istruttura tal-kodiċi permezz tal-arkitettura bbażata fuq il-vinċoli tagħna, nistgħu nużaw verifikazzjoni simbolika biex niffiltraw id-dejta tat-taħriġ.

Jekk qed inħarrġu mudell biex jikteb Python, ma nagħtuhx biss fajls ta' test mhux ipproċessati. Aħna nħaddmu l-kodiċi permezz ta' kompilatur. Jekk ikun fih żbalji ta' sintassi, aħna narmuh. Aħna nħaddmuh permezz ta' analizzatur statiku. Jekk ikollu difetti ovvji ta' sigurtà, aħna narmuh. Aħna n-eżegwixxuh kontra każijiet ta' test. Jekk ifalli, aħna narmuh.

Għal kontenut fattwali, aħna nikkorroboraw l-allegazzjonijiet mal-graff tal-għarfien ivverifikat tagħna. Jekk dokument jiddikjara li Pariġi hija l-kapitali tal-Ġermanja, is-saff simboliku jaqbad l-inkonsistenza u jimmarka d-dokument bħala mhux affidabbli.

Dan jaġixxi bħala sistema immuni kontra l-Model Collapse. L-alluċinazzjonijiet u l-kodiċi mimli żbalji ġġenerati minn AIs oħra jonqsu mill-kontrolli ta' verifikazzjoni tagħna u jiġu ffiltrati qabel ma jkunu jistgħu jikkontaminaw it-taħriġ tagħna.

4. L-Istrateġija tal-Preservazzjoni tad-Dnub

Aħna b'mod espliċitu nagħmlu over-sample tad-"dnub" tad-distribuzzjoni. Aħna nfittxu data li hija ta' kwalità għolja iżda mhux konvenzjonali. Ma rridux li l-mudell tagħna jkun "medju." Irridu li jifhem il-każijiet estremi, il-qabżiet kreattivi, l-eċċezzjonijiet brillanti.

Il-biċċa l-kbira tal-pipelines tat-taħriġ tal-LLM jiffiltraw b'mod aggressiv l-"outliers" biex jistabbilizzaw it-taħriġ. Aħna nikkurahom b'attenzjoni. L-innovazzjoni ma tiġrix fil-medja; tiġi fit-truf. L-idea li jmiss li tkisser l-ostakli ma tinstemax bħal kull idea oħra. Tinstema' stramba. Irridu nippreservaw dik l-istranezza.

"The Four Pillars of Data Provenance" huwa ċiklu: osserva, agħżel, aġixxi, u ittestja mill-ġdid.

Il-Valur tar-Realtà

Fil-futur qarib, id-"data ġġenerata mill-bniedem" se ssir klassi ta' assi premium. L-oċean vast tal-internet pubbliku se jitqies bħala "data ta' skart": utli għall-mili, forsi, jew għat-tagħlim tal-grammatika bażika, iżda perikoluża għall-għarfien fundamentali.

Il-kumpaniji li għandhom aċċess għal data proprjetarja tad-dinja reali (reġistri tas-sensuri minn fabbriki reali, rekords tal-pazjenti minn tobba reali, data tat-tranżazzjonijiet minn ekonomiji reali) se jkollhom vantaġġ kompetittiv kbir. Huma jippossjedu l-"verità fundamentali."

Il-Model Collapse huwa t-theddida eżistenzjali għall-bużżieqa tal-AI ġenerattiva. Jissuġġerixxi li ma nistgħux sempliċement inżidu l-iskala għal dejjem. Ma nistgħux sempliċement nissimulaw triqitna lejn is-superintelliġenza. Irridu nibqgħu msejsa fir-realtà. Irridu nikkura. Irridu napprezzaw il-kwalità fuq il-kwantità.

L-AI tal-futur mhux se tinbena fuq l-internet kollu. Se tinbena fuq l-internet verifikat. Se tinbena fuq il-verità.

Id-Dimensjoni Regolatorja

Din mhix biss tħassib tekniku. Ir-regolaturi qed iqumu għall-implikazzjonijiet tal-kontaminazzjoni tad-data sintetika.

L-Att dwar l-AI tal-UE jeħtieġ b'mod espliċitu dokumentazzjoni tal-provenjenza tad-data tat-taħriġ għal sistemi tal-AI b'riskju għoli. Jekk il-mudell tiegħek ġie mħarreġ fuq data kontaminata u jipproduċi outputs ta' ħsara, trid tkun tista' turi li ħadt passi raġonevoli biex tiżgura l-kwalità tad-data. "Aħna skrejpjajna l-web" mhux se jkun risposta aċċettabbli.

Il-GDPR diġà tirrikjedi li l-organizzazzjonijiet iżommu rekords tal-attivitajiet tal-ipproċessar tad-data. Li tiġi estiża din il-ħtieġa għad-data tat-taħriġ tal-AI hija evoluzzjoni naturali. Minn fejn ġiet id-data tat-taħriġ tiegħek? Tista' tipprova li nġabret legalment? Tista' turi li tirrappreżenta r-realtà minflok alluċinazzjonijiet tal-AI?

Il-kumpaniji li ma jistgħux iwieġbu dawn il-mistoqsijiet se jiffaċċjaw skrutinju regolatorju dejjem akbar. Il-kumpaniji li jistgħu juru provenjenza rigoruża tad-data (bħal dawk li jużaw Dweve Spindle) se jkollhom vantaġġ fil-konformità.

L-ispazju madwar "The Regulatory Dimension" jiċkien meta r-regoli, it-tiftix, u l-prova jiltaqgħu.

It-Triq 'il Quddiem

Il-Kollass tal-Mudell mhuwiex inevitabbli. Huwa konsegwenza ta' prattiki ta' data għażżiena. Jekk inkomplu niskrapjaw il-web ikkontaminat u nitimgħu mudelli dejjem akbar bih, se jkollna AI ta' Habsburg: kunfidenti, li tidher kapaċi, iżda fundamentalment deġenerata.

Imma jekk ninvestu fil-kwalità tad-data, jekk nibnu sistemi epistemoloġiċi li jistgħu jiddistingwu l-verità mill-alluċinazzjoni, jekk nippreservaw id-diversità tal-ħsieb uman minflok ma nkissruh f'taħlita sintetika, nistgħu nibnu AI li tibqa' msejsa fir-realtà.

Dan jirrikjedi xogħol iebes. Jirrikjedi aktar investiment. Jirrikjedi li nittrattaw id-data bħala riżorsa prezzjuża minflok komodità li tista' tiġi sfruttata bla rażan. Iżda hija l-unika triq lejn sistemi tal-AI li jibqgħu utli, preċiżi, u ta' min jafdahom fit-tul.

F'Dweve, għażilna din it-triq. Il-kombinazzjoni tagħna ta' data arkivjali verġni, sorsi umani ċċertifikati, verifikazzjoni simbolika, u preservazzjoni tad-diversità tiżgura li l-mudelli tagħna jibqgħu konnessi mad-dinja reali. Qegħdin nibnu l-filtru bejn ir-realtà u s-simulazzjoni.

It-triq faċli twassal għall-Kollass tal-Mudell. It-triq diffiċli twassal għal intelliġenza li verament taħdem. Nafu liema waħda qegħdin nieħdu.