Kryzys załamania modeli: dlaczego chów wsobny AI zabije inteligencję
The Habsburg Problem in Digital Form
In European history, the House of Habsburg was one of the most powerful royal dynasties. They ruled vast territories for centuries. But they had a fatal flaw: in their quest to consolidate power and keep their bloodline "pure," they married their cousins. Over generations, this recursive inbreeding led to the famous "Habsburg Jaw" and a host of genetic deformities and health issues. The gene pool became too small, too recursive, and ultimately, the line collapsed. Charles II of Spain, the last Habsburg ruler of the Spanish Empire, was so inbred that he could barely chew his own food.
In 2025, we are witnessing the digital equivalent of this phenomenon. Researchers call it Model Collapse.
For the first decade of the Deep Learning revolution (roughly 2012-2022), we lived in a Golden Age of data. We trained our models on the organic output of humanity. We scraped books written by human authors, code written by human engineers, forums filled with human arguments, and art created by human hands. This data was messy, yes. But it was rich. It was varied. It contained the "tails" of the distribution: the weird, the creative, the unexpected. It was grounded in physical reality.
But then came ChatGPT, Midjourney, and Copilot. Suddenly, the cost of generating content dropped to near zero. The internet was flooded with AI-generated text, AI-generated images, and AI-generated code. SEO spammers used LLMs to generate millions of "listicle" articles to farm clicks. Bots began talking to bots on social media. LinkedIn filled with AI-written posts about "thought leadership." Medium overflowed with AI-generated think pieces about AI.
Today, a significant and growing percentage of the public web is synthetic. Estimates suggest that by 2025, 30-50% of text on the public internet was generated by AI. And here is the problem: when we scrape the web to train the next generation of models, we are inevitably scraping data generated by their predecessors. We are feeding the AI its own output. We are closing the loop. We are creating Habsburg AI.
Matematyka regresji
To nie jest tylko filozoficzna obawa. To matematyczna pewność. Naukowcy z Oksfordu, Cambridge i Uniwersytetu w Toronto wykazali ten efekt w rygorystycznych badaniach recenzowanych. Nazywają go „Klątwą rekurencji".
Matematyka jest tu właściwie dość elegancka w swoim mroku. Gdy model probabilistyczny (Model B) uczy się na danych wygenerowanych przez inny model probabilistyczny (Model A), Model B poznaje przybliżenie prawdziwego rozkładu, jakie ma Model A, a nie sam prawdziwy rozkład. Uczy się błędów razem z sygnałem.
Ale to nie koniec. Proces uczenia Modelu B z natury kładzie nacisk na regiony wysokiego prawdopodobieństwa w wynikach Modelu A. Rzadkie zdarzenia, twórcze odstępstwa, „ogony" rozkładu są niedoreprezentowane w syntetycznych wynikach Modelu A (bo z definicji są rzadkie). Model B widzi więc jeszcze mniej przykładów tych ogonów niż Model A. Traci wariancję.
Teraz naucz Model C na wynikach Modelu B. Ogony kurczą się dalej. Naucz Model D na Modelu C. Jeszcze bardziej. Po wystarczającej liczbie pokoleń rozkład zapada się do punktu. Wszystkie wyniki stają się takie same: „średnia" pierwotnego rozkładu, pozbawiona całej różnorodności.
Pomyśl o tym jak o robieniu kserokopii z kserokopii z kserokopii. Pierwsza kopia wygląda dobrze. Druga jest lekko rozmazana. Przy dziesiątej kopii ostre krawędzie zamieniają się w szum, szczegóły giną, a obraz zmienia się w szarą breję. Sygnał zanika wykładniczo z każdym pokoleniem.
Utrata ogonów
W modelach AI objawia się to utratą kreatywności i niuansu. Modele stają się „beżowe". Ich teksty są generyczne, powtarzalne i bezpieczne. Ich grafika zbiega się do konkretnej, błyszczącej, hiperwypolerowanej estetyki, której brakuje surowości i faktury rzeczywistości. Ich kod jest składniowo doskonały, ale funkcjonalnie generyczny, bez sprytnych optymalizacji, których mógłby użyć ludzki ekspert.
„Ogony" rozkładu to miejsce, gdzie mieszka innowacja. Szekspir jest w ogonach. Einstein jest w ogonach. Dziwne pomysły na startupy, które stają się firmami wartymi miliardy dolarów, są w ogonach. Kiedy eliminujesz ogony, eliminujesz możliwość geniuszu. Dostajesz świat kompetentnej przeciętności.
Amplifikacja halucynacji
Być może gorsze niż utrata kreatywności jest zyskanie pewnej siebie błędności. Gdy modele trenują na halucynacjach swoich poprzedników, te błędy ulegają wzmocnieniu. Kłamstwo wypowiedziane raz jest anomalią. Kłamstwo powtórzone milion razy w zbiorze treningowym staje się faktem.
Rozważmy hipotetyczną sytuację: GPT-5 halucynuje, że pewien lek jest bezpieczny w czasie ciąży (a nie jest). Ta halucynacja zostaje opublikowana w tysiącach artykułów zdrowotnych wygenerowanych przez AI. GPT-6 trenuje na tych artykułach. Teraz „wierzy" w ten fałszywy fakt z jeszcze większą pewnością, ponieważ widział go tak wiele razy. GPT-7 traktuje go jako ugruntowaną wiedzę medyczną.
Model Collapse to nie tylko kwestia stania się nudnym; to kwestia oderwania się od rzeczywistości. To tworzenie AI, które jest niezwykle pewne siebie w uniwersum faktów, które nie istnieją.
Dowody są już tutaj
Nie czekamy na Model Collapse. Obserwujemy, jak rozwija się na naszych oczach.
Stack Overflow odnotował ogromny spadek ruchu ludzkiego, podczas gdy liczba kodów generowanych przez AI na GitHubie eksplodowała. Jeśli trenujesz model kodowania na danych z GitHuba z 2025 roku, trenujesz go na kodzie, który prawdopodobnie został napisany (lub przynajmniej wspomagany) przez Copilota w 2024 roku. Jeśli ten kod z 2024 roku miał subtelny błąd (na przykład lukę bezpieczeństwa, którą AI zwykle sugeruje), model z 2025 roku nauczy się tego błędu jako najlepszej praktyki. Wzmocni go.
Naukowcy z Google zaobserwowali, że nowsze wyniki wyszukiwania zawierają coraz bardziej powtarzalne wzorce fraz charakterystyczne dla wyników LLM. Te same frazy pojawiają się w kółko: „Ważne jest, aby zauważyć, że...", „W dzisiejszym szybko zmieniającym się świecie...", „Zanurzmy się w...". Te językowe tik rozprzestrzeniają się po korpusie jak wirus.
Amazon poinformował, że znaczny odsetek recenzji klientów na ich platformie jest obecnie generowany przez AI. Opisy produktów są generowane przez AI. Recenzje tych produktów są generowane przez AI. Wkrótce streszczenia tych recenzji będą generowane przez AI. To żółwie aż do samego dołu.
„Prawa skalowania", które napędzały boom na AI (idea, że po prostu dodanie większej ilości danych i większej mocy obliczeniowej zawsze prowadzi do lepszej wydajności), napotykają ścianę. Dane nie są już ograniczeniem; ograniczeniem jest rzeczywistość. Skończyły się nam czyste dane ludzkie. Zatruliśmy własną studnię.
Rozwiązanie Dweve: Rygor epistemologiczny
W Dweve przewidzieliśmy ten kryzys. Wcześnie zdaliśmy sobie sprawę, że strategia „zeskrob wszystko” jest nie do utrzymania. Aby budować solidne systemy, które nie popadają w halucynacje, trzeba priorytetowo traktować pochodzenie danych: wiedzieć dokładnie, skąd pochodzą dane i czy odzwierciedlają rzeczywistość.
Dlatego zbudowaliśmy Dweve Spindle: naszą platformę zarządzania wiedzą dla przedsiębiorstw. Spindle to nie tylko potok danych. To system epistemologiczny. Przekształca surowe informacje w zweryfikowaną wiedzę gotową dla sztucznej inteligencji dzięki rygorystycznemu procesowi składającemu się z siedmiu etapów.
Siedmioetapowy potok epistemologiczny
Każda informacja, która trafia do ekosystemu Dweve, przechodzi przez ten potok:
Etap 1: Kandydat. Surowe informacje są identyfikowane i oznaczane do przetworzenia. Może to być strona internetowa, dokument, rekord bazy danych lub odczyt z czujnika. Na tym etapie wiemy tylko, że informacja istnieje, a nie, czy jest prawdziwa lub przydatna.
Etap 2: Wyodrębnione. Ustrukturyzowane informacje są analizowane ze źródła surowego. Identyfikowane są encje. Wyodrębniane są fakty. Nieustrukturyzowany chaos staje się kandydatem do ustrukturyzowanego grafu wiedzy.
Etap 3: Przeanalizowane. Twierdzenia są rozkładane na fakty atomowe. Zdanie takie jak „Einstein otrzymał Nagrodę Nobla za teorię względności” jest dzielone na weryfikowalne składniki: „Einstein istniał”, „Einstein otrzymał Nagrodę Nobla”, „Nagroda była za fizykę”, „Nagroda została przyznana za pracę nad teorią względności”. (Uwaga: to ostatnie twierdzenie jest w rzeczywistości fałszywe, co potok by wychwycił.)
Etap 4: Połączone. Fakty atomowe są łączone z naszą istniejącą siecią wiedzy. Czy te nowe informacje przeczą ustalonym faktom? Czy je potwierdzają? Czy wypełniają luki? Integracja z grafem ujawnia spójność i konflikty.
Etap 5: Zweryfikowane. Następuje walidacja wieloźródłowa. Czy możemy znaleźć niezależne potwierdzenie w wiarygodnych źródłach? Czy twierdzenie przechodzi testy spójności logicznej? Jakie jest pochodzenie pierwotnego źródła?
Etap 6: Certyfikowane. Zapewnienie jakości jest zakończone. Informacja osiągnęła wskaźnik ufności powyżej 0,7 w naszych sześciu wymiarach jakości. Jest oznaczona jako wiarygodna do wykorzystania w aplikacjach niższego szczebla.
Etap 7: Kanoniczne. Informacja staje się autorytatywną wiedzą gotową dla sztucznej inteligencji. Może być wykorzystywana do uczenia, wnioskowania i wyszukiwania. Jest to prawda podstawowa.
Hierarchia wojskowa 32 agentów
Ten potok nie jest wykonywany przez pojedynczy algorytm. Jest koordynowany przez wyspecjalizowany zespół 32 agentów AI, zorganizowanych w hierarchię w stylu wojskowym:
- Brygada Odkrywców (6 agentów): Zwiadowcy, którzy identyfikują i pobierają potencjalne źródła wiedzy
- Korpus Ekstrakcji (5 agentów): Specjaliści od analizy składniowej, NER i strukturyzacji surowych danych
- Dywizja Analiz (6 agentów): Logicy, którzy rozkładają twierdzenia i identyfikują zależności
- Sieć Połączeń (4 agentów): Specjaliści od grafów, którzy integrują nową wiedzę
- Straż Jakości (4 agentów): Walidatorzy, którzy krzyżowo sprawdzają i wykrywają niespójności
- Rada Zarządzająca (12 agentów): Starsi agenci, którzy podejmują ostateczne decyzje certyfikacyjne
Każdy agent ma wyspecjalizowaną wiedzę. Dyskutują. Podważają wzajemnie swoje wnioski. Wymagają konsensusu, zanim informacja przejdzie do następnego etapu. Ten proces weryfikacji wieloagentowej jest znacznie solidniejszy niż jakiekolwiek podejście z pojedynczym modelem do sprawdzania faktów.
Wykrywanie 47 typów stronniczości
Spindle jest specjalnie zaprojektowany do wykrywania i oznaczania stronniczości w danych treningowych. Nasz system identyfikuje 47 odrębnych typów stronniczości w czterech kategoriach:
- Błąd statystyczny: błąd doboru próby, błąd selekcji, błąd przeżywalności, błąd potwierdzenia w zbieraniu danych
- Błąd poznawczy: zakotwiczenie, heurystyka dostępności, efekty ramowania w materiale źródłowym
- Błąd językowy: nacechowane słownictwo, eufemizmy, słowa-wytrychy, perswazyjne ramowanie
- Błąd systemowy: luki w reprezentacji, błędy historyczne zakodowane w tekście, kulturowe ślepe plamy
Gdy wykryty zostanie błąd, informacja jest albo korygowana (jeśli to możliwe), albo oznaczana (jeśli korekta jest niepewna), albo odrzucana (jeśli błąd jest fundamentalny i nie do naprawienia). Zapobiega to wzmacnianiu błędów, które dotykają modeli trenowanych na surowych danych z sieci.
Cztery filary pochodzenia danych
Poza potokiem Spindle nasza szersza strategia danych opiera się na czterech filarach:
1. Dziewicza sieć (archiwa sprzed 2023 r.)
Przykładamy ogromną wagę do danych powstałych przed powszechnym upowszechnieniem generatywnej sztucznej inteligencji (mniej więcej przełom 2022 i 2023 r.). Ten okres traktujemy jako „dziewiczą sieć”. Te archiwalne dane stanowią fundament naszego treningu. To prawda źródłowa dotycząca ludzkich treści, zanim zaczęło się skażenie.
Zainwestowaliśmy znaczne środki w pozyskiwanie i selekcję zbiorów danych sprzed 2022 r.: zdigitalizowane książki, archiwa akademickie, repozytoria kodu z historią commitów potwierdzającą ludzkie autorstwo, archiwa forów z epoki, gdy każdy wpis napisał człowiek.
Te dane są niezastąpione. Gdy sieć została skażona, nie mogliśmy jej odkazić. Ale możemy zachować czyste archiwa i nadać im priorytet.
2. Certyfikowane źródła ludzkie
W przypadku współczesnych danych nie polegamy na bezrefleksyjnym scrapowaniu sieci. Nawiązujemy bezpośrednią współpracę z zaufanymi instytucjami. Licencjonujemy dane od:
- Wydawców akademickich: Artykuły recenzowane są (w większości) pisane przez ludzi i weryfikowane przez ludzi. Proces recenzji stanowi filtr jakości.
- Wydawców książek: Procesy redakcyjne zapewniają poziom ludzkiego nadzoru, jakiego nie mają treści internetowe.
- Repozytoriów kodu z CI/CD: To kluczowa kwestia. Nie tylko scrapujemy kod. Scrapujemy kod, który przechodzi testy. Jeśli funkcja się nie kompiluje, odrzucamy ją. Jeśli nie przechodzi zestawu testów, odrzucamy ją. Działający kod znacznie częściej jest napisany przez człowieka (a przynajmniej przez niego zweryfikowany) niż przypadkowe fragmenty.
- Partnerów korporacyjnych: Firmy dostarczają nam zastrzeżone dane w zamian za modele szyte na miarę. Te dane są z definicji generowane przez ludzi i istotne biznesowo.
3. Weryfikacja symboliczna jako układ odpornościowy
To cecha charakterystyczna naszego podejścia neuro-symbolicznego. Ponieważ nasz system rozumie logikę i strukturę kodu dzięki architekturze opartej na ograniczeniach, możemy używać weryfikacji symbolicznej do filtrowania danych treningowych.
Jeśli trenujemy model do pisania w Pythonie, nie karmimy go po prostu surowymi plikami tekstowymi. Przepuszczamy kod przez kompilator. Jeśli zawiera błędy składniowe, odrzucamy go. Przepuszczamy go przez analizator statyczny. Jeśli ma oczywiste luki bezpieczeństwa, odrzucamy go. Wykonujemy go na przypadkach testowych. Jeśli nie przechodzi, odrzucamy go.
W przypadku treści faktycznych krzyżowo odnosimy twierdzenia do naszego zweryfikowanego grafu wiedzy. Jeśli dokument twierdzi, że Paryż jest stolicą Niemiec, warstwa symboliczna wykrywa niespójność i oznacza dokument jako niewiarygodny.
Działa to jak układ odpornościowy przeciwko załamaniu modelu. Halucynacje i błędny kod generowane przez inne AI nie przechodzą naszych weryfikacji i są odfiltrowywane, zanim zdążą skazić nasze dane treningowe.
4. Strategia zachowania ogonów rozkładu
Celowo nadpróbkujemy „ogony" rozkładu. Szukamy danych, które są wysokiej jakości, ale niekonwencjonalne. Nie chcemy, żeby nasz model był „przeciętny". Chcemy, żeby rozumiał przypadki brzegowe, twórcze skoki, błyskotliwe wyjątki.
Większość potoków treningowych LLM agresywnie odfiltrowuje „wartości odstające", aby ustabilizować trening. My starannie je selekcjonujemy. Innowacja nie dzieje się w średniej; dzieje się na obrzeżach. Następny przełomowy pomysł nie będzie brzmiał jak każdy inny. Będzie brzmiał dziwnie. Chcemy zachować tę dziwność.
Wartość rzeczywistości
W niedalekiej przyszłości „dane generowane przez ludzi" staną się dobrem luksusowym. Ogromny ocean publicznego internetu będzie uważany za „śmieciowe dane": przydatne może jako wypełniacz albo do nauki podstawowej gramatyki, ale niebezpieczne jako podstawa wiedzy.
Firmy, które mają dostęp do zastrzeżonych danych ze świata rzeczywistego (logi czujników z prawdziwych fabryk, dokumentacja pacjentów od prawdziwych lekarzy, dane transakcyjne z prawdziwych gospodarek), będą miały ogromną przewagę konkurencyjną. Posiadają „ground truth".
Załamanie modelu to egzystencjalne zagrożenie dla bańki generatywnego AI. Sugeruje, że nie możemy po prostu skalować w nieskończoność. Nie możemy po prostu zasymulować drogi do superinteligencji. Musimy pozostać ugruntowani. Musimy selekcjonować. Musimy cenić jakość ponad ilość.
AI przyszłości nie będzie zbudowane na całym internecie. Będzie zbudowane na zweryfikowanym internecie. Będzie zbudowane na prawdzie.
Wymiar regulacyjny
To nie jest tylko kwestia techniczna. Regulatorzy budzą się na implikacje skażenia danymi syntetycznymi.
Akt o sztucznej inteligencji UE wprost wymaga dokumentowania pochodzenia danych treningowych dla systemów AI wysokiego ryzyka. Jeśli Twój model został wytrenowany na skażonych danych i generuje szkodliwe wyniki, musisz być w stanie wykazać, że podjąłeś rozsądne kroki w celu zapewnienia jakości danych. „Zeskrobaliśmy internet" nie będzie akceptowalną odpowiedzią.
RODO już dziś wymaga od organizacji prowadzenia rejestrów czynności przetwarzania danych. Rozszerzenie tego wymogu na dane do trenowania AI to naturalna ewolucja. Skąd pochodzą Twoje dane treningowe? Czy potrafisz udowodnić, że zostały zebrane legalnie? Czy potrafisz wykazać, że odzwierciedlają rzeczywistość, a nie halucynacje AI?
Firmy, które nie potrafią odpowiedzieć na te pytania, będą spotykać się z rosnącą kontrolą regulacyjną. Firmy, które potrafią wykazać rygorystyczną proweniencję danych (takie jak te korzystające z Dweve Spindle), zyskają przewagę w zakresie zgodności.
Droga naprzód
Załamanie modelu nie jest nieuniknione. To konsekwencja leniwych praktyk w zakresie danych. Jeśli nadal będziemy przeszukiwać zanieczyszczoną sieć i karmić nią coraz większe modele, otrzymamy AI w stylu Habsburgów: pewne siebie, sprawiające wrażenie kompetentnego, ale w gruncie rzeczy zwyrodniałe.
Jeśli jednak zainwestujemy w jakość danych, jeśli zbudujemy systemy epistemologiczne, które potrafią odróżnić prawdę od halucynacji, jeśli zachowamy różnorodność ludzkiej myśli zamiast sprowadzać ją do syntetycznej papki, możemy zbudować AI, które pozostanie zakorzenione w rzeczywistości.
To wymaga cięższej pracy. To wymaga większych inwestycji. To wymaga traktowania danych jak cennego zasobu, a nie surowca do wydobycia. To jednak jedyna droga do systemów AI, które pozostaną użyteczne, dokładne i godne zaufania w dłuższej perspektywie.
W Dweve wybraliśmy tę drogę. Nasze połączenie nieskazitelnych danych archiwalnych, certyfikowanych źródeł ludzkich, weryfikacji symbolicznej i zachowania różnorodności sprawia, że nasze modele pozostają połączone z realnym światem. Budujemy filtr między rzeczywistością a symulacją.
Łatwa droga prowadzi do załamania modelu. Trudna droga prowadzi do inteligencji, która naprawdę działa. Wiemy, którą wybieramy.