Кризата с колапса на моделите: Защо инбридингът на ИИ ще убие интелекта
Проблемът на Хабсбургите в дигитална форма
В европейската история династията на Хабсбургите е една от най-могъщите кралски фамилии. Те управлявали обширни територии в продължение на векове. Но имали фатален недостатък: в стремежа си да консолидират властта и да запазят кръвната си линия „чиста“, те се женели за братовчедките си. В продължение на поколения този рекурсивен кръвосмесителен процес довел до прочутата „хабсбургска челюст“ и до множество генетични деформации и здравословни проблеми. Генният пул станал твърде малък, твърде рекурсивен и в крайна сметка линията се сринала. Карлос II Испански, последният владетел на Испанската империя от династията на Хабсбургите, бил толкова засегнат от инбридинг, че едва можел да дъвче храната си.
През 2025 г. ставаме свидетели на дигиталния еквивалент на това явление. Изследователите го наричат срив на модела.
През първото десетилетие на революцията в дълбокото обучение (приблизително 2012-2022 г.) живеехме в златния век на данните. Обучавахме моделите си върху органичния продукт на човечеството. Събирахме книги, написани от човешки автори, код, написан от човешки инженери, форуми, изпълнени с човешки спорове, и изкуство, създадено от човешки ръце. Тези данни бяха разхвърляни, да. Но бяха богати. Бяха разнообразни. Съдържаха „опашките“ на разпределението: странното, креативното, неочакваното. Бяха вкоренени във физическата реалност.
Но после се появиха ChatGPT, Midjourney и Copilot. Изведнъж разходите за генериране на съдържание паднаха почти до нула. Интернет беше наводнен с генериран от изкуствен интелект текст, генерирани от изкуствен интелект изображения и генериран от изкуствен интелект код. SEO спамърите използваха LLM, за да генерират милиони статии от типа „списъци“, за да трупат кликвания. Ботовете започнаха да си говорят с ботове в социалните мрежи. LinkedIn се изпълни с публикации, написани от изкуствен интелект, за „мисловно лидерство“. Medium преля от генерирани от изкуствен интелект размишления за изкуствения интелект.
Днес значителен и нарастващ процент от публичния уеб е синтетичен. Оценките сочат, че до 2025 г. 30-50% от текста в публичния интернет е бил генериран от изкуствен интелект. И ето го проблемът: когато събираме данни от уеб, за да обучим следващото поколение модели, неизбежно събираме данни, генерирани от техните предшественици. Храним изкуствения интелект със собствения му продукт. Затваряме кръга. Създаваме хабсбургски изкуствен интелект.
Математиката на регресията
Това не е просто философски въпрос. Това е математическа сигурност. Изследователи от Оксфорд, Кеймбридж и Университета на Торонто са демонстрирали този ефект в строги рецензирани проучвания. Те го наричат „Проклятието на рекурсията“.
Математиката всъщност е доста елегантна в своята мрачност. Когато вероятностен модел (Модел B) се обучава върху данни, генерирани от друг вероятностен модел (Модел A), Модел B усвоява приближението на Модел A към истинското разпределение, а не самото истинско разпределение. Той усвоява грешките заедно със сигнала.
Но става още по-лошо. Процесът на обучение на Модел B по своята същност набляга върху областите с висока вероятност в изхода на Модел A. Редките събития, творческите отклонения, „опашките“ на разпределението, са недостатъчно представени в синтетичния изход на Модел A (защото по дефиниция са редки). Така Модел B вижда още по-малко примери за тези опашки, отколкото Модел A. Той губи вариативност.
Сега обучете Модел C върху изхода на Модел B. Опашките се свиват още повече. Обучете Модел D върху изхода на Модел C. Още повече. След достатъчно поколения разпределението се свива до точка. Всички изходи стават еднакви: „средната стойност“ на първоначалното разпределение, лишена от всякакво разнообразие.
Мислете за това като за правене на фотокопие от фотокопие от фотокопие. Първото копие изглежда приемливо. Второто е леко размазано. До десетото копие острите ръбове се превръщат в шум, детайлите са изгубени, а изображението се превръща в сива каша. Сигналът затихва експоненциално с всяко поколение.
Загубата на опашките
При AI моделите това се проявява като загуба на креативност и нюанси. Моделите стават „бежови“. Текстовете им стават клиширани, повтарящи се и безопасни. Изкуството им се свежда до специфична, лъскава, свръхполирана естетика, лишена от грубостта и текстурата на реалността. Кодът им става синтактично перфектен, но функционално клиширан, без умните оптимизационни трикове, които човешки експерт би използвал.
„Опашките“ на разпределението са мястото, където живее иновацията. Шекспир е в опашките. Айнщайн е в опашките. Странните стартъп идеи, които се превръщат в компании за милиарди долари, са в опашките. Когато елиминирате опашките, елиминирате възможността за гений. Получавате свят на компетентна посредственост.
Усилване на халюцинациите
Може би по-лошо от загубата на креативност е придобиването на самоуверена грешност. Когато моделите се обучават върху халюцинациите на своите предшественици, тези грешки се затвърждават. Една лъжа, казана веднъж, е аномалия. Една лъжа, повторена милион пъти в обучителния набор, се превръща във факт.
Помислете за хипотетичен случай: GPT-5 халюцинира, че определено лекарство е безопасно по време на бременност (а то не е). Тази халюцинация се публикува в хиляди статии за здраве, генерирани от изкуствен интелект. GPT-6 се обучава върху тези статии. Сега то „вярва“ в този неверен факт с още по-голяма увереност, защото го е виждало толкова много пъти. GPT-7 го третира като утвърдено медицинско знание.
Колапсът на модела не означава просто да стане скучен; означава да се откъсне от реалността. Означава да се създаде изкуствен интелект, който е изключително уверен във вселена от факти, които не съществуват.
Доказателствата вече са тук
Не чакаме Колапсът на модела да се случи. Наблюдаваме как се развива в реално време.
Stack Overflow отбелязва огромен спад в човешкия трафик, докато обемът на генерирания от изкуствен интелект код в GitHub експлодира. Ако обучите модел за програмиране върху данни от GitHub за 2025 г., вие го обучавате върху код, който вероятно е написан (или поне подпомогнат) от Copilot през 2024 г. Ако този код от 2024 г. е имал скрит бъг (например уязвимост в сигурността, която изкуственият интелект е склонен да предлага), моделът от 2025 г. ще научи този бъг като най-добра практика. Ще го усили.
Изследователи в Google са забелязали, че по-новите резултати от търсенето съдържат все по-повтарящи се фразови модели, характерни за изхода на LLM. Едни и същи фрази се появяват отново и отново: „Важно е да се отбележи, че...“, „В днешния забързан свят...“, „Нека се потопим...“. Тези езикови тикове се разпространяват в корпуса като вирус.
Amazon съобщи, че значителен процент от потребителските отзиви на тяхната платформа вече са генерирани от изкуствен интелект. Описанията на продуктите са генерирани от изкуствен интелект. Отзивите за тези продукти са генерирани от изкуствен интелект. Скоро обобщенията на тези отзиви ще бъдат генерирани от изкуствен интелект. Това са костенурки чак до дъното.
„Законите за мащабиране“, които движеха бума на изкуствения интелект (идеята, че просто добавянето на повече данни и повече изчислителна мощ винаги води до по-добра производителност), опират до стена. Данните вече не са ограничението; реалността е ограничението. Свършиха ни чистите човешки данни. Отровихме собствения си кладенец.
Решението на Dweve: епистемологична строгост
В Dweve предвидихме тази криза. Рано осъзнахме, че стратегията „изстържи всичко“ е неустойчива. За да изградите стабилни системи, които не се сриват в халюцинации, трябва да приоритизирате произхода на данните: да знаете точно откъде идват данните ви и дали отразяват реалността.
Ето защо създадохме Dweve Spindle: нашата платформа за управление на корпоративни знания. Spindle не е просто тръбопровод за данни. Тя е епистемологична система. Тя превръща суровата информация във верифицирано, готово за AI знание чрез строг процес от седем етапа.
Седеметапният епистемологичен тръбопровод
Всяка информация, която влиза в екосистемата на Dweve, преминава през този тръбопровод:
Етап 1: Кандидат. Суровата информация се идентифицира и маркира за обработка. Това може да бъде уеб страница, документ, запис в база данни или показание от сензор. На този етап знаем само, че информацията съществува, не дали е вярна или полезна.
Етап 2: Извлечен. Структурираната информация се извлича от суровия източник. Идентифицират се обекти. Извличат се факти. Неструктурираната бъркотия се превръща в кандидат за структурирана графика на знанието.
Етап 3: Анализиран. Твърденията се разлагат на атомарни факти. Изречение като „Айнщайн спечели Нобеловата награда за теорията на относителността“ се разбива на проверими компоненти: „Айнщайн е съществувал“, „Айнщайн е спечелил Нобелова награда“, „Наградата е за физика“, „Наградата е присъдена за работа по теорията на относителността“. (Забележка: последното твърдение всъщност е невярно, което тръбопроводът би установил.)
Етап 4: Свързан. Атомарните факти се свързват със съществуващата ни мрежа от знания. Противоречи ли тази нова информация на установени факти? Потвърждава ли ги? Запълва ли празнини? Интеграцията в графиката разкрива последователност и конфликти.
Етап 5: Верифициран. Извършва се валидация от множество източници. Можем ли да намерим независимо потвърждение от авторитетни източници? Преминава ли твърдението проверките за логическа последователност? Какъв е произходът на първоначалния източник?
Етап 6: Сертифициран. Осигуряването на качество е завършено. Информацията е постигнала резултат на доверие над 0.7 по нашите шест измерения на качеството. Тя е маркирана като надеждна за използване в приложения надолу по веригата.
Етап 7: Каноничен. Информацията се превръща в авторитетно, готово за AI знание. Тя може да се използва за обучение, за изводи, за извличане. Тя е основната истина.
Йерархията от 32 агента в стил военна структура
Този тръбопровод не се изпълнява от един единствен алгоритъм. Той се оркестрира от специализиран екип от 32 AI агента, организирани в йерархия в стил военна структура:
- Бригада за откриване (6 агента): разузнавачи, които идентифицират и извличат потенциални източници на знания
- Корпус за извличане (5 агента): специалисти по парсиране, NER и структуриране на сурови данни
- Дивизия за анализ (6 агента): логици, които разлагат твърдения и идентифицират зависимости
- Мрежа за свързване (4 агента): специалисти по графики, които интегрират нови знания
- Пазител на качеството (4 агента): валидатори, които кръстосано проверяват и откриват несъответствия
- Управителен съвет (12 агента): старши агенти, които вземат окончателните решения за сертифициране
Всеки агент има специализирана експертиза. Те дебатират. Оспорват заключенията си взаимно. Изискват консенсус, преди информацията да премине към следващия етап. Този процес на верификация от множество агенти е далеч по-стабилен от всеки подход с един модел за проверка на факти.
Откриване на 47 вида пристрастия
Spindle е специално проектирана да открива и маркира пристрастия в обучителните данни. Нашата система идентифицира 47 различни вида пристрастия в четири категории:
- Статистическа пристрастност: Пристрастност при извадката, пристрастност при подбора, пристрастност към оцелелите, пристрастност към потвърждението при събирането на данни
- Когнитивна пристрастност: Закотвяне, евристика на достъпността, ефекти на рамкирането в изходния материал
- Езикова пристрастност: Емоционално обагрени думи, евфемизми, уклончиви изрази, убеждаващо рамкиране
- Системна пристрастност: Пропуски в представеността, исторически пристрастности, закодирани в текста, културни слепи петна
Когато бъде открита пристрастност, информацията или се коригира (ако е възможно), или се маркира (ако корекцията е несигурна), или се отхвърля (ако пристрастността е основна и не подлежи на корекция). Това предотвратява усилването на пристрастности, което засяга моделите, обучени върху сурови интернет източници.
Четирите стълба на произхода на данните
Освен тръбопровода Spindle, по-широката ни стратегия за данни се опира на четири стълба:
1. Девственият интернет (архиви отпреди 2023 г.)
Отдаваме огромно значение на данните, създадени преди широкото разпространение на генеративния ИИ (приблизително края на 2022 г. и началото на 2023 г.). Разглеждаме тази епоха като „девствения интернет“. Тези архивни данни са основата на нашето обучение. Те са истината за човешкото творчество, преди да започне замърсяването.
Инвестирахме сериозно в придобиването и подреждането на набори от данни отпреди 2022 г.: дигитализирани книги, академични архиви, хранилища за код с история на промените, доказваща човешко авторство, форумни архиви от епохата, когато всяка публикация е била написана от човек.
Тези данни са незаменими. След като интернет беше замърсен, не можехме да го почистим отново. Но можем да съхраним и да дадем приоритет на чистите архиви.
2. Сертифицирани човешки източници
За съвременните данни не разчитаме на безразборно обхождане на интернет. Работим директно с доверени институции. Лицензираме данни от:
- Академични издателства: Рецензираните статии са (предимно) написани от хора и проверени от хора. Процесът на рецензиране осигурява филтър за качество.
- Книгоиздателства: Редакционните процеси гарантират ниво на човешки надзор, което липсва в интернет съдържанието.
- Хранилища за код с CI/CD: Това е от решаващо значение. Не просто събираме код. Събираме код, който минава тестове. Ако дадена функция не се компилира, я отхвърляме. Ако не мине тестовия си пакет, я отхвърляме. Работещият код е много по-вероятно да е написан от човек (или поне проверен от човек), отколкото случайни откъси.
- Корпоративни партньори: Компании ни предоставят патентовани данни в замяна на персонализирани модели. Тези данни по определение са създадени от хора и са от значение за бизнеса.
3. Символна верификация като имунна система
Това е уникално за нашия невросимволен подход. Тъй като системата ни разбира логиката и структурата на кода чрез архитектура, основана на ограничения, можем да използваме символна верификация, за да филтрираме данните за обучение.
Ако обучаваме модел да пише Python, не му подаваме просто сурови текстови файлове. Пускаме кода през компилатор. Ако има синтактични грешки, го отхвърляме. Пускаме го през статичен анализатор. Ако има очевидни пропуски в сигурността, го отхвърляме. Изпълняваме го срещу тестови случаи. Ако не мине, го отхвърляме.
За фактическото съдържание сверяваме твърденията с верифицираната си графика на знанието. Ако даден документ твърди, че Париж е столицата на Германия, символният слой засича несъответствието и отбелязва документа като ненадежден.
Това действа като имунна система срещу срива на модела. Халюцинациите и грешният код, генерирани от други ИИ, не успяват да преминат нашите проверки за валидация и биват филтрирани, преди да успеят да замърсят нашето обучение.
4. Стратегията за запазване на опашките
Ние изрично преизваждаме "опашките" на разпределението. Търсим данни, които са висококачествени, но нестандартни. Не искаме нашият модел да бъде "среден". Искаме той да разбира крайните случаи, творческите скокове, блестящите изключения.
Повечето тръбопроводи за обучение на LLM агресивно филтрират "отклоненията", за да стабилизират обучението. Ние внимателно ги подбираме. Иновацията не се случва в средната стойност; тя се случва в краищата. Следващата пробивна идея няма да звучи като всяка друга идея. Тя ще звучи странно. Ние искаме да запазим тази странност.
Стойността на реалността
В близко бъдеще "данните, генерирани от хора", ще се превърнат в премиум клас активи. Огромният океан от публичния интернет ще се счита за "боклук данни": полезни за запълване, може би, или за изучаване на основна граматика, но опасни за фундаментални знания.
Компаниите, които имат достъп до патентовани данни от реалния свят (сензорни регистри от реални фабрики, пациентски досиета от реални лекари, транзакционни данни от реални икономики), ще имат огромно конкурентно предимство. Те притежават "основната истина".
Сривът на модела е екзистенциалната заплаха за балона на генеративния ИИ. Той предполага, че не можем просто да мащабираме безкрайно. Не можем просто да симулираме пътя към свръхинтелигентност. Трябва да останем здраво стъпили на земята. Трябва да подбираме. Трябва да ценим качеството пред количеството.
ИИ на бъдещето няма да бъде изграден върху целия интернет. Той ще бъде изграден върху проверения интернет. Той ще бъде изграден върху истината.
Регулаторното измерение
Това не е само технически проблем. Регулаторите започват да осъзнават последиците от замърсяването със синтетични данни.
Законът на ЕС за ИИ изрично изисква документиране на произхода на данните за обучение за системи с ИИ с висок риск. Ако вашият модел е обучен върху замърсени данни и произвежда вредни резултати, трябва да можете да докажете, че сте предприели разумни стъпки, за да осигурите качество на данните. "Изстъргахме интернет" няма да бъде приемлив отговор.
GDPR вече изисква от организациите да водят регистри на дейностите по обработване на данни. Разширяването на това изискване към данните за обучение на ИИ е естествена еволюция. Откъде идват данните ви за обучение? Можете ли да докажете, че са събрани законно? Можете ли да покажете, че отразяват реалността, а не халюцинации на ИИ?
Компаниите, които не могат да отговорят на тези въпроси, ще се сблъскат със засилен регулаторен контрол. Компаниите, които могат да докажат строг произход на данните (като тези, които използват Dweve Spindle), ще имат регулаторно предимство.
Пътят напред
Колапсът на модела не е неизбежен. Той е следствие от небрежни практики при работата с данни. Ако продължим да събираме данни от замърсената мрежа и ги подаваме на все по-големи модели, ще получим Habsburg AI: самоуверен, привидно способен, но в основата си изроден.
Но ако инвестираме в качеството на данните, ако изградим епистемологични системи, които могат да различават истината от халюцинацията, ако запазим разнообразието на човешката мисъл, вместо да я смачкваме в синтетична каша, можем да изградим ИИ, който остава вкоренен в реалността.
Това изисква по-упорита работа. Изисква повече инвестиции. Изисква да третираме данните като ценен ресурс, а не като стока, която се изкопава безогледно. Но това е единственият път към ИИ системи, които остават полезни, точни и надеждни в дългосрочен план.
В Dweve сме избрали този път. Нашата комбинация от девствени архивни данни, сертифицирани човешки източници, символична верификация и запазване на разнообразието гарантира, че нашите модели остават свързани с реалния свят. Ние изграждаме филтъра между реалността и симулацията.
Лесният път води до колапс на модела. Трудният път води до интелигентност, която действително работи. Знаем кой от двата сме поели.