Илюзията за ИИ: защо „повече данни“ няма да ни спаси
Заблудата за трилиона параметри
В света на ИИ тече надпревара. Не надпревара за изграждане на по-добри системи. Не надпревара за решаване на реални проблеми. Надпревара за по-големи числа.
Сто милиарда параметри. Петстотин милиарда. Трилион. Десет трилиона. Всяко съобщение е посрещнато със задъхани прессъобщения и главозамайващи цени на акциите. Всеки модел се рекламира като следващия пробив в изкуствения интелект.
Само че те не са пробиви. Те са просто по-големи.
И някъде по пътя цялата индустрия се убеди, че по-голямото означава по-добро. Че повече параметри означават повече интелигентност. Че ако просто продължим да увеличаваме мащаба, да добавяме нули, да консумираме повече данни и повече изчислителна мощ, в крайна сметка ще се натъкнем на изкуствен общ интелект.
Това е най-голямата илюзия в съвременните технологии. И тя започва да се пропуква.
Евангелието на законите за мащабиране
През 2020 г. изследователи откриха това, което нарекоха „закони за мащабиране“. Дайте на невронната мрежа повече параметри и повече данни и нейната производителност се подобрява предвидимо. Удвоите параметрите, наполовина намалява грешката. Беше красиво. Математическо. Повторимо.
Законите за мащабиране се превърнаха в евангелие. Планирате AI изследвания? Просто мащабирайте. Искате по-добра производителност? Добавете повече параметри. Трябва да се конкурирате? Изградете по-големи модели.
Всяка голяма лаборатория възприе същата стратегия: по-големи модели, повече данни, повече изчислителна мощ. GPT-3 имаше 175 милиарда параметри. GPT-4 отиде по-далеч. Gemini продължи още по-напред. Бяха обявени модели с трилион параметри. За десет трилиона се говореше.
Логиката изглеждаше неопровержима: ако мащабирането е работило досега, защо да спре?
Само че спира. Точно сега.
Стената, която никой не предвиди
В края на 2024 г. се случи нещо неочаквано. Следващото поколение флагмански модели не показа очакваните подобрения.
Двойно повече параметри. Тройно повече тренировъчни данни. Десет пъти повече изчислителна мощ. А производителността едва мръдна. В някои случаи дори се влоши.
Законите за мащабиране, които толкова надеждно се спазваха с години, започнаха да се пропукват. Намаляващата възвръщаемост вече не беше теоретична. Тя беше тук.
TechCrunch съобщи през ноември 2024 г., че законите за мащабиране на AI „показват намаляваща възвръщаемост, което принуждава AI лабораториите да променят курса“. DeepLearning.AI документира как големите компании признаха, че „следващото поколение високопрофилни модели не е показало очакваните подобрения въпреки по-големите архитектури, повечето тренировъчни данни и повечето изчислителна мощ“.
Доказателствата са ясни: мащабирането удари стена. Всъщност няколко стени.
Стената на данните
Първа стена: качествените тренировъчни данни свършват.
Големите езикови модели поглъщат интернет. Буквално. GPT-3 беше обучен върху стотици милиарди думи, събрани от уебсайтове, книги, статии, форуми. Всеки сравнително достъпен човешки текст онлайн.
Но интернетът не е безкраен. Проучване, публикувано през 2022 г., прогнозира, че висококачествените текстови данни ще бъдат изчерпани между 2026 и 2032 г., ако настоящите тенденции продължат. Анализът на Epoch AI установи, че докато по-ранните оценки предполагаха изчерпване до 2024 г., усъвършенстваната методология сега сочи, че това може да стане до 2028 г.
Както и да е, часовникът тиктака. Висококачественият човешки текст е ограничен ресурс.
Отговорът? Синтетични данни. Модели, които генерират текст, за да обучават други модели. Звучи умно, докато не осъзнаеш, че е като да правиш копия на копия. Всяко поколение се влошава. Грешките се натрупват. Пристрастията се усилват.
През 2024 г. Nature публикува изследване, което демонстрира, че моделите, обучени върху рекурсивно генерирани данни, изпитват „моделен колапс“. Проучването показа, че безразборното обучение върху синтетично съдържание води до влошаване на производителността, намалено разнообразие и в крайна сметка до AI модели, които произвеждат все по-общи резултати.
Не можеш да мащабираш безкрайно, когато горивото ти е ограничено. А качествените данни, истинското човешко знание, са наистина много ограничени.
Колапсът на качеството
Втора стена: повече данни не означава по-добри данни.
Документът за Chinchilla от 2022 г. разкри нещо съществено: оптималният модел не е най-големият модел. Той е този с най-доброто съотношение между параметри и токени за обучение. За всяко 4-кратно увеличение на изчислителната мощност са нужни 2-кратно увеличение на размера на модела И 2-кратно увеличение на качеството на данните.
Но какво се случва, когато вече си използвал всички добри данни? Започваш да събираш от източници с по-ниско качество. Форум с дезинформация. Машинно преведено съдържание. AI генериран спам. Утайката на интернет.
Повече данни за обучение. По-лоша производителност. Защото „каквото вложиш, такова получаваш“ не спира да е вярно само защото имаш трилион параметри.
Проучване от 2024 г. установи, че качеството на данните е по-важно от количеството за малките езикови модели. Друго проучване установи, че внимателно подбрани набори от данни с 1 милион примера превъзхождат произволно събрани набори от 100 милиона примера.
Отговорът на индустрията? Продължавай да мащабираш така или иначе. Хвърли повече изчислителна мощност по проблема. Надявай се, че грубата сила ще преодолее лошите данни.
Не става.
Таванът на изчислителната мощност
Трета стена: физиката на изчисленията.
Обучението на модел с трилион параметри изисква невъобразимо количество изчислителна мощност. Говорим за десетки хиляди GPU, работещи с месеци. Консумация на енергия, сравнима с тази на малки държави. Инфраструктурни разходи в стотици милиони.
И за какво? За маргинални подобрения. Печалби в производителността, които едва оправдават експоненциалното увеличение на разходите.
Една оценка предполага, че обучението на хипотетичен модел с 10 трилиона параметри би изразходвало повече електричество, отколкото някои европейски държави използват годишно. За едно обучение. Което вероятно ще трябва да се повтори десетки пъти, преди да проработи.
Икономическата възвръщаемост вече не оправдава изчислителните разходи. Законите за мащабиране обещаваха линейни подобрения с линейни инвестиции. Реалността доставя логаритмични подобрения с експоненциални инвестиции.
Това не е бизнес модел. Това е балон, който чака да се спука.
Илюзията за интелигентност
Но ето по-дълбокият проблем: дори когато мащабирането работеше, то не създаваше интелигентност. То създаваше статистическо разпознаване на модели в огромен мащаб.
Трилион параметри не мислят. Те не разсъждават. Те не разбират. Те предсказват следващия токен въз основа на модели в обучителните данни. Това е коренно различно нещо от интелигентността.
Илюзията е убедителна, защото мащабът може да приближи разбирането. Дай на модела достатъчно примери и той може да разпознава модели до степен, в която отговорите изглеждат интелигентни. Но това е имитация, не разбиране.
Ето защо моделите се провалят при нови проблеми. Защо не могат надеждно да извършват многоетапни разсъждения. Защо халюцинират самоуверено неверни факти. Те не мислят. Те извличат и прекомбинират модели.
И никакво мащабиране не оправя това. Добавянето на повече параметри към разпознавател на модели просто ти дава по-голям разпознавател на модели.
Европейският капан
За Европа парадигмата на мащабирането създава невъзможна ситуация.
Американските технологични гиганти имат изчислителната мощ. Те имат данните. Те имат инфраструктурата да обучават модели с трилион параметри. Европейските компании нямат.
Опитът да се конкурираш в надпреварата за мащабиране означава, че европейският ИИ винаги ще наваксва. Винаги едно поколение назад. Винаги с по-малко изчислителна мощ и с по-малко средства за събиране на данни.
Това е игра, нагласена от самото начало. Правилата облагодетелстват тези с най-много ресурси, не тези с най-добрите идеи.
И сега, когато законите за мащабиране се разпадат, европейското неизгодно положение в тази надпревара става без значение. Защото самата надпревара приключва.
По-умната алтернатива
И така, каква е алтернативата? Ако по-голямото не е по-добро, какво е?
Отговорът е елегантност. Ефективност. Математическа строгост.
В Dweve никога не сме купували илюзията за мащабиране. Не се опитахме да изградим по-големи модели. Изградихме по-умни.
Бинарни невронни мрежи с 456 домейн специалисти. Всеки домейн специалист е фокусиран върху конкретни типове разсъждения. Рядката активация означава, че само съответните домейн специалисти се включват за всяка задача. Без разхитена изчислителна мощ. Без ненужни параметри.
Резултатът? Най-съвременна производителност с малка част от параметрите. По-добри разсъждения с по-малко данни. Системи, които могат да бъдат внедрени без инфраструктура в мащаба на център за данни.
Loom 456 не се опитва да запомни интернета. Той е проектиран да разсъждава с ограничения, да обмисля проблемите, наистина да разбира структурата.
Това е интелигентност чрез архитектура, не чрез натрупване.
Качество пред количество
Документът на Chinchilla имаше едно правилно прозрение: съотношението има значение повече от суровите числа.
Но истинското прозрение отива по-дълбоко: внимателно проектираните модели с подбрани обучителни режими превъзхождат масивните модели с безразборно трупане на данни.
Помисли за човешкото учене. Не ставаш умен, като четеш всичко. Ставаш умен, като четеш правилните неща, в правилния ред, с правилното ръководство. Качеството на ученето има значение повече от количеството информация.
ИИ не е по-различен. Модел, обучен върху добре структурирани, внимателно подбрани данни, ще превъзхожда модел, който се дави в произволен интернет текст. Дори ако вторият модел има 100× повече параметри.
Тук Европа може да се конкурира. Не като строи по-голямо, а като строи по-добре. Не като събира повече данни, а като използва по-умни обучителни режими.
Dweve Core демонстрира този принцип. Нашата рамка за бинарни невронни мрежи постига конкурентна производителност с порядъци по-малко параметри от стандартните модели. Защото се фокусирахме върху математическата елегантност, вместо върху грубото мащабиране.
Предимството на архитектурата
Ето какво пропускат привържениците на мащабирането: архитектурата има значение повече от размера.
Можеш да имаш трилион параметри, подредени глупаво, или милиард параметри, подредени интелигентно. Интелигентното подреждане печели всеки път.
Архитектурите с Mixture of Experts (MoE) доказват това. Вместо да активират всички параметри за всяка задача, те активират само съответния подмножество. Изведнъж получаваш производителност на трилион параметри с изчислителни разходи на милиард параметри.
Бинарните невронни мрежи продължават още по-нататък. Всяка операция е математически по-проста, но цялостната архитектура е по-сложна. Разсъждение, основано на ограничения, вместо вероятностна апроксимация. Дискретна логика вместо предположения с плаваща запетая.
Резултатът са системи, които разсъждават, вместо да извличат. Разбират структурата, вместо да запомнят модели. Работят надеждно, вместо да халюцинират правдоподобно.
Това е бъдещето, до което законите за мащабиране не могат да достигнат: истинска интелигентност, а не просто по-голяма имитация.
Отвъд илюзията
Ерата на мащабирането приключва. Не с драматичен срив, а с бавното осъзнаване, че хвърлянето на още изчислителна мощ срещу проблема вече не работи.
Стени от данни. Срив на качеството. Тавани на изчислителната мощ. Намаляваща възвръщаемост. Това не са временни пречки. Това са фундаментални граници на парадигмата на мащабирането.
Но за онези, които никога не са повярвали в илюзията, това не е криза. Това е възможност.
Възможност да изградим ИИ на базата на реални принципи на интелигентността, а не на статистическа корелация. Да създадем системи, които работят ефективно, а не разточително. Да развием технология, която е достъпна, вместо да изисква бюджети от милиарди долари.
Надпреварата за трилиони параметри винаги е била задънена улица. Просто трябваше да изчакаме всички останали да опрат в стената, за да го докажем.
Истинският напредък
Ето я иронията: истинският напредък в ИИ няма да бъде по-голям модел. Той ще бъде осъзнаването, че сме оптимизирали за грешното нещо.
Не повече параметри. По-добра архитектура.
Не повече данни. По-добро обучение.
Не повече изчислителна мощ. По-умна математика.
Бинарните невронни мрежи представляват този преход. От натрупване към елегантност. От груба сила към математическа строгост. От чудовища с трилиони параметри към системи с милиарди параметри, които наистина мислят.
Платформата на Dweve доказва, че това работи: Core като рамка за бинарни алгоритми, Loom като интелигентен модел със специализация в 456 области, Nexus като рамка за мултиагентна интелигентност, Aura като платформа за оркестрация на автономни агенти, Fabric като единен команден център и табло за управление, Mesh като децентрализиран инфраструктурен слой.
Всичко е изградено на принципа, че интелигентността идва от структурата, а не от размера.
Изборът, който предстои
Индустрията на ИИ е изправена пред избор. Да продължи да преследва илюзията за мащабиране, да хвърля добри пари след лоши, надявайки се, че следващият порядък на величина някак ще пробие стените. Или да приеме, че парадигмата има граници, и да премине към нещо по-добро.
Данните показват, че мащабирането е приключило. Физиката показва, че разходите за изчислителна мощ са неустойчиви. Математиката показва, че има по-умни подходи.
Европа не трябва да печели надпреварата за мащабиране. Европа трябва да я направи остаряла. Да изгради ИИ, който не изисква модели с трилиони параметри. Да създаде системи, които работят ефективно, вместо разточително. Да развие технология, основана на разбиране, а не на запаметяване.
Великата илюзия за ИИ се пропуква. Повече данни няма да я спасят. По-големите модели няма да я спасят. Повече изчислителна мощ няма да я спаси.
Какво разбива илюзията? Осъзнаването, че интелигентността никога не е била въпрос на размер.
Бъдещето на ИИ не е в трилиони параметри. То е в умни архитектури, ефективни изчисления и математическа елегантност. В системи, създадени за разбиране, а не за запаметяване. Интелигентност чрез структура, а не чрез натрупване.
Парадигмата на мащабирането изпълни предназначението си. Тя ни показа какво може да постигне грубата сила. Но сега сме достигнали нейните граници. Следващата глава в развитието на ИИ изисква различно мислене: прецизност пред мащаб, архитектура пред параметри, интелигентност пред размер.
Това бъдеще се изгражда сега. От изследователи, фокусирани върху ефективността. От инженери, които поставят обяснимостта на първо място. От компании, разработващи ИИ, който работи без необходимост от инфраструктура за центрове за данни. Европа има възможността да поведе тази промяна, не като спечели надпреварата за мащаб, а като я направи без значение.
Великата илюзия за ИИ се пропуква. Повече данни няма да я спасят. Това, което предстои, ще бъде по-умно.
Dweve изгражда ИИ върху бинарни ограничителни мрежи и архитектури от специализирани домейн експерти. Loom използва 456 домейн специалисти за ефективни разсъждения. Разработка в Нидерландия, обслужваща европейски организации. Бъдещето на ИИ е елегантно, не просто голямо.