Паметта в ИИ: как моделите помнят (и защо забравят)
Илюзията за паметта
Разговаряте с ChatGPT. То помни какво сте казали преди три съобщения. Отговаря последователно. Поддържа контекст. Изглежда, че има памет.
Няма. Не наистина. Не по начина, по който си мислите.
Паметта на изкуствения интелект е коренно различна от човешката памет. Разбирането как всъщност работи, какво може и какво не може, има значение. Защото ограниченията са реални. И често изненадващи.
Какво всъщност е паметта на ИИ
Моделите на ИИ нямат постоянна памет като хората. Те имат параметри (тегла), научени по време на обучението, и имат контекстни прозорци за обработка на входните данни.
Това е. Два вида „памет“, и двата напълно различни от биологичната памет:
1. Параметрична памет (теглата):
По време на обучението моделът научава модели. Тези модели се кодират в милиарди тегла. Това е параметрична памет. Знание, вградено в структурата на модела.
Пример: Езиков модел „знае“, че „Париж е столицата на Франция“, защото този модел се е появил в данните за обучение. Знанието е кодирано в теглата. Не се съхранява като текст. Не може да се извлече като факт. Просто... кодирано като модели на активация.
2. Контекстна памет (входът):
Когато използвате модела, вие предоставяте вход. Моделът обработва този вход. За разговорния ИИ цялата ви история на разговора е част от входа. Това е контекстна памет.
Моделът не помни предишните ви съобщения. Вие (или приложението) ги предоставяте отново с всяко ново съобщение. Моделът обработва всичко наново всеки път. Прилича на памет. Всъщност е повторение.
Контекстни прозорци (ограничението на паметта)
Контекстната памет има твърда граница: размера на контекстния прозорец.
Моделите могат да обработват само фиксирано количество токени наведнъж. GPT-4: 8K или 32K токена. Claude: 100K токена. Llama: 4K-8K токена.
След като надхвърлите контекстния прозорец, моделът буквално не може да види по-ранната информация. Тя е изчезнала. Забравена. Не защото моделът е забравил, а защото не може да се побере във входа.
Какво означава това на практика:
Дългите разговори в крайна сметка надхвърлят прозореца. ИИ „забравя“ началото. Противоречи си. Губи контекст. Не е бъг. Фундаментално архитектурно ограничение.
Приложенията се справят с това, като отрязват старите съобщения. Обобщават ги. Или просто ги изхвърлят. Разговорът ви изглежда непрекъснат. Под повърхността информацията постоянно се изхвърля.
Ефективност на паметта (двоична срещу плаваща запетая)
Използването на памет има значение. Особено на периферни устройства. Двоичните мрежи променят уравнението:
Модели с плаваща запетая:
Всяко тегло: 16 бита (FP16) е стандарт за съвременния ИИ. Милиарди тегла. Сметнете:
1 милиард параметъра × 16 бита = 2GB само за теглата. Плюс активации. Плюс състояние на оптимизатора по време на обучение. Паметта експлодира.
За извод (inference) все още ви трябват 2 GB за модел с 1B параметри във FP16. Периферните устройства се затрудняват. Телефоните не могат да се справят. Компресията е необходима.
Двоични модели:
Всяка тежест: 1 бит. Буквално. 16 пъти по-малко памет от FP16.
1 милиард параметри × 1 бит = 125 MB. Побира се лесно на телефони. Вградени устройства. IoT. Ефективността на паметта позволява внедряване навсякъде.
Подходът на Dweve:
Двоично съхранение на ограничения. Всяко ограничение е двоичен модел. Огромно знание в минимален отпечатък в паметта. 456-те набора от специализирани ограничения на Loom се побират в работната памет на стандартен хардуер.
Не защото сме компресирали умно. А защото двоичното представяне е фундаментално по-ефективно за логически връзки.
Какво трябва да запомните
- 1. Паметта на ИИ не е човешката памет. Тежестите кодират модели. Прозорците на контекста обработват входни данни. Нито едното не работи като биологичната памет.
- 2. Прозорците на контекста имат твърди граници. Моделите буквално не могат да виждат отвъд своя прозорец. Информацията се изхвърля. Разговорите се съкращават.
- 3. Ефективността на паметта варира значително. FP16: 2 GB на милиард параметри. Двоичен: 125 MB. 16 пъти разлика. Позволява или възпрепятства внедряването.
- 4. „Запомнянето“ често е илюзия. Приложенията предоставят история на разговора. Системите за извличане намират факти. Моделът просто обработва това, което му е дадено.
- 5. Различни архитектури, различна памет. Трансформатори: едновременен контекст. RNN: последователно състояние. Системи с ограничения: дискретни връзки.
Изводът
Паметта на ИИ няма нищо общо с човешката памет. Ние помним непрекъснато, актуализираме гъвкаво, извличаме надеждно. ИИ има параметри и прозорци на контекста. Това е всичко.
Илюзията за памет идва от умело инженерство. Приложения, които предоставят отново контекста. Системи за извличане, които намират факти. Търсения в бази данни, маскирани като припомняне.
Разбирането на това ви помага да работите ефективно с ИИ. Познаване на границите. Работа в рамките им. Без да очаквате памет, подобна на човешката, от фундаментално различни системи.
Двоичните мрежи предлагат ефективност на паметта. Системите с ограничения предлагат по-добра изолация на знанието. Но нито едното не решава основния проблем: паметта на ИИ е архитектурна, не когнитивна. Параметри и прозорци, не неврони и синапси.
Искате ефективен по памет ИИ? Разгледайте Dweve Loom. Двоично представяне на ограничения. 456 специализирани набора в работната памет. Дискретни логически връзки. Вид кодиране на знание, което зачита ограниченията на паметта.