Paměť v AI: jak si modely pamatují (a proč zapomínají)
Iluze paměti
Chatujete s ChatGPT. Pamatuje si, co jste řekli před třemi zprávami. Odpovídá souvisle. Udržuje kontext. Zdá se, že má paměť.
Nemá. Ne doopravdy. Ne tak, jak si myslíte.
Paměť umělé inteligence se zásadně liší od lidské paměti. Pochopení toho, jak skutečně funguje, co umí a co ne, je důležité. Protože omezení jsou reálná. A často překvapivá.
Co je paměť umělé inteligence ve skutečnosti
Modely umělé inteligence nemají trvalou paměť jako lidé. Mají parametry (váhy) naučené během trénování a mají kontextová okna pro zpracování vstupů.
To je vše. Dva typy „paměti", oba zcela odlišné od biologické paměti:
1. Parametrická paměť (váhy):
Během trénování se model učí vzorce. Tyto vzorce jsou zakódovány v miliardách vah. To je parametrická paměť. Znalosti vložené do struktury modelu.
Příklad: Jazykový model „ví", že „Paříž je hlavní město Francie", protože se tento vzorec objevil v trénovacích datech. Znalost je zakódována ve vahách. Není uložena jako text. Nelze ji vyvolat jako fakt. Jen... zakódována jako vzorce aktivace.
2. Kontextová paměť (vstup):
Když model používáte, poskytujete mu vstup. Model tento vstup zpracovává. U konverzační umělé inteligence je celá historie vaší konverzace součástí vstupu. To je kontextová paměť.
Model si vaše předchozí zprávy nepamatuje. Vy (nebo aplikace) je poskytujete znovu s každou novou zprávou. Model vše pokaždé zpracovává znovu. Vypadá to jako paměť. Ve skutečnosti je to opakování.
Kontextová okna (limit paměti)
Kontextová paměť má tvrdý limit: velikost kontextového okna.
Modely mohou najednou zpracovat pouze pevné množství tokenů. GPT-4: 8K nebo 32K tokenů. Claude: 100K tokenů. Llama: 4K-8K tokenů.
Jakmile překročíte kontextové okno, model doslova nemůže vidět dřívější informace. Jsou pryč. Zapomenuté. Ne proto, že by model zapomněl, ale proto, že se nevejdou do vstupu.
Co to znamená v praxi:
Dlouhé konverzace nakonec okno překročí. Umělá inteligence „zapomene" začátek. Odporuje si. Ztrácí kontext. Není to chyba. Je to zásadní architektonické omezení.
Aplikace to řeší zkracováním starých zpráv. Shrnutím. Nebo je prostě zahazují. Vaše konverzace působí plynule. Pod povrchem se informace neustále zahazují.
Efektivita paměti (binární vs. s plovoucí desetinnou čárkou)
Využití paměti je důležité. Zejména na okrajových zařízeních. Binární sítě mění rovnováhu:
Modely s plovoucí desetinnou čárkou:
Každá váha: 16 bitů (FP16) je standardem pro moderní umělou inteligenci. Miliardy vah. Spočítejte si to:
1 miliarda parametrů × 16 bitů = 2 GB jen na váhy. Plus aktivace. Plus stav optimalizátoru během trénování. Paměť exploduje.
Pro inferenci stále potřebujete 2 GB pro model FP16 s 1 miliardou parametrů. Edge zařízení mají problém. Telefony to nezvládnou. Komprese je nutná.
Binární modely:
Každá váha: 1 bit. Doslova. 16× méně paměti než FP16.
1 miliarda parametrů × 1 bit = 125 MB. Snadno se vejde do telefonů. Vestavěných zařízení. IoT. Paměťová efektivita umožňuje nasazení všude.
Přístup Dweve:
Binární úložiště omezení. Každé omezení je binární vzor. Obrovské znalosti v nepatrné paměťové stopě. 456 doménově specializovaných sad omezení Loom se vejde do pracovní paměti na běžném hardwaru.
Ne proto, že jsme chytře komprimovali. Protože binární reprezentace je pro logické vztahy zásadně efektivnější.
Co si zapamatovat
- 1. Paměť AI není lidská paměť. Váhy kódují vzory. Kontextová okna zpracovávají vstupy. Ani jedno nefunguje jako biologická paměť.
- 2. Kontextová okna mají pevné limity. Modely doslova nevidí za své okno. Informace se zahazují. Konverzace se zkracují.
- 3. Paměťová efektivita se výrazně liší. FP16: 2 GB na miliardu parametrů. Binární: 125 MB. 16× rozdíl. Umožňuje nebo znemožňuje nasazení.
- 4. „Pamatování" je často iluze. Aplikace poskytují historii konverzace. Vyhledávací systémy získávají fakta. Model jen zpracovává, co dostane.
- 5. Různé architektury, různá paměť. Transformery: simultánní kontext. RNN: sekvenční stav. Systémy omezení: diskrétní vztahy.
Závěr
Paměť AI se vůbec nepodobá lidské paměti. My si pamatujeme průběžně, aktualizujeme flexibilně, vybavujeme spolehlivě. AI má parametry a kontextová okna. To je vše.
Iluze paměti pochází z chytrého inženýrství. Aplikace znovu poskytují kontext. Vyhledávací systémy získávají fakta. Databázová vyhledávání vydávající se za vybavování.
Porozumění tomu vám pomůže efektivně pracovat s AI. Znát limity. Pracovat v jejich rámci. Neočekávat lidskou paměť od zásadně odlišných systémů.
Binární sítě nabízejí paměťovou efektivitu. Systémy omezení nabízejí lepší izolaci znalostí. Ale ani jedno neřeší základní problém: paměť AI je architektonická, ne kognitivní. Parametry a okna, ne neurony a synapse.
Chcete paměťově efektivní AI? Prozkoumejte Dweve Loom. Binární reprezentace omezení. 456 doménově specializovaných sad v pracovní paměti. Diskrétní logické vztahy. Takové kódování znalostí, které respektuje paměťová omezení.