Kako si modeli zapomnijo (in zakaj pozabijo)
Iluzija spomina
Klepetate s ChatGPT. Zapomni si, kaj ste povedali pred tremi sporočili. Odgovarja razumljivo. Ohranja kontekst. Zdi se, da ima spomin.
Pa ga nima. Ne zares. Ne tako, kot si mislite.
Spomin umetne inteligence je bistveno drugačen od človeškega spomina. Razumevanje, kako dejansko deluje, kaj zmore in česa ne, je pomembno. Ker so omejitve resnične. In pogosto presenetljive.
Kaj spomin umetne inteligence dejansko je
Modeli umetne inteligence nimajo trajnega spomina kot ljudje. Imajo parametre (uteži), naučene med usposabljanjem, in kontekstna okna za obdelavo vhodnih podatkov.
To je vse. Dve vrsti »spomina«, obe popolnoma drugačni od biološkega spomina:
1. Parametrični spomin (uteži):
Med usposabljanjem se model uči vzorcev. Ti vzorci so kodirani v milijardah uteži. To je parametrični spomin. Znanje, vgrajeno v strukturo modela.
Primer: jezikovni model »ve«, da je »Pariz glavno mesto Francije«, ker se je ta vzorec pojavil v podatkih za usposabljanje. Znanje je kodirano v utežeh. Ni shranjeno kot besedilo. Ni ga mogoče priklicati kot dejstvo. Samo ... kodirano kot vzorci aktivacije.
2. Kontekstni spomin (vhodni podatki):
Ko uporabljate model, mu zagotovite vhodne podatke. Model te podatke obdela. Pri pogovorni umetni inteligenci je celotna zgodovina pogovora del vhodnih podatkov. To je kontekstni spomin.
Model si ne zapomni vaših prejšnjih sporočil. Vi (ali aplikacija) jih znova zagotovite ob vsakem novem sporočilu. Model vsakič obdela vse na novo. Videti je kot spomin. V resnici je ponavljanje.
Kontekstna okna (omejitev spomina)
Kontekstni spomin ima strogo omejitev: velikost kontekstnega okna.
Modeli lahko hkrati obdelajo le določeno število žetonov. GPT-4: 8K ali 32K žetonov. Claude: 100K žetonov. Llama: 4K-8K žetonov.
Ko presežete kontekstno okno, model dobesedno ne more videti prejšnjih informacij. Izginejo. Pozabljene so. Ne zato, ker bi model pozabil, ampak ker se ne morejo prilegati v vhodne podatke.
Kaj to pomeni v praksi:
Dolgi pogovori sčasoma presežejo okno. Umetna inteligenca »pozabi« začetek. Si nasprotuje. Izgubi kontekst. Ni napaka. Temeljna arhitekturna omejitev.
Aplikacije to rešujejo tako, da okrnijo stara sporočila. Jih povzamejo. Ali pa jih preprosto zavržejo. Vaš pogovor se zdi neprekinjen. V ozadju se informacije nenehno zavržejo.
Učinkovitost spomina (binarno proti plavajoči vejici)
Poraba spomina je pomembna. Še posebej na robnih napravah. Binarne mreže spremenijo enačbo:
Modeli s plavajočo vejico:
Vsaka utež: 16 bitov (FP16) je standard za sodobno umetno inteligenco. Milijarde uteži. Izračunajte:
1 milijarda parametrov × 16 bitov = 2 GB samo za uteži. Plus aktivacije. Plus stanje optimizatorja med usposabljanjem. Spomin eksplodira.
Za sklepanje še vedno potrebujete 2 GB za model FP16 z 1 milijardo parametrov. Robne naprave imajo težave. Telefoni tega ne zmorejo. Kompresija je nujna.
Binarni modeli:
Vsaka utež: 1 bit. Dobesedno. 16× manj pomnilnika kot FP16.
1 milijarda parametrov × 1 bit = 125 MB. Brez težav gre na telefone. Vgrajene naprave. IoT. Pomnilniška učinkovitost omogoča namestitev povsod.
Pristop Dweve:
Shranjevanje binarnih omejitev. Vsaka omejitev je binarni vzorec. Ogromno znanja v drobnem pomnilniškem odtisu. Loomovih 456 naborov omejitev za posamezna področja se prilega v delovni pomnilnik običajne strojne opreme.
Ne zato, ker bi pametno stiskali. Ker je binarna predstavitev za logične odnose bistveno učinkovitejša.
Kaj si morate zapomniti
- 1. Pomnilnik AI ni človeški pomnilnik. Uteži kodirajo vzorce. Kontekstna okna obdelujejo vnose. Nobeno od tega ne deluje kot biološki pomnilnik.
- 2. Kontekstna okna imajo trde meje. Modeli dobesedno ne vidijo čez svoje okno. Informacije se zavržejo. Pogovori se okrnijo.
- 3. Pomnilniška učinkovitost se zelo razlikuje. FP16: 2 GB na milijardo parametrov. Binarno: 125 MB. 16× razlika. Omogoča ali preprečuje namestitev.
- 4. »Pomnjenje« je pogosto iluzija. Aplikacije zagotavljajo zgodovino pogovora. Iskalni sistemi pridobivajo dejstva. Model samo obdela, kar dobi.
- 5. Različne arhitekture, različen pomnilnik. Transformatorji: sočasni kontekst. RNN: zaporedno stanje. Sistemi omejitev: diskretni odnosi.
Bistvo
Pomnilnik AI ni prav nič podoben človeškemu pomnilniku. Mi se spominjamo neprekinjeno, posodabljamo prilagodljivo, priklicujemo zanesljivo. AI ima parametre in kontekstna okna. To je vse.
Iluzija pomnjenja izvira iz pametnega inženirstva. Aplikacije znova zagotavljajo kontekst. Iskalni sistemi pridobivajo dejstva. Poizvedbe po bazah se pretvarjajo, da so priklic.
Razumevanje tega vam pomaga učinkovito delati z AI. Poznavanje mej. Delovanje znotraj njih. Brez pričakovanj, da bo pomnilnik podoben človeškemu pri sistemih, ki so bistveno drugačni.
Binarna omrežja ponujajo pomnilniško učinkovitost. Sistemi omejitev ponujajo boljšo izolacijo znanja. A nobeno ne reši temeljnega problema: pomnilnik AI je arhitekturen, ne kognitiven. Parametri in okna, ne nevroni in sinapse.
Želite pomnilniško učinkovit AI? Raziščite Dweve Loom. Binarna predstavitev omejitev. 456 naborov za posamezna področja v delovnem pomnilniku. Diskretni logični odnosi. Vrsta kodiranja znanja, ki upošteva pomnilniške omejitve.