Hukommelse i AI: hvordan modeller husker

AI doesn't have memory like we do. But it needs to remember context. Here's how different AI systems handle memory, and why it matters.

Hukommelse i AI: hvordan modeller husker (og hvorfor de glemmer)

Hukommelsesillusionen

Du chatter med ChatGPT. Den husker, hvad du sagde for tre beskeder siden. Svarer sammenhængende. Bevarer konteksten. Ser ud til at have hukommelse.

Det har den ikke. Ikke rigtigt. Ikke på den måde, du tror.

AI-hukommelse er fundamentalt forskellig fra menneskelig hukommelse. At forstå, hvordan den faktisk fungerer, hvad den kan og ikke kan, betyder noget. Fordi begrænsningerne er reelle. Og ofte overraskende.

Hvad AI-hukommelse faktisk er

AI-modeller har ikke vedvarende hukommelse som mennesker. De har parametre (vægte), der er lært under træning, og de har kontekstvinduer til at behandle input.

Det er det hele. To typer "hukommelse", begge fuldstændig forskellige fra biologisk hukommelse:

1. Parametrisk hukommelse (vægtene):

Under træning lærer modellen mønstre. Disse mønstre bliver kodet i milliarder af vægte. Dette er parametrisk hukommelse. Viden, der er bagt ind i modellens struktur.

Eksempel: En sprogmodel "ved", at "Paris er Frankrigs hovedstad", fordi det mønster optrådte i træningsdataene. Viden er kodet i vægtene. Ikke gemt som tekst. Ikke hentbar som en kendsgerning. Bare... kodet som aktiveringsmønstre.

2. Konteksthukommelse (inputtet):

Når du bruger modellen, giver du input. Modellen behandler dette input. For konversationel AI er hele din samtalehistorik en del af inputtet. Det er konteksthukommelse.

Modellen husker ikke dine tidligere beskeder. Du (eller applikationen) giver dem igen med hver ny besked. Modellen behandler alt forfra hver gang. Det ligner hukommelse. Det er faktisk gentagelse.

AI-hukommelse deler sig i trænede vægte og gensendt kontekst; ingen af delene er en menneskelig form for erindring.

Kontekstvinduer (hukommelsesgrænsen)

Konteksthukommelse har en hård grænse: kontekstvinduets størrelse.

Modeller kan kun behandle et fast antal tokens ad gangen. GPT-4: 8K eller 32K tokens. Claude: 100K tokens. Llama: 4K-8K tokens.

Når du overskrider kontekstvinduet, kan modellen bogstaveligt talt ikke se tidligere information. Den er væk. Glemt. Ikke fordi modellen glemte det, men fordi det ikke kan være i inputtet.

Hvad dette betyder i praksis:

Lange samtaler overskrider til sidst vinduet. AI'en "glemmer" begyndelsen. Modsiger sig selv. Mister konteksten. Ikke en fejl. En fundamental arkitektonisk begrænsning.

Applikationer håndterer dette ved at afkorte gamle beskeder. Opsummere dem. Eller bare droppe dem. Din samtale føles kontinuerlig. Under overfladen bliver information konstant kasseret.

Kontekstvinduet er en hård ramme: når samtalen ikke længere kan være der, forsvinder tidligere tokens fra direkte syn.

Hukommelseseffektivitet (binær vs. flydende komma)

Hukommelsesforbrug betyder noget. Især på edge-enheder. Binære netværk ændrer ligningen:

Modeller med flydende komma:

Hver vægt: 16 bit (FP16) er standard for moderne AI. Milliarder af vægte. Lav regnestykket:

1 milliard parametre × 16 bit = 2GB bare for vægte. Plus aktiveringer. Plus optimizer-tilstand under træning. Hukommelsen eksploderer.

Til inferens har du stadig brug for 2GB til en 1B-parameter FP16-model. Edge-enheder kæmper. Telefoner kan ikke håndtere det. Komprimering er nødvendig.

Binære modeller:

Hver vægt: 1 bit. Bogstaveligt talt. 16× mindre hukommelse end FP16.

1 milliard parametre × 1 bit = 125MB. Passer nemt på telefoner. Indlejrede enheder. IoT. Hukommelseseffektivitet muliggør implementering overalt.

Dweve-tilgangen:

Binær begrænsningslagring. Hver begrænsning er et binært mønster. Massiv viden i et lille hukommelsesaftryk. Looms 456 domænespecialiserede begrænsningssæt passer i arbejdshukommelsen på standardhardware.

Ikke fordi vi komprimerede smart. Fordi binær repræsentation er fundamentalt mere effektiv til logiske relationer.

Hvad du skal huske

1. AI-hukommelse er ikke menneskelig hukommelse. Vægte koder mønstre. Kontekstvinduer behandler input. Ingen af delene fungerer som biologisk hukommelse.
2. Kontekstvinduer har hårde grænser. Modeller kan bogstaveligt talt ikke se ud over deres vindue. Information bliver kasseret. Samtaler afkortes.
3. Hukommelseseffektivitet varierer enormt. FP16: 2GB pr. milliard parametre. Binær: 125MB. 16× forskel. Muliggør eller forhindrer implementering.
4. "At huske" er ofte en illusion. Applikationer leverer samtalehistorik. Hentningssystemer henter fakta. Modellen behandler bare det, den får.
5. Forskellige arkitekturer, forskellig hukommelse. Transformere: samtidig kontekst. RNN'er: sekventiel tilstand. Begrænsningssystemer: diskrete relationer.

FP16 og binær lagring er ikke mindre implementeringsvalg; aftrykket afgør, om implementeringen passer til enheden.

Bundlinjen

AI-hukommelse er slet ikke som menneskelig hukommelse. Vi husker kontinuerligt, opdaterer fleksibelt, henter pålideligt. AI har parametre og kontekstvinduer. Det er det.

Illusionen om hukommelse kommer fra smart ingeniørarbejde. Applikationer, der genleverer kontekst. Hentningssystemer, der henter fakta. Databaseslag opsøgt som genkaldelse.

At forstå dette hjælper dig med at arbejde effektivt med AI. At kende grænserne. At arbejde inden for dem. Ikke at forvente menneskelignende hukommelse fra fundamentalt forskellige systemer.

Binære netværk tilbyder hukommelseseffektivitet. Begrænsningssystemer tilbyder bedre vidensisolation. Men ingen af delene løser det grundlæggende problem: AI-hukommelse er arkitektonisk, ikke kognitiv. Parametre og vinduer, ikke neuroner og synapser.

Vil du have hukommelseseffektiv AI? Udforsk Dweve Loom. Binær begrænsningsrepræsentation. 456 domænespecialiserede sæt i arbejdshukommelsen. Diskrete logiske relationer. Den slags videnskodning, der respekterer hukommelsesbegrænsninger.

Følelsen af genkaldelse kommer normalt fra orkestrering omkring modellen: kontekst, hentning, databaser og en frisk prompt.