Muisti tekoälyssä: miten mallit muistavat (ja miksi ne unohtavat)
Muistin illuusio
Keskustelet ChatGPT:n kanssa. Se muistaa, mitä sanoit kolme viestiä sitten. Vastaa johdonmukaisesti. Ylläpitää kontekstia. Vaikuttaa siltä, että sillä on muisti.
Sillä ei ole. Ei oikeasti. Ei sillä tavalla kuin luulet.
Tekoälyn muisti on perustavanlaatuisesti erilaista kuin ihmisen muisti. Sen ymmärtäminen, miten se oikeasti toimii, mihin se pystyy ja mihin ei, on tärkeää. Koska rajoitukset ovat todellisia. Ja usein yllättäviä.
Mitä tekoälyn muisti oikeasti on
Tekoälymalleilla ei ole pysyvää muistia kuten ihmisillä. Niillä on parametrit (painot), jotka on opittu harjoituksen aikana, ja niillä on konteksti-ikkunat syötteiden käsittelyä varten.
Siinä kaikki. Kaksi "muistin" tyyppiä, jotka molemmat ovat täysin erilaisia kuin biologinen muisti:
1. Parametrinen muisti (painot):
Harjoituksen aikana malli oppii kaavoja. Nämä kaavat koodautuvat miljardeihin painoihin. Tämä on parametrista muistia. Tietoa, joka on leivottu mallin rakenteeseen.
Esimerkki: Kielimalli "tietää", että "Pariisi on Ranskan pääkaupunki", koska tämä kaava esiintyi harjoitusdatassa. Tieto on koodattu painoihin. Ei tallennettu tekstinä. Ei haettavissa faktana. Vain... koodattu aktivaatiokaavoina.
2. Kontekstimuisti (syöte):
Kun käytät mallia, annat sille syötteen. Malli käsittelee syötteen. Keskustelua käyttävässä tekoälyssä koko keskusteluhistoriasi on osa syötettä. Tämä on kontekstimuistia.
Malli ei muista aikaisempia viestejäsi. Sinä (tai sovellus) annat ne uudelleen joka uuden viestin yhteydessä. Malli käsittelee kaiken alusta alkaen joka kerta. Se näyttää muistilta. Se on oikeasti toistoa.
Konteksti-ikkunat (muistin raja)
Kontekstimuistilla on kova raja: konteksti-ikkunan koko.
Mallit pystyvät käsittelemään vain kiinteän määrän tokeneita kerrallaan. GPT-4: 8 000 tai 32 000 tokenia. Claude: 100 000 tokenia. Llama: 4 000-8 000 tokenia.
Kun konteksti-ikkuna ylittyy, malli ei kirjaimellisesti pysty näkemään aikaisempaa tietoa. Se on poissa. Unohdettu. Ei siksi, että malli unohti, vaan koska se ei mahdu syötteeseen.
Mitä tämä tarkoittaa käytännössä:
Pitkät keskustelut ylittävät lopulta ikkunan. Tekoäly "unohtaa" alun. On ristiriidassa itsensä kanssa. Menettää kontekstin. Ei ole bugi. Perustavanlaatuinen arkkitehtoninen rajoitus.
Sovellukset käsittelevät tämän katkaisemalla vanhat viestit. Tiivistämällä ne. Tai vain pudottamalla ne. Keskustelusi tuntuu jatkuvalta. Pintakerroksen alla tietoa hylätään jatkuvasti.
Muistin tehokkuus (binääri vs. liukuluku)
Muistin käyttö on tärkeää. Erityisesti reunalaitteissa. Binääriset verkot muuttavat yhtälön:
Liukulukumallit:
Jokainen paino: 16 bittiä (FP16) on standardi nykyaikaiselle tekoälylle. Miljardeja painoja. Laske:
1 miljardi parametria × 16 bittiä = 2 gigatavua pelkkiin painoihin. Plus aktivaatiot. Plus optimoijan tila harjoituksen aikana. Muisti räjähtää.
Päättelyä varten tarvitset silti 2 Gt muistia 1 miljardin parametrin FP16-mallille. Reunalaitteet kamppailevat. Puhelimet eivät pysty siihen. Pakkaus on välttämätöntä.
Binaarimallit:
Jokainen paino: 1 bitti. Kirjaimellisesti. 16 kertaa vähemmän muistia kuin FP16.
1 miljardi parametria × 1 bitti = 125 Mt. Mahtuu helposti puhelimiin. Sulautettuihin laitteisiin. IoT:hen. Muistitehokkuus mahdollistaa käyttöönoton kaikkialla.
Dweven lähestymistapa:
Binaarinen rajoitemuisti. Jokainen rajoite on binaarinen kuvio. Valtava määrä tietoa pienessä muistijalanjäljessä. Loomin 456 toimialakohtaista rajoitesarjaa mahtuvat työmuistiin tavallisessa laitteistossa.
Ei siksi, että pakkasimme fiksusti. Koska binaariesitys on perustavanlaatuisesti tehokkaampi loogisille suhteille.
Mitä Sinun Tulee Muistaa
- 1. Tekoälyn muisti ei ole ihmisen muistia. Painot koodaavat kuvioita. Konteksti-ikkunat käsittelevät syötteitä. Kumpikaan ei toimi kuin biologinen muisti.
- 2. Konteksti-ikkunoilla on kovat rajat. Mallit eivät kirjaimellisesti näe ikkunansa ulkopuolelle. Tietoa hylätään. Keskusteluja katkaistaan.
- 3. Muistitehokkuus vaihtelee valtavasti. FP16: 2 Gt per miljardi parametria. Binaarinen: 125 Mt. 16-kertainen ero. Mahdollistaa tai estää käyttöönoton.
- 4. "Muistaminen" on usein illuusio. Sovellukset tarjoavat keskusteluhistorian. Hakujärjestelmät noutavat faktoja. Malli vain käsittelee sen, mitä sille annetaan.
- 5. Eri arkkitehtuurit, erilainen muisti. Transformers: samanaikainen konteksti. RNN:t: peräkkäinen tila. Rajoitejärjestelmät: diskreetit suhteet.
Lopputulos
Tekoälyn muisti ei ole mitään verrattavissa ihmisen muistiin. Me muistamme jatkuvasti, päivitämme joustavasti, haemme luotettavasti. Tekoälyllä on parametrit ja konteksti-ikkunat. Siinä kaikki.
Muistin illuusio syntyy fiksusta tekniikasta. Sovellukset tarjoavat kontekstin uudelleen. Hakujärjestelmät noutavat faktoja. Tietokantahaut esiintyvät muistamisena.
Tämän ymmärtäminen auttaa sinua työskentelemään tekoälyn kanssa tehokkaasti. Rajojen tunteminen. Niiden puitteissa toimiminen. Ei odoteta ihmismäistä muistia perustavanlaatuisesti erilaisilta järjestelmiltä.
Binaariverkot tarjoavat muistitehokkuutta. Rajoitejärjestelmät tarjoavat paremman tiedon eristämisen. Mutta kumpikaan ei ratkaise perusongelmaa: tekoälyn muisti on arkkitehtonista, ei kognitiivista. Parametreja ja ikkunoita, ei neuroneja ja synapseja.
Haluatko muistitehokkaan tekoälyn? Tutustu Dweve Loomiin. Binaarinen rajoite-esitys. 456 toimialakohtaista sarjaa työmuistissa. Diskreetit loogiset suhteet. Sellaista tiedon koodausta, joka kunnioittaa muistirajoitteita.