Mälu tehisintellektis: kuidas mudelid mäletavad (ja miks nad unustavad)
Mälul illusioon
Vestled ChatGPT-ga. See mäletab, mida sa kolm sõnumit tagasi ütlesid. Vastab sidusalt. Hoiab konteksti. Tundub, et tal on mälu.
Tegelikult pole. Mitte päriselt. Mitte nii, nagu sa arvad.
AI mälu erineb põhimõtteliselt inimese mälust. On oluline mõista, kuidas see tegelikult töötab, mida see suudab ja mida mitte. Sest piirangud on reaalsed. Ja sageli üllatavad.
Mis AI mälu tegelikult on
AI mudelitel pole püsivat mälu nagu inimestel. Neil on parameetrid (kaalud), mis on õppimise käigus omandatud, ja neil on kontekstiaken sisendi töötlemiseks.
See on kõik. Kaks "mälu" tüüpi, mõlemad täiesti erinevad bioloogilisest mälust:
1. Parameetriline mälu (kaalud):
Treeningu käigus õpib mudel mustreid. Need mustrid kodeeritakse miljarditesse kaaludesse. See on parameetriline mälu. Teadmised, mis on mudeli struktuuri sisse küpsetatud.
Näide: keelemudel "teab", et "Pariis on Prantsusmaa pealinn", sest see muster esines treeningandmetes. Teadmine on kodeeritud kaaludesse. Ei ole salvestatud tekstina. Ei ole faktina välja võetav. Lihtsalt... kodeeritud aktiveerimismustritena.
2. Kontekstimälu (sisend):
Kui sa mudelit kasutad, esitad sa sisendi. Mudel töötleb seda sisendit. Vestlusrobotite puhul on kogu sinu vestluse ajalugu osa sisendist. See on kontekstimälu.
Mudel ei mäleta sinu varasemaid sõnumeid. Sina (või rakendus) esitad need iga uue sõnumiga uuesti. Mudel töötleb kõike iga kord värskelt. See näeb välja nagu mälu. Tegelikult on see kordamine.
Kontekstiaken (mälu piir)
Kontekstimälul on kõva piir: kontekstiakna suurus.
Mudelid suudavad korraga töödelda ainult kindla arvu tokeneid. GPT-4: 8K või 32K tokenit. Claude: 100K tokenit. Llama: 4K-8K tokenit.
Kui sa kontekstiakna ületad, ei suuda mudel varasemat infot enam näha. See on kadunud. Unustatud. Mitte sellepärast, et mudel unustas, vaid sellepärast, et see ei mahu sisendisse.
Mida see praktikas tähendab:
Pikad vestlused ületavad lõpuks akna. AI "unustab" alguse. Räägib endale vastu. Kaotab konteksti. Pole viga. Põhimõtteline arhitektuuriline piirang.
Rakendused lahendavad selle vanu sõnumeid kärpides. Neid kokku võttes. Või lihtsalt maha jättes. Sinu vestlus tundub pidev. Kapoti all visatakse infot pidevalt minema.
Mälutõhusus (binaarne vs. ujukoma)
Mälukasutus on oluline. Eriti servaseadmetel. Binaarsed võrgud muudavad võrrandit:
Ujukomamudelid:
Iga kaal: 16 bitti (FP16) on tänapäevase AI puhul standard. Miljardid kaalud. Arvuta ise:
1 miljard parameetrit × 16 bitti = 2GB ainult kaalude jaoks. Pluss aktiveerimised. Pluss optimeerija olek treeningu ajal. Mälu plahvatab.
Inferentsi jaoks on 1B parameetriga FP16 mudeli puhul siiski vaja 2GB mälu. Ääre-seadmetel on raske. Telefonid ei suuda seda töödelda. Kompressimine on vajalik.
Binaarsed mudelid:
Iga kaal: 1 bitt. Sõna otseses mõttes. 16× vähem mälu kui FP16.
1 miljard parameetrit × 1 bitt = 125MB. Mahub kergesti telefonidesse. Manustatud seadmetesse. IoT-seadmetesse. Mälu efektiivsus võimaldab juurutamist kõikjal.
Dweve lähenemine:
Binaarne piirangute salvestus. Iga piirang on binaarne muster. Suur teadmus väikeses mälumahus. Loomi 456 valdkonnaspetsiifilist piirangute komplekti mahuvad tavariistvara töömällu.
Mitte sellepärast, et me nutikalt komprimeerisime. Sellepärast, et binaarne esitus on loogiliste seoste jaoks põhimõtteliselt efektiivsem.
Mida Pead Meeles Pidama
- 1. AI mälu ei ole inimese mälu. Kaalud kodeerivad mustreid. Kontekstiaknad töötlevad sisendeid. Kumbki ei tööta nagu bioloogiline mälu.
- 2. Kontekstiakendel on karmid piirid. Mudelid ei näe sõna otseses mõttes oma aknast kaugemale. Info visatakse minema. Vestlused kärbitakse.
- 3. Mälu efektiivsus varieerub tohutult. FP16: 2GB miljardi parameetri kohta. Binaarne: 125MB. 16× vahe. Võimaldab või takistab juurutamist.
- 4. "Mäletamine" on sageli illusioon. Rakendused pakuvad vestluse ajalugu. Otsingusüsteemid toovad fakte. Mudel lihtsalt töötleb seda, mis talle antakse.
- 5. Erinevad arhitektuurid, erinev mälu. Transformers: samaaegne kontekst. RNN: järjestikune olek. Piirangusüsteemid: diskreetsed seosed.
Alumine Rida
AI mälu ei sarnane kuidagi inimese mäluga. Meie mäletame pidevalt, uuendame paindlikult, toome usaldusväärselt meelde. AI-l on parameetrid ja kontekstiaknad. Ja see on kõik.
Mälu illusioon tuleb nutikast inseneritööst. Rakendused, mis konteksti uuesti esitavad. Otsingusüsteemid, mis fakte toovad. Andmebaasipäringud, mis meenutamisena maskeeruvad.
Selle mõistmine aitab sul AI-ga tõhusalt töötada. Piiride tundmine. Nende piires töötamine. Mitte ootamas inimeselaadset mälu põhimõtteliselt erinevatelt süsteemidelt.
Binaarsed võrgud pakuvad mälu efektiivsust. Piirangusüsteemid pakuvad paremat teadmuse eraldatust. Kuid kumbki ei lahenda põhiprobleemi: AI mälu on arhitektuurne, mitte kognitiivne. Parameetrid ja aknad, mitte neuronid ja sünapsid.
Soovid mäluefektiivset AI-d? Avasta Dweve Loom. Binaarne piirangute esitus. 456 valdkonnaspetsialisti komplekti töömälus. Diskreetsed loogilised seosed. Selline teadmuse kodeerimine, mis austab mälupiiranguid.