Atmintis dirbtiniame intelekte: kaip modeliai įsimena (ir kodėl pamiršta)
Atminties iliuzija
Bendraujate su ChatGPT. Jis prisimena, ką pasakėte prieš tris žinutes. Atsako nuosekliai. Išlaiko kontekstą. Atrodo, kad turi atmintį.
Neturi. Ne iš tikrųjų. Ne taip, kaip manote.
Dirbtinio intelekto atmintis iš esmės skiriasi nuo žmogaus atminties. Svarbu suprasti, kaip ji iš tikrųjų veikia, ką gali ir ko negali. Nes apribojimai yra realūs. Ir dažnai stebina.
Kas iš tikrųjų yra DI atmintis
DI modeliai neturi nuolatinės atminties kaip žmonės. Jie turi parametrus (svorius), išmoktus mokymo metu, ir konteksto langus įvestims apdoroti.
Tai ir viskas. Dvi „atminties" rūšys, abi visiškai skirtingos nuo biologinės atminties:
1. Parametrinė atmintis (svoriai):
Mokymo metu modelis išmoksta šablonus. Tie šablonai užkoduojami milijarduose svorių. Tai parametrinė atmintis. Žinios, įterptos į modelio struktūrą.
Pavyzdys: kalbos modelis „žino", kad „Paryžius yra Prancūzijos sostinė", nes tas šablonas pasirodė mokymo duomenyse. Žinios užkoduotos svoriuose. Nelaikomos kaip tekstas. Neišgaunamos kaip faktas. Tiesiog... užkoduotos kaip aktyvacijos šablonai.
2. Konteksto atmintis (įvestis):
Kai naudojate modelį, pateikiate įvestį. Modelis apdoroja tą įvestį. Pokalbio DI atveju visa jūsų pokalbio istorija yra įvesties dalis. Tai konteksto atmintis.
Modelis neprisimena jūsų ankstesnių žinučių. Jūs (arba programa) jas pateikiate iš naujo su kiekviena nauja žinute. Modelis kiekvieną kartą viską apdoroja iš naujo. Atrodo kaip atmintis. Iš tikrųjų tai kartojimas.
Konteksto langai (atminties riba)
Konteksto atmintis turi griežtą ribą: konteksto lango dydį.
Modeliai vienu metu gali apdoroti tik fiksuotą žetonų kiekį. GPT-4: 8K arba 32K žetonų. Claude: 100K žetonų. Llama: 4K-8K žetonų.
Kai viršijate konteksto langą, modelis tiesiog nebegali matyti ankstesnės informacijos. Jos nebėra. Pamiršta. Ne todėl, kad modelis pamiršo, o todėl, kad ji netelpa į įvestį.
Ką tai reiškia praktiškai:
Ilgi pokalbiai ilgainiui viršija langą. DI „pamiršta" pradžią. Prieštarauja sau. Praranda kontekstą. Ne klaida. Esminis architektūros apribojimas.
Programos tai sprendžia trumpindamos senas žinutes. Apibendrindamos jas. Arba tiesiog išmesdamos. Jūsų pokalbis atrodo nenutrūkstamas. Po gaubtu informacija nuolat atmetama.
Atminties efektyvumas (dvejetainis vs. slankiojo kablelio)
Atminties naudojimas svarbus. Ypač kraštiniuose įrenginiuose. Dvejetainiai tinklai keičia lygtį:
Slankiojo kablelio modeliai:
Kiekvienas svoris: 16 bitų (FP16) yra standartas šiuolaikiniam DI. Milijardai svorių. Paskaičiuokite:
1 milijardas parametrų × 16 bitų = 2 GB vien svoriams. Plius aktyvacijos. Plius optimizatoriaus būsena mokymo metu. Atmintis sprogsta.
Inference vis tiek reikalauja 2 GB 1B parametrų FP16 modeliui. Kraštiniai įrenginiai susiduria su sunkumais. Telefonai to nepajėgia. Suspaudimas būtinas.
Dvejetainiai modeliai:
Kiekvienas svoris: 1 bitas. Pažodžiui. 16 kartų mažiau atminties nei FP16.
1 milijardas parametrų × 1 bitas = 125 MB. Lengvai telpa telefonuose. Įterptiniuose įrenginiuose. Daiktų internete. Atminties efektyvumas įgalina diegimą visur.
Dweve metodas:
Dvejetainis apribojimų saugojimas. Kiekvienas apribojimas yra dvejetainis šablonas. Didžiulės žinios mažame atminties pėdsake. Loom 456 srities specialistų apribojimų rinkiniai telpa į darbinę atmintį standartinėje įrangoje.
Ne todėl, kad sumaniai suspaudėme. O todėl, kad dvejetainis vaizdavimas yra iš esmės efektyvesnis loginiams ryšiams.
Ką reikia įsiminti
- 1. Dirbtinio intelekto atmintis nėra žmogaus atmintis. Svoriniai koeficientai koduoja šablonus. Konteksto langai apdoroja įvestis. Nei viena neveikia kaip biologinė atmintis.
- 2. Konteksto langai turi griežtas ribas. Modeliai tiesiog negali matyti to, kas yra už jų lango ribų. Informacija išmetama. Pokalbiai trumpinami.
- 3. Atminties efektyvumas labai skiriasi. FP16: 2 GB vienam milijardui parametrų. Dvejetainis: 125 MB. 16 kartų skirtumas. Tai įgalina arba užkerta kelią diegimui.
- 4. „Įsiminimas“ dažnai yra iliuzija. Programos pateikia pokalbio istoriją. Paieškos sistemos ištraukia faktus. Modelis tiesiog apdoroja tai, kas jam duota.
- 5. Skirtingos architektūros, skirtinga atmintis. Transformeriai: vienalaikis kontekstas. RNN: nuosekli būsena. Apribojimų sistemos: atskiri ryšiai.
Esmė
Dirbtinio intelekto atmintis niekuo nepanaši į žmogaus atmintį. Mes įsimename nuolat, atnaujiname lanksčiai, prisimename patikimai. DI turi parametrus ir konteksto langus. Ir viskas.
Atminties iliuzija kyla iš sumanios inžinerijos. Programos iš naujo pateikia kontekstą. Paieškos sistemos ištraukia faktus. Duomenų bazių užklausos apsimeta prisiminimu.
Tai suprasdami, galėsite efektyviai dirbti su DI. Žinodami ribas. Dirbdami jų laikydamiesi. Nesitikėdami į žmogaus atmintį panašios atminties iš iš esmės kitokių sistemų.
Dvejetainiai tinklai siūlo atminties efektyvumą. Apribojimų sistemos siūlo geresnę žinių izoliaciją. Tačiau nei viena neišsprendžia pagrindinės problemos: DI atmintis yra architektūrinė, o ne pažintinė. Parametrai ir langai, o ne neuronai ir sinapsės.
Norite atmintį taupančio DI? Išbandykite Dweve Loom. Dvejetainis apribojimų vaizdavimas. 456 srities specialistų rinkiniai darbinėje atmintyje. Atskiri loginiai ryšiai. Toks žinių kodavimas, kuris gerbia atminties apribojimus.