Atmiņa mākslīgajā intelektā: kā modeļi atceras (un kāpēc aizmirst)
The Memory Illusion
Tu tērzē ar ChatGPT. Tas atceras, ko teici pirms trim ziņojumiem. Atbild sakarīgi. Saglabā kontekstu. Šķiet, ka tam ir atmiņa.
Tā nav. Ne īsti. Ne tā, kā tu domā.
Mākslīgā intelekta atmiņa būtiski atšķiras no cilvēka atmiņas. Saprast, kā tā patiesībā darbojas, ko tā spēj un ko nespēj, ir svarīgi. Jo ierobežojumi ir reāli. Un bieži vien pārsteidzoši.
Kas īsti ir mākslīgā intelekta atmiņa
Mākslīgā intelekta modeļiem nav pastāvīgas atmiņas kā cilvēkiem. Tiem ir parametri (svari), kas apgūti apmācības laikā, un konteksta logi ievades apstrādei.
Tas arī viss. Divu veidu "atmiņa", un abas pilnīgi atšķiras no bioloģiskās atmiņas:
1. Parametriskā atmiņa (svari):
Apmācības laikā modelis apgūst modeļus. Šie modeļi tiek iekodēti miljardos svaru. Tā ir parametriskā atmiņa. Zināšanas, kas iebūvētas modeļa struktūrā.
Piemērs: valodas modelis "zina", ka "Parīze ir Francijas galvaspilsēta", jo šis modelis parādījās apmācības datos. Zināšanas ir iekodētas svaros. Nevis glabātas kā teksts. Nevis izgūstamas kā fakts. Vienkārši... iekodētas kā aktivācijas modeļi.
2. Konteksta atmiņa (ievade):
Kad tu lieto modeli, tu sniedz ievadi. Modelis apstrādā šo ievadi. Sarunu mākslīgajam intelektam visa tava sarunu vēsture ir daļa no ievades. Tā ir konteksta atmiņa.
Modelis neatceras tavus iepriekšējos ziņojumus. Tu (vai lietotne) tos sniedz atkal ar katru jaunu ziņojumu. Modelis katru reizi visu apstrādā no jauna. Tas izskatās pēc atmiņas. Patiesībā tas ir atkārtojums.
Konteksta logi (atmiņas ierobežojums)
Konteksta atmiņai ir stingrs ierobežojums: konteksta loga lielums.
Modeļi vienlaikus var apstrādāt tikai noteiktu daudzumu tokenu. GPT-4: 8K vai 32K tokenu. Claude: 100K tokenu. Llama: 4K-8K tokenu.
Kad pārsniedz konteksta logu, modelis burtiski vairs nevar redzēt agrāko informāciju. Tā ir pazudusi. Aizmirsta. Ne tāpēc, ka modelis aizmirsis, bet tāpēc, ka tā neietilpst ievadē.
Ko tas nozīmē praksē:
Garas sarunas galu galā pārsniedz logu. Mākslīgais intelekts "aizmirst" sākumu. Pat pretrunā ar sevi. Zaudē kontekstu. Tā nav kļūda. Tas ir fundamentāls arhitektūras ierobežojums.
Lietotnes to risina, saīsinot vecos ziņojumus. Apkopojot tos. Vai vienkārši atmetot. Tava saruna šķiet nepārtraukta. Zem pārsega informācija tiek pastāvīgi izmesta.
Atmiņas efektivitāte (binārais salīdzinājumā ar peldošo komatu)
Atmiņas izmantošana ir svarīga. Īpaši malu ierīcēs. Binārie tīkli maina vienādojumu:
Peldošā komata modeļi:
Katrs svars: 16 biti (FP16) ir standarts mūsdienu mākslīgajam intelektam. Miljardi svaru. Izdari matemātiku:
1 miljards parametru × 16 biti = 2 GB tikai svaru. Plus aktivācijas. Plus optimizētāja stāvoklis apmācības laikā. Atmiņa eksplodē.
Inference joprojām prasa 2 GB 1B parametru FP16 modelim. Robežierīcēm tas ir par daudz. Telefoni to nevar paveikt. Saspiešana ir nepieciešama.
Binārie modeļi:
Katrs svars: 1 bits. Burtiski. 16× mazāk atmiņas nekā FP16.
1 miljards parametru × 1 bits = 125 MB. Viegli ietilpst telefonos. Iegultajās ierīcēs. IoT. Atmiņas efektivitāte ļauj izvietot visur.
Dweve pieeja:
Binārā ierobežojumu glabāšana. Katrs ierobežojums ir binārs modelis. Milzīgas zināšanas niecīgā atmiņas apjomā. Loom 456 nozares speciālistu ierobežojumu kopas ietilpst darba atmiņā standarta aparatūrā.
Ne tāpēc, ka mēs gudri saspiedām. Bet tāpēc, ka binārā reprezentācija loģiskām attiecībām ir fundamentāli efektīvāka.
Kas jums jāatceras
- 1. AI atmiņa nav cilvēka atmiņa. Svari kodē modeļus. Konteksta logi apstrādā ievadi. Neviens nedarbojas kā bioloģiskā atmiņa.
- 2. Konteksta logiem ir stingri ierobežojumi. Modeļi burtiski neredz tālāk par savu logu. Informācija tiek izmesta. Sarunas tiek saīsinātas.
- 3. Atmiņas efektivitāte ļoti atšķiras. FP16: 2 GB uz miljardu parametru. Binārais: 125 MB. 16× atšķirība. Nosaka, vai izvietošana ir iespējama.
- 4. "Atcerēšanās" bieži ir ilūzija. Lietotnes nodrošina sarunu vēsturi. Izguves sistēmas iegūst faktus. Modelis tikai apstrādā to, kas tam dots.
- 5. Dažādas arhitektūras, dažāda atmiņa. Transformatori: vienlaicīgs konteksts. RNN: secīgs stāvoklis. Ierobežojumu sistēmas: diskrētas attiecības.
Būtība
AI atmiņa nemaz nav līdzīga cilvēka atmiņai. Mēs atceramies nepārtraukti, atjauninām elastīgi, atgūstam uzticami. AI ir parametri un konteksta logi. Tas arī viss.
Atmiņas ilūzija rodas no gudras inženierijas. Lietotnes no jauna sniedz kontekstu. Izguves sistēmas iegūst faktus. Datu bāzes vaicājumi maskējas kā atcerēšanās.
To saprotot, jūs efektīvāk strādāsiet ar AI. Zinot robežas. Strādājot to ietvaros. Negaidot cilvēka atmiņu no fundamentāli atšķirīgām sistēmām.
Binārie tīkli piedāvā atmiņas efektivitāti. Ierobežojumu sistēmas piedāvā labāku zināšanu izolāciju. Bet neviens neatrisina pamatproblēmu: AI atmiņa ir arhitektoniska, nevis kognitīva. Parametri un logi, nevis neironi un sinapses.
Vēlaties atmiņas efektīvu AI? Iepazīstiet Dweve Loom. Binārā ierobežojumu reprezentācija. 456 nozares speciālistu kopas darba atmiņā. Diskrētas loģiskās attiecības. Tāda zināšanu kodēšana, kas respektē atmiņas ierobežojumus.