Μνήμη στην Τεχνητή Νοημοσύνη: πώς θυμούνται τα μοντέλα (και γιατί ξεχνούν)
Η Ψευδαίσθηση της Μνήμης
Μιλάς με το ChatGPT. Θυμάται τι είπες πριν από τρία μηνύματα. Απαντά με συνοχή. Διατηρεί το πλαίσιο. Φαίνεται να έχει μνήμη.
Δεν έχει. Όχι πραγματικά. Όχι όπως νομίζεις.
Η μνήμη της τεχνητής νοημοσύνης είναι θεμελιωδώς διαφορετική από την ανθρώπινη μνήμη. Το να καταλάβεις πώς λειτουργεί στην πραγματικότητα, τι μπορεί και τι δεν μπορεί να κάνει, έχει σημασία. Γιατί οι περιορισμοί είναι πραγματικοί. Και συχνά εκπληκτικοί.
Τι Είναι Στην Πραγματικότητα η Μνήμη της ΤΝ
Τα μοντέλα ΤΝ δεν έχουν μόνιμη μνήμη όπως οι άνθρωποι. Έχουν παραμέτρους (βάρη) που μαθαίνονται κατά την εκπαίδευση, και έχουν παράθυρα περιβάλλοντος για την επεξεργασία των εισόδων.
Αυτό είναι όλο. Δύο τύποι «μνήμης», και οι δύο εντελώς διαφορετικοί από τη βιολογική μνήμη:
1. Παραμετρική Μνήμη (Τα Βάρη):
Κατά την εκπαίδευση, το μοντέλο μαθαίνει μοτίβα. Αυτά τα μοτίβα κωδικοποιούνται σε δισεκατομμύρια βάρη. Αυτή είναι η παραμετρική μνήμη. Γνώση ενσωματωμένη στη δομή του μοντέλου.
Παράδειγμα: Ένα γλωσσικό μοντέλο «γνωρίζει» ότι «το Παρίσι είναι η πρωτεύουσα της Γαλλίας» επειδή αυτό το μοτίβο εμφανίστηκε στα δεδομένα εκπαίδευσης. Η γνώση είναι κωδικοποιημένη στα βάρη. Δεν αποθηκεύεται ως κείμενο. Δεν ανακτάται ως γεγονός. Απλώς... κωδικοποιείται ως μοτίβα ενεργοποίησης.
2. Μνήμη Περιβάλλοντος (Η Είσοδος):
Όταν χρησιμοποιείς το μοντέλο, παρέχεις είσοδο. Το μοντέλο επεξεργάζεται αυτή την είσοδο. Για τη συνομιλητική ΤΝ, ολόκληρο το ιστορικό της συνομιλίας σου αποτελεί μέρος της εισόδου. Αυτή είναι η μνήμη περιβάλλοντος.
Το μοντέλο δεν θυμάται τα προηγούμενα μηνύματά σου. Εσύ (ή η εφαρμογή) τα παρέχεις ξανά με κάθε νέο μήνυμα. Το μοντέλο επεξεργάζεται τα πάντα από την αρχή κάθε φορά. Μοιάζει με μνήμη. Στην πραγματικότητα είναι επανάληψη.
Παράθυρα Περιβάλλοντος (Το Όριο Μνήμης)
Η μνήμη περιβάλλοντος έχει ένα αυστηρό όριο: το μέγεθος του παραθύρου περιβάλλοντος.
Τα μοντέλα μπορούν να επεξεργαστούν μόνο ένα σταθερό ποσό token κάθε φορά. GPT-4: 8K ή 32K token. Claude: 100K token. Llama: 4K-8K token.
Μόλις υπερβείς το παράθυρο περιβάλλοντος, το μοντέλο κυριολεκτικά δεν μπορεί να δει παλαιότερες πληροφορίες. Χάθηκαν. Ξεχάστηκαν. Όχι επειδή το μοντέλο ξέχασε, αλλά επειδή δεν χωρούν στην είσοδο.
Τι Σημαίνει Αυτό Πρακτικά:
Οι μεγάλες συνομιλίες υπερβαίνουν τελικά το παράθυρο. Η ΤΝ «ξεχνά» την αρχή. Αντιφάσκει με τον εαυτό της. Χάνει το πλαίσιο. Δεν είναι σφάλμα. Είναι θεμελιώδης αρχιτεκτονικός περιορισμός.
Οι εφαρμογές το διαχειρίζονται περικόπτοντας τα παλιά μηνύματα. Συνοψίζοντάς τα. Ή απλώς απορρίπτοντάς τα. Η συνομιλία σου φαίνεται συνεχής. Κάτω από την επιφάνεια, πληροφορίες απορρίπτονται συνεχώς.
Αποδοτικότητα Μνήμης (Δυαδικό vs. Κινητής Υποδιαστολής)
Η χρήση μνήμης έχει σημασία. Ειδικά σε συσκευές αιχμής. Τα δυαδικά δίκτυα αλλάζουν την εξίσωση:
Μοντέλα Κινητής Υποδιαστολής:
Κάθε βάρος: 16 bit (FP16) είναι το πρότυπο για τη σύγχρονη ΤΝ. Δισεκατομμύρια βάρη. Κάνε τα μαθηματικά:
1 δισεκατομμύριο παράμετροι × 16 bit = 2GB μόνο για τα βάρη. Συν τις ενεργοποιήσεις. Συν την κατάσταση βελτιστοποίησης κατά την εκπαίδευση. Η μνήμη εκρήγνυται.
Για το inference, χρειάζεστε ακόμα 2GB για ένα μοντέλο FP16 με 1 δισεκατομμύριο παραμέτρους. Οι συσκευές άκρου δυσκολεύονται. Τα τηλέφωνα δεν μπορούν να το διαχειριστούν. Η συμπίεση είναι απαραίτητη.
Δυαδικά Μοντέλα:
Κάθε βάρος: 1 bit. Κυριολεκτικά. 16× λιγότερη μνήμη από το FP16.
1 δισεκατομμύριο παράμετροι × 1 bit = 125MB. Χωράει άνετα στα τηλέφωνα. Ενσωματωμένες συσκευές. IoT. Η αποδοτικότητα μνήμης επιτρέπει την ανάπτυξη παντού.
Η Προσέγγιση Dweve:
Δυαδική αποθήκευση περιορισμών. Κάθε περιορισμός είναι ένα δυαδικό μοτίβο. Τεράστια γνώση σε εξαιρετικά μικρό αποτύπωμα μνήμης. Τα 456 σύνολα περιορισμών ειδικών τομέων του Loom χωρούν στη μνήμη εργασίας σε τυπικό υλικό.
Όχι επειδή συμπιέσαμε έξυπνα. Επειδή η δυαδική αναπαράσταση είναι θεμελιωδώς πιο αποδοτική για λογικές σχέσεις.
Τι Πρέπει να Θυμάστε
- 1. Η μνήμη AI δεν είναι ανθρώπινη μνήμη. Τα βάρη κωδικοποιούν μοτίβα. Τα παράθυρα περιβάλλοντος επεξεργάζονται εισόδους. Τίποτα από τα δύο δεν λειτουργεί σαν βιολογική μνήμη.
- 2. Τα παράθυρα περιβάλλοντος έχουν αυστηρά όρια. Τα μοντέλα κυριολεκτικά δεν μπορούν να δουν πέρα από το παράθυρό τους. Οι πληροφορίες απορρίπτονται. Οι συνομιλίες περικόπτονται.
- 3. Η αποδοτικότητα μνήμης ποικίλλει τεράστια. FP16: 2GB ανά δισεκατομμύριο παραμέτρους. Δυαδικό: 125MB. Διαφορά 16×. Επιτρέπει ή εμποδίζει την ανάπτυξη.
- 4. Το «θυμάμαι» είναι συχνά ψευδαίσθηση. Οι εφαρμογές παρέχουν ιστορικό συνομιλίας. Τα συστήματα ανάκτησης ανακτούν γεγονότα. Το μοντέλο απλώς επεξεργάζεται ό,τι του δίνεται.
- 5. Διαφορετικές αρχιτεκτονικές, διαφορετική μνήμη. Transformers: ταυτόχρονο περιβάλλον. RNNs: διαδοχική κατάσταση. Συστήματα περιορισμών: διακριτές σχέσεις.
Η Ουσία
Η μνήμη AI δεν μοιάζει καθόλου με την ανθρώπινη μνήμη. Εμείς θυμόμαστε συνεχώς, ενημερωνόμαστε ευέλικτα, ανακαλούμε αξιόπιστα. Το AI έχει παραμέτρους και παράθυρα περιβάλλοντος. Αυτό είναι όλο.
Η ψευδαίσθηση της μνήμης προέρχεται από έξυπνη μηχανική. Εφαρμογές που επαναπαρέχουν περιβάλλον. Συστήματα ανάκτησης που ανακτούν γεγονότα. Αναζητήσεις βάσεων δεδομένων που υποδύονται την ανάκληση.
Η κατανόηση αυτού σας βοηθά να εργάζεστε αποτελεσματικά με το AI. Να γνωρίζετε τα όρια. Να εργάζεστε εντός τους. Να μην περιμένετε ανθρώπινη μνήμη από θεμελιωδώς διαφορετικά συστήματα.
Τα δυαδικά δίκτυα προσφέρουν αποδοτικότητα μνήμης. Τα συστήματα περιορισμών προσφέρουν καλύτερη απομόνωση γνώσης. Αλλά κανένα δεν λύνει το θεμελιώδες πρόβλημα: η μνήμη AI είναι αρχιτεκτονική, όχι γνωστική. Παράμετροι και παράθυρα, όχι νευρώνες και συνάψεις.
Θέλετε AI με αποδοτική μνήμη; Εξερευνήστε το Dweve Loom. Δυαδική αναπαράσταση περιορισμών. 456 σύνολα ειδικών τομέων στη μνήμη εργασίας. Διακριτές λογικές σχέσεις. Το είδος κωδικοποίησης γνώσης που σέβεται τους περιορισμούς μνήμης.