Η Κρίση της Κατάρρευσης Μοντέλων: Γιατί η Αυτοαναπαραγωγή της Τεχνητής Νοημοσύνης θα Σκοτώσει τη Νοημοσύνη
Το πρόβλημα των Αψβούργων σε ψηφιακή μορφή
Στην ευρωπαϊκή ιστορία, ο Οίκος των Αψβούργων ήταν μία από τις ισχυρότερες βασιλικές δυναστείες. Κυβέρνησαν τεράστιες εκτάσεις για αιώνες. Αλλά είχαν ένα μοιραίο ελάττωμα: στην προσπάθειά τους να εδραιώσουν την εξουσία τους και να διατηρήσουν το αίμα τους «καθαρό», παντρεύονταν τα ξαδέρφια τους. Ανά γενεές, αυτή η επαναλαμβανόμενη ενδογαμία οδήγησε στο περίφημο «σαγόνι των Αψβούργων» και σε μια σειρά γενετικών παραμορφώσεων και προβλημάτων υγείας. Η γονιδιακή δεξαμενή έγινε πολύ μικρή, πολύ επαναλαμβανόμενη, και τελικά η δυναστεία κατέρρευσε. Ο Κάρολος Β΄ της Ισπανίας, ο τελευταίος ηγεμόνας των Αψβούργων της Ισπανικής Αυτοκρατορίας, ήταν τόσο προϊόν ενδογαμίας που μετά βίας μπορούσε να μασήσει το φαγητό του.
Το 2025, βιώνουμε το ψηφιακό αντίστοιχο αυτού του φαινομένου. Οι ερευνητές το αποκαλούν Κατάρρευση Μοντέλου.
Για την πρώτη δεκαετία της επανάστασης της Βαθιάς Μάθησης (περίπου 2012-2022), ζήσαμε σε μια Χρυσή Εποχή δεδομένων. Εκπαιδεύσαμε τα μοντέλα μας με την οργανική παραγωγή της ανθρωπότητας. Συλλέξαμε βιβλία γραμμένα από ανθρώπους συγγραφείς, κώδικα γραμμένο από ανθρώπους μηχανικούς, φόρουμ γεμάτα με ανθρώπινα επιχειρήματα, και τέχνη δημιουργημένη από ανθρώπινα χέρια. Αυτά τα δεδομένα ήταν ακατάστατα, ναι. Αλλά ήταν πλούσια. Ήταν ποικίλα. Περιείχαν τις «ουρές» της κατανομής: το παράξενο, το δημιουργικό, το απροσδόκητο. Ήταν θεμελιωμένα στη φυσική πραγματικότητα.
Αλλά τότε ήρθαν το ChatGPT, το Midjourney και το Copilot. Ξαφνικά, το κόστος δημιουργίας περιεχομένου έπεσε σχεδόν στο μηδέν. Το διαδίκτυο πλημμύρισε με κείμενο που δημιουργήθηκε από AI, εικόνες που δημιουργήθηκαν από AI, και κώδικα που δημιουργήθηκε από AI. Οι spammers του SEO χρησιμοποίησαν τα LLM για να δημιουργήσουν εκατομμύρια άρθρα «λίστας» για να μαζέψουν κλικ. Τα bots άρχισαν να μιλούν σε άλλα bots στα μέσα κοινωνικής δικτύωσης. Το LinkedIn γέμισε με αναρτήσεις γραμμένες από AI για την «ηγεσία σκέψης». Το Medium κατακλύστηκε από δοκίμια γραμμένα από AI για το AI.
Σήμερα, ένα σημαντικό και αυξανόμενο ποσοστό του δημόσιου ιστού είναι συνθετικό. Οι εκτιμήσεις υποδηλώνουν ότι έως το 2025, το 30-50% του κειμένου στο δημόσιο διαδίκτυο είχε δημιουργηθεί από AI. Και εδώ είναι το πρόβλημα: όταν συλλέγουμε δεδομένα από τον ιστό για να εκπαιδεύσουμε την επόμενη γενιά μοντέλων, αναπόφευκτα συλλέγουμε δεδομένα που δημιουργήθηκαν από τους προκατόχους τους. Ταΐζουμε το AI με τη δική του παραγωγή. Κλείνουμε τον βρόχο. Δημιουργούμε AI των Αψβούργων.
Τα Μαθηματικά της Παλινδρόμησης
Αυτό δεν είναι απλώς ένας φιλοσοφικός προβληματισμός. Είναι μαθηματική βεβαιότητα. Ερευνητές από την Οξφόρδη, το Κέιμπριτζ και το Πανεπιστήμιο του Τορόντο έχουν αποδείξει αυτό το φαινόμενο σε αυστηρές μελέτες με κριτές. Το αποκαλούν "Η Κατάρα της Αναδρομής".
Τα μαθηματικά είναι στην πραγματικότητα αρκετά κομψά στη ζοφερότητά τους. Όταν ένα πιθανοτικό μοντέλο (Μοντέλο Β) εκπαιδεύεται σε δεδομένα που παράγονται από ένα άλλο πιθανοτικό μοντέλο (Μοντέλο Α), το Μοντέλο Β μαθαίνει την προσέγγιση του Μοντέλου Α στην πραγματική κατανομή, όχι την ίδια την πραγματική κατανομή. Μαθαίνει τα σφάλματα μαζί με το σήμα.
Αλλά γίνεται χειρότερο. Η διαδικασία εκπαίδευσης του Μοντέλου Β αναδεικνύει εγγενώς τις περιοχές υψηλής πιθανότητας της εξόδου του Μοντέλου Α. Τα σπάνια γεγονότα, οι δημιουργικές ακραίες τιμές, οι "ουρές" της κατανομής, υποεκπροσωπούνται στη συνθετική έξοδο του Μοντέλου Α (επειδή, εξ ορισμού, είναι σπάνια). Έτσι, το Μοντέλο Β βλέπει ακόμη λιγότερα παραδείγματα αυτών των ουρών από όσα είδε το Μοντέλο Α. Χάνει διακύμανση.
Τώρα εκπαιδεύστε το Μοντέλο Γ στην έξοδο του Μοντέλου Β. Οι ουρές συρρικνώνονται περαιτέρω. Εκπαιδεύστε το Μοντέλο Δ στο Μοντέλο Γ. Ακόμη περισσότερο. Μετά από αρκετές γενιές, η κατανομή καταρρέει σε ένα σημείο. Όλες οι έξοδοι γίνονται ίδιες: ο "μέσος όρος" της αρχικής κατανομής, απογυμνωμένος από κάθε ποικιλομορφία.
Σκεφτείτε το σαν να κάνετε ένα φωτοαντίγραφο ενός φωτοαντιγράφου ενός φωτοαντιγράφου. Το πρώτο αντίγραφο φαίνεται αποδεκτό. Το δεύτερο είναι λίγο θολό. Μέχρι το δέκατο αντίγραφο, οι έντονες ακμές γίνονται θόρυβος, οι λεπτομέρειες ξεπλένονται και η εικόνα μετατρέπεται σε γκρίζο πολτό. Το σήμα φθίνει εκθετικά με κάθε γενιά.
Η Απώλεια των Ουρών
Στα μοντέλα τεχνητής νοημοσύνης, αυτό εκδηλώνεται ως απώλεια δημιουργικότητας και λεπτότητας. Τα μοντέλα γίνονται "μπεζ". Το γράψιμό τους γίνεται γενικό, επαναλαμβανόμενο και ασφαλές. Η τέχνη τους συγκλίνει σε μια συγκεκριμένη, γυαλιστερή, υπερβολικά φινιρισμένη αισθητική που στερείται την τραχύτητα και την υφή της πραγματικότητας. Ο κώδικάς τους γίνεται συντακτικά τέλειος αλλά λειτουργικά γενικός, χωρίς τα έξυπνα τεχνάσματα βελτιστοποίησης που θα μπορούσε να χρησιμοποιήσει ένας έμπειρος άνθρωπος.
Οι "ουρές" της κατανομής είναι εκεί όπου ζει η καινοτομία. Ο Σαίξπηρ είναι στις ουρές. Ο Αϊνστάιν είναι στις ουρές. Οι παράξενες ιδέες για νεοφυείς επιχειρήσεις που γίνονται εταιρείες δισεκατομμυρίων δολαρίων είναι στις ουρές. Όταν εξαλείφεις τις ουρές, εξαλείφεις τη δυνατότητα για μεγαλοφυΐα. Αποκτάς έναν κόσμο ικανής μετριότητας.
Ενίσχυση της Παραίσθησης
Ίσως χειρότερο από το να χάνεις τη δημιουργικότητα είναι να αποκτάς σιγουριά για το λάθος. Καθώς τα μοντέλα εκπαιδεύονται στις παραισθήσεις των προκατόχων τους, αυτά τα σφάλματα ενισχύονται. Ένα ψέμα που ειπώθηκε μία φορά είναι μια ανωμαλία. Ένα ψέμα που επαναλαμβάνεται ένα εκατομμύριο φορές στο σύνολο εκπαίδευσης γίνεται γεγονός.
Σκεφτείτε ένα υποθετικό σενάριο: Το GPT-5 παραισθάνεται ότι ένα συγκεκριμένο φάρμακο είναι ασφαλές κατά την εγκυμοσύνη (δεν είναι). Αυτή η παραίσθηση δημοσιεύεται σε χιλιάδες άρθρα υγείας που δημιουργούνται από τεχνητή νοημοσύνη. Το GPT-6 εκπαιδεύεται σε αυτά τα άρθρα. Τώρα «πιστεύει» αυτό το ψευδές γεγονός με ακόμη μεγαλύτερη σιγουριά, επειδή το είδε τόσες πολλές φορές. Το GPT-7 το αντιμετωπίζει ως καθιερωμένη ιατρική γνώση.
Η Κατάρρευση Μοντέλου δεν αφορά μόνο το να γίνει κάτι βαρετό· αφορά το να αποκοπεί από την πραγματικότητα. Αφορά τη δημιουργία μιας τεχνητής νοημοσύνης που είναι απόλυτα σίγουρη για ένα σύμπαν γεγονότων που δεν υπάρχουν.
Τα Στοιχεία Είναι Ήδη Εδώ
Δεν περιμένουμε να συμβεί η Κατάρρευση Μοντέλου. Την παρακολουθούμε να εκτυλίσσεται σε πραγματικό χρόνο.
Το Stack Overflow έχει δει μια μαζική πτώση στην ανθρώπινη επισκεψιμότητα, ενώ ο όγκος του κώδικα που δημιουργείται από τεχνητή νοημοσύνη στο GitHub έχει εκτοξευθεί. Αν εκπαιδεύσετε ένα μοντέλο κώδικα με δεδομένα από το GitHub του 2025, το εκπαιδεύετε σε κώδικα που πιθανότατα γράφτηκε (ή τουλάχιστον υποβοηθήθηκε) από το Copilot το 2024. Αν αυτός ο κώδικας του 2024 είχε ένα διακριτικό σφάλμα (ας πούμε, μια ευπάθεια ασφαλείας που η τεχνητή νοημοσύνη τείνει να προτείνει), το μοντέλο του 2025 θα μάθει αυτό το σφάλμα ως βέλτιστη πρακτική. Θα το ενισχύσει.
Ερευνητές στην Google έχουν παρατηρήσει ότι τα νεότερα αποτελέσματα αναζήτησης περιέχουν ολοένα και πιο επαναλαμβανόμενα μοτίβα διατύπωσης που χαρακτηρίζουν την έξοδο των μεγάλων γλωσσικών μοντέλων. Οι ίδιες φράσεις εμφανίζονται ξανά και ξανά: «Είναι σημαντικό να σημειωθεί ότι...», «Στον γρήγορο κόσμο του σήμερα...», «Ας ξεκινήσουμε...». Αυτά τα γλωσσικά τικ εξαπλώνονται στο σώμα κειμένων σαν ιός.
Η Amazon έχει αναφέρει ότι ένα σημαντικό ποσοστό των κριτικών πελατών στην πλατφόρμα της είναι πλέον δημιουργημένο από τεχνητή νοημοσύνη. Οι περιγραφές προϊόντων δημιουργούνται από τεχνητή νοημοσύνη. Οι κριτικές αυτών των προϊόντων δημιουργούνται από τεχνητή νοημοσύνη. Σύντομα, οι περιλήψεις αυτών των κριτικών θα δημιουργούνται από τεχνητή νοημοσύνη. Είναι χελώνες μέχρι κάτω.
Οι «Νόμοι Κλιμάκωσης» που οδήγησαν την άνθηση της τεχνητής νοημοσύνης (η ιδέα ότι η απλή προσθήκη περισσότερων δεδομένων και περισσότερης υπολογιστικής ισχύος οδηγεί πάντα σε καλύτερη απόδοση) προσέκρουσαν σε τοίχο. Τα δεδομένα δεν είναι πλέον ο περιορισμός· η πραγματικότητα είναι ο περιορισμός. Έχουμε εξαντλήσει τα καθαρά ανθρώπινα δεδομένα. Έχουμε δηλητηριάσει το ίδιο μας το πηγάδι.
Η Λύση Dweve: Επιστημολογική Αυστηρότητα
Στη Dweve, προβλέψαμε αυτή την κρίση. Συνειδητοποιήσαμε από νωρίς ότι η στρατηγική «συγκέντρωσε τα πάντα» δεν ήταν βιώσιμη. Για να δημιουργήσετε ισχυρά συστήματα που δεν καταρρέουν σε παραισθήσεις, πρέπει να δώσετε προτεραιότητα στην Προέλευση Δεδομένων: να γνωρίζετε ακριβώς από πού προέρχονται τα δεδομένα σας και αν αντιπροσωπεύουν την πραγματικότητα.
Γι' αυτό δημιουργήσαμε το Dweve Spindle: την Πλατφόρμα Διακυβέρνησης Επιχειρησιακής Γνώσης. Το Spindle δεν είναι απλώς ένας αγωγός δεδομένων. Είναι ένα επιστημολογικό σύστημα. Μετατρέπει τις ακατέργαστες πληροφορίες σε επαληθευμένη, έτοιμη για τεχνητή νοημοσύνη γνώση μέσω μιας αυστηρής διαδικασίας επτά σταδίων.
Ο Επιστημολογικός Αγωγός Επτά Σταδίων
Κάθε πληροφορία που εισέρχεται στο οικοσύστημα Dweve περνά από αυτόν τον αγωγό:
Στάδιο 1: Υποψήφιο. Οι ακατέργαστες πληροφορίες εντοπίζονται και επισημαίνονται για επεξεργασία. Αυτό μπορεί να είναι μια ιστοσελίδα, ένα έγγραφο, μια εγγραφή βάσης δεδομένων ή μια ένδειξη αισθητήρα. Σε αυτό το στάδιο, γνωρίζουμε μόνο ότι η πληροφορία υπάρχει, όχι αν είναι αληθής ή χρήσιμη.
Στάδιο 2: Εξαγωγή. Οι δομημένες πληροφορίες αναλύονται από την ακατέργαστη πηγή. Οι οντότητες αναγνωρίζονται. Τα γεγονότα εξάγονται. Το αδόμητο χάος γίνεται υποψήφιος γράφος γνώσης.
Στάδιο 3: Ανάλυση. Οι ισχυρισμοί αναλύονται σε ατομικά γεγονότα. Μια πρόταση όπως «Ο Αϊνστάιν κέρδισε το Νόμπελ για τη σχετικότητα» αναλύεται σε επαληθεύσιμα στοιχεία: «Ο Αϊνστάιν υπήρξε», «Ο Αϊνστάιν κέρδισε βραβείο Νόμπελ», «Το βραβείο ήταν για τη φυσική», «Το βραβείο απονεμήθηκε για εργασία στη σχετικότητα». (Σημείωση: αυτός ο τελευταίος ισχυρισμός είναι στην πραγματικότητα ψευδής, κάτι που ο αγωγός θα εντόπιζε.)
Στάδιο 4: Σύνδεση. Τα ατομικά γεγονότα συνδέονται με το υπάρχον δίκτυο γνώσης μας. Έρχεται αυτή η νέα πληροφορία σε αντίθεση με καθιερωμένα γεγονότα; Τα επιβεβαιώνει; Καλύπτει κενά; Η ενσωμάτωση του γράφου αποκαλύπτει συνέπειες και συγκρούσεις.
Στάδιο 5: Επαλήθευση. Πραγματοποιείται επικύρωση από πολλαπλές πηγές. Μπορούμε να βρούμε ανεξάρτητη επιβεβαίωση από έγκυρες πηγές; Περνά ο ισχυρισμός τους ελέγχους λογικής συνέπειας; Ποια είναι η προέλευση της αρχικής πηγής;
Στάδιο 6: Πιστοποίηση. Ο έλεγχος ποιότητας έχει ολοκληρωθεί. Η πληροφορία έχει επιτύχει βαθμολογία εμπιστοσύνης άνω του 0,7 στις έξι διαστάσεις ποιότητάς μας. Επισημαίνεται ως αξιόπιστη για χρήση σε εφαρμογές κατάντη.
Στάδιο 7: Κανονικό. Η πληροφορία γίνεται έγκυρη, έτοιμη για τεχνητή νοημοσύνη γνώση. Μπορεί να χρησιμοποιηθεί για εκπαίδευση, για συμπερασμούς, για ανάκτηση. Είναι η θεμελιώδης αλήθεια.
Η Στρατιωτική Ιεραρχία 32 Πρακτόρων
Αυτός ο αγωγός δεν εκτελείται από έναν μόνο αλγόριθμο. Συντονίζεται από μια εξειδικευμένη ομάδα 32 πρακτόρων τεχνητής νοημοσύνης, οργανωμένων σε μια ιεραρχία στρατιωτικού τύπου:
- Ταξιαρχία Ανίχνευσης (6 πράκτορες): Ανιχνευτές που εντοπίζουν και ανακτούν πιθανές πηγές γνώσης
- Σώμα Εξαγωγής (5 πράκτορες): Ειδικοί στην ανάλυση, την αναγνώριση ονομαστικών οντοτήτων και τη δόμηση ακατέργαστων δεδομένων
- Μεραρχία Ανάλυσης (6 πράκτορες): Λογικοί που αναλύουν ισχυρισμούς και εντοπίζουν εξαρτήσεις
- Δίκτυο Σύνδεσης (4 πράκτορες): Ειδικοί σε γράφους που ενσωματώνουν νέα γνώση
- Φρουρά Ποιότητας (4 πράκτορες): Ελεγκτές που διασταυρώνουν και εντοπίζουν ασυνέπειες
- Συμβούλιο Διακυβέρνησης (12 πράκτορες): Ανώτεροι πράκτορες που λαμβάνουν τις τελικές αποφάσεις πιστοποίησης
Κάθε πράκτορας έχει εξειδικευμένη τεχνογνωσία. Συζητούν. Αμφισβητούν τα συμπεράσματα των άλλων. Απαιτούν συναίνεση προτού η πληροφορία προχωρήσει στο επόμενο στάδιο. Αυτή η διαδικασία επαλήθευσης πολλαπλών πρακτόρων είναι πολύ πιο ισχυρή από οποιαδήποτε προσέγγιση ελέγχου γεγονότων με ένα μόνο μοντέλο.
Ανίχνευση 47 Τύπων Μεροληψίας
Το Spindle έχει σχεδιαστεί ειδικά για να ανιχνεύει και να επισημαίνει τη μεροληψία στα δεδομένα εκπαίδευσης. Το σύστημά μας αναγνωρίζει 47 διακριτούς τύπους μεροληψίας σε τέσσερις κατηγορίες:
- Στατιστική μεροληψία: Μεροληψία δειγματοληψίας, μεροληψία επιλογής, μεροληψία επιβίωσης, μεροληψία επιβεβαίωσης στη συλλογή δεδομένων
- Γνωσιακή μεροληψία: Αγκύρωση, ευρετική διαθεσιμότητας, φαινόμενα πλαισίωσης στο υλικό πηγών
- Γλωσσική μεροληψία: Φορτισμένη γλώσσα, ευφημισμοί, ασαφείς διατυπώσεις, πειστική πλαισίωση
- Συστημική μεροληψία: Κενά εκπροσώπησης, ιστορικές μεροληψίες ενσωματωμένες στο κείμενο, πολιτισμικά τυφλά σημεία
Όταν εντοπίζεται μεροληψία, οι πληροφορίες είτε διορθώνονται (αν είναι δυνατόν), είτε επισημαίνονται (αν η διόρθωση είναι αβέβαιη), είτε απορρίπτονται (αν η μεροληψία είναι θεμελιώδης και μη διορθώσιμη). Αυτό αποτρέπει την ενίσχυση μεροληψιών που ταλανίζει τα μοντέλα που εκπαιδεύονται σε ακατέργαστες αποσπάσεις ιστού.
Οι Τέσσερις Πυλώνες της Προέλευσης Δεδομένων
Πέρα από τον αγωγό Spindle, η ευρύτερη στρατηγική μας για τα δεδομένα στηρίζεται σε τέσσερις πυλώνες:
1. Ο Παρθένος Ιστός (Αρχεία προ του 2023)
Δίνουμε τεράστια βαρύτητα στα δεδομένα που δημιουργήθηκαν πριν από την εκτεταμένη εξάπλωση της γενετικής τεχνητής νοημοσύνης (περίπου στα τέλη του 2022/αρχές του 2023). Θεωρούμε αυτή την εποχή ως τον «Παρθένο Ιστό». Αυτά τα αρχειακά δεδομένα αποτελούν τον ακρογωνιαίο λίθο της εκπαίδευσής μας. Είναι η θεμελιώδης αλήθεια της ανθρώπινης παραγωγής πριν αρχίσει η μόλυνση.
Έχουμε επενδύσει σημαντικά στην απόκτηση και την επιμέλεια συνόλων δεδομένων προ του 2022: ψηφιοποιημένα βιβλία, ακαδημαϊκά αρχεία, αποθετήρια κώδικα με ιστορικό καταχωρίσεων που αποδεικνύει την ανθρώπινη συγγραφή, αρχεία φόρουμ από την εποχή που κάθε ανάρτηση γραφόταν από άνθρωπο.
Αυτά τα δεδομένα είναι αναντικατάστατα. Μόλις μολύνθηκε ο ιστός, δεν μπορούσαμε να τον απομολύνουμε. Μπορούμε όμως να διατηρήσουμε και να δώσουμε προτεραιότητα στα καθαρά αρχεία.
2. Πιστοποιημένες Ανθρώπινες Πηγές
Για τα σύγχρονα δεδομένα, δεν βασιζόμαστε σε τυφλή συλλογή από τον ιστό. Συνεργαζόμαστε απευθείας με αξιόπιστους φορείς. Αδειοδοτούμε δεδομένα από:
- Ακαδημαϊκούς εκδότες: Τα άρθρα με κριτές είναι (ως επί το πλείστον) γραμμένα από ανθρώπους και ελεγμένα από ανθρώπους. Η διαδικασία αξιολόγησης παρέχει ένα φίλτρο ποιότητας.
- Εκδοτικούς οίκους βιβλίων: Οι εκδοτικές διαδικασίες εξασφαλίζουν ένα επίπεδο ανθρώπινης εποπτείας που λείπει από το περιεχόμενο του ιστού.
- Αποθετήρια κώδικα με CI/CD: Αυτό είναι κρίσιμο. Δεν συλλέγουμε απλώς κώδικα. Συλλέγουμε κώδικα που περνάει τις δοκιμές. Αν μια συνάρτηση δεν μεταγλωττίζεται, την απορρίπτουμε. Αν αποτυγχάνει στη σουίτα δοκιμών της, την απορρίπτουμε. Ο λειτουργικός κώδικας είναι πολύ πιο πιθανό να είναι γραμμένος από άνθρωπο (ή τουλάχιστον ελεγμένος από άνθρωπο) από ό,τι τα τυχαία αποσπάσματα.
- Επιχειρηματικούς εταίρους: Οι εταιρείες μας παρέχουν ιδιόκτητα δεδομένα με αντάλλαγμα προσαρμοσμένα μοντέλα. Αυτά τα δεδομένα είναι εξ ορισμού ανθρωπογενή και σχετικά με τις επιχειρήσεις.
3. Η Συμβολική Επαλήθευση ως Ανοσοποιητικό Σύστημα
Αυτό είναι μοναδικό στη νευροσυμβολική μας προσέγγιση. Επειδή το σύστημά μας κατανοεί τη λογική και τη δομή του κώδικα μέσω της αρχιτεκτονικής μας που βασίζεται σε περιορισμούς, μπορούμε να χρησιμοποιήσουμε τη συμβολική επαλήθευση για να φιλτράρουμε τα δεδομένα εκπαίδευσης.
Αν εκπαιδεύουμε ένα μοντέλο να γράφει Python, δεν του δίνουμε απλώς αρχεία απλού κειμένου. Εκτελούμε τον κώδικα μέσω μεταγλωττιστή. Αν έχει συντακτικά σφάλματα, τον απορρίπτουμε. Τον εκτελούμε μέσω στατικού αναλυτή. Αν έχει προφανή τρωτά σημεία ασφαλείας, τον απορρίπτουμε. Τον εκτελούμε σε περιπτώσεις δοκιμών. Αν αποτύχει, τον απορρίπτουμε.
Για το πραγματολογικό περιεχόμενο, διασταυρώνουμε τους ισχυρισμούς με τον επαληθευμένο γράφο γνώσης μας. Αν ένα έγγραφο ισχυρίζεται ότι το Παρίσι είναι η πρωτεύουσα της Γερμανίας, το συμβολικό επίπεδο εντοπίζει την ασυνέπεια και επισημαίνει το έγγραφο ως αναξιόπιστο.
Αυτό λειτουργεί ως ανοσοποιητικό σύστημα κατά της Κατάρρευσης Μοντέλου. Οι παραισθήσεις και ο ελαττωματικός κώδικας που παράγονται από άλλα συστήματα τεχνητής νοημοσύνης αποτυγχάνουν στους ελέγχους επαλήθευσής μας και αποκλείονται προτού μολύνουν την εκπαίδευσή μας.
4. Η Στρατηγική Διατήρησης των Άκρων
Κάνουμε ρητά υπερδειγματοληψία στις «ουρές» της κατανομής. Αναζητούμε δεδομένα που είναι υψηλής ποιότητας αλλά μη συμβατικά. Δεν θέλουμε το μοντέλο μας να είναι «μέτριο». Θέλουμε να κατανοεί τις ακραίες περιπτώσεις, τα δημιουργικά άλματα, τις λαμπρές εξαιρέσεις.
Τα περισσότερα συστήματα εκπαίδευσης μεγάλων γλωσσικών μοντέλων αποκλείουν επιθετικά τις «ακραίες τιμές» για να σταθεροποιήσουν την εκπαίδευση. Εμείς τις επιλέγουμε προσεκτικά. Η καινοτομία δεν συμβαίνει στον μέσο όρο· συμβαίνει στα άκρα. Η επόμενη πρωτοποριακή ιδέα δεν θα μοιάζει με όλες τις άλλες. Θα ακούγεται παράξενη. Θέλουμε να διατηρήσουμε αυτή την παραδοξότητα.
Η Αξία της Πραγματικότητας
Στο εγγύς μέλλον, τα «δεδομένα που παράγονται από ανθρώπους» θα γίνουν μια κατηγορία περιουσιακών στοιχείων υψηλής αξίας. Ο απέραντος ωκεανός του δημόσιου διαδικτύου θα θεωρείται «άχρηστα δεδομένα»: χρήσιμα ίσως για συμπλήρωση ή για εκμάθηση βασικής γραμματικής, αλλά επικίνδυνα για θεμελιώδη γνώση.
Οι εταιρείες που έχουν πρόσβαση σε ιδιόκτητα δεδομένα από τον πραγματικό κόσμο (καταγραφές αισθητήρων από πραγματικά εργοστάσια, αρχεία ασθενών από πραγματικούς γιατρούς, δεδομένα συναλλαγών από πραγματικές οικονομίες) θα έχουν τεράστιο ανταγωνιστικό πλεονέκτημα. Κατέχουν την «απόλυτη αλήθεια».
Η Κατάρρευση Μοντέλου είναι η υπαρξιακή απειλή για τη φούσκα της γενετικής τεχνητής νοημοσύνης. Υποδηλώνει ότι δεν μπορούμε απλώς να κλιμακώνουμε επ' άπειρον. Δεν μπορούμε να προσομοιώσουμε τον δρόμο μας προς την υπερευφυΐα. Πρέπει να παραμείνουμε προσγειωμένοι. Πρέπει να επιμελούμαστε. Πρέπει να εκτιμούμε την ποιότητα έναντι της ποσότητας.
Η τεχνητή νοημοσύνη του μέλλοντος δεν θα βασίζεται σε ολόκληρο το διαδίκτυο. Θα βασίζεται στο επαληθευμένο διαδίκτυο. Θα βασίζεται στην αλήθεια.
Η Ρυθμιστική Διάσταση
Αυτό δεν είναι μόνο τεχνικό ζήτημα. Οι ρυθμιστικές αρχές αρχίζουν να συνειδητοποιούν τις επιπτώσεις της μόλυνσης από συνθετικά δεδομένα.
Η Πράξη για την Τεχνητή Νοημοσύνη της ΕΕ απαιτεί ρητά την τεκμηρίωση της προέλευσης των δεδομένων εκπαίδευσης για συστήματα τεχνητής νοημοσύνης υψηλού κινδύνου. Εάν το μοντέλο σας εκπαιδεύτηκε σε μολυσμένα δεδομένα και παράγει επιβλαβή αποτελέσματα, πρέπει να μπορείτε να αποδείξετε ότι λάβατε εύλογα μέτρα για να διασφαλίσετε την ποιότητα των δεδομένων. Το «αποξέσαμε τον ιστό» δεν θα είναι αποδεκτή απάντηση.
Ο GDPR ήδη απαιτεί από τους οργανισμούς να τηρούν αρχεία των δραστηριοτήτων επεξεργασίας δεδομένων. Η επέκταση αυτού στα δεδομένα εκπαίδευσης της τεχνητής νοημοσύνης αποτελεί φυσική εξέλιξη. Από πού προήλθαν τα δεδομένα εκπαίδευσής σας; Μπορείτε να αποδείξετε ότι συλλέχθηκαν νόμιμα; Μπορείτε να αποδείξετε ότι αντιπροσωπεύουν την πραγματικότητα και όχι παραισθήσεις της τεχνητής νοημοσύνης;
Οι εταιρείες που δεν μπορούν να απαντήσουν σε αυτές τις ερωτήσεις θα αντιμετωπίσουν αυξανόμενο ρυθμιστικό έλεγχο. Οι εταιρείες που μπορούν να αποδείξουν αυστηρή προέλευση δεδομένων (όπως αυτές που χρησιμοποιούν το Dweve Spindle) θα έχουν πλεονέκτημα συμμόρφωσης.
Ο Δρόμος προς τα Εμπρός
Η Κατάρρευση Μοντέλου δεν είναι αναπόφευκτη. Είναι συνέπεια πλημμελών πρακτικών διαχείρισης δεδομένων. Αν συνεχίσουμε να αποσπούμε δεδομένα από τον μολυσμένο ιστό και να τα τροφοδοτούμε σε ολοένα μεγαλύτερα μοντέλα, θα καταλήξουμε σε τεχνητή νοημοσύνη τύπου Habsburg: με αυτοπεποίθηση και φαινομενική ικανότητα, αλλά θεμελιωδώς εκφυλισμένη.
Αν όμως επενδύσουμε στην ποιότητα των δεδομένων, αν οικοδομήσουμε επιστημολογικά συστήματα που μπορούν να διακρίνουν την αλήθεια από την παραίσθηση, αν διατηρήσουμε την ποικιλομορφία της ανθρώπινης σκέψης αντί να την καταρρεύσουμε σε συνθετικό πολτό, μπορούμε να δημιουργήσουμε τεχνητή νοημοσύνη που παραμένει θεμελιωμένη στην πραγματικότητα.
Αυτό απαιτεί σκληρότερη δουλειά. Απαιτεί περισσότερες επενδύσεις. Απαιτεί να αντιμετωπίζουμε τα δεδομένα ως πολύτιμο πόρο και όχι ως εμπόρευμα προς εξόρυξη. Αλλά είναι ο μόνος δρόμος προς συστήματα τεχνητής νοημοσύνης που παραμένουν χρήσιμα, ακριβή και αξιόπιστα μακροπρόθεσμα.
Στη Dweve, έχουμε επιλέξει αυτόν τον δρόμο. Ο συνδυασμός παρθένων αρχειακών δεδομένων, πιστοποιημένων ανθρώπινων πηγών, συμβολικής επαλήθευσης και διατήρησης της ποικιλομορφίας διασφαλίζει ότι τα μοντέλα μας παραμένουν συνδεδεμένα με τον πραγματικό κόσμο. Χτίζουμε το φίλτρο μεταξύ πραγματικότητας και προσομοίωσης.
Ο εύκολος δρόμος οδηγεί στην Κατάρρευση Μοντέλου. Ο δύσκολος δρόμος οδηγεί σε νοημοσύνη που πραγματικά λειτουργεί. Ξέρουμε ποιον ακολουθούμε.