Η μεγάλη ψευδαίσθηση της τεχνητής νοημοσύνης: γιατί τα «περισσότερα δεδομένα» δεν θα μας σώσουν
Η αυταπάτη του ενός τρισεκατομμυρίου παραμέτρων
Γίνεται μια κούρσα στην τεχνητή νοημοσύνη. Όχι κούρσα για την κατασκευή καλύτερων συστημάτων. Όχι κούρσα για την επίλυση πραγματικών προβλημάτων. Μια κούρσα για την κατασκευή μεγαλύτερων αριθμών.
Εκατό δισεκατομμύρια παράμετροι. Πεντακόσια δισεκατομμύρια. Ένα τρισεκατομμύριο. Δέκα τρισεκατομμύρια. Κάθε ανακοίνωση συνοδεύεται από λαχανιασμένα δελτία τύπου και εκτοξευόμενες τιμές μετοχών. Κάθε μοντέλο προωθείται ως το επόμενο βήμα στην τεχνητή νοημοσύνη.
Μόνο που δεν είναι βήματα προόδου. Είναι απλώς μεγαλύτερα.
Και κάπου στην πορεία, ολόκληρος ο κλάδος έπεισε τον εαυτό του ότι το μεγαλύτερο ισούται με το καλύτερο. Ότι οι περισσότερες παράμετροι σημαίνουν περισσότερη νοημοσύνη. Ότι αν συνεχίσουμε να κλιμακώνουμε, να προσθέτουμε μηδενικά, να καταναλώνουμε όλο και περισσότερα δεδομένα και υπολογιστική ισχύ, θα φτάσουμε τελικά σε γενική τεχνητή νοημοσύνη.
Είναι η μεγαλύτερη ψευδαίσθηση της σύγχρονης τεχνολογίας. Και αρχίζει να ραγίζει.
Το ευαγγέλιο του νόμου της κλιμάκωσης
Το 2020, οι ερευνητές ανακάλυψαν αυτό που ονόμασαν «νόμους της κλιμάκωσης». Δώσε σε ένα νευρωνικό δίκτυο περισσότερες παραμέτρους και περισσότερα δεδομένα, και οι επιδόσεις του βελτιώνονται προβλέψιμα. Διπλασίασε τις παραμέτρους, μείωσε το ποσοστό σφάλματος στο μισό. Ήταν όμορφο. Μαθηματικό. Επαναλήψιμο.
Οι νόμοι της κλιμάκωσης έγιναν ευαγγέλιο. Σχεδιάζεις έρευνα στην τεχνητή νοημοσύνη; Απλώς κλιμάκωσε. Θέλεις καλύτερες επιδόσεις; Πρόσθεσε περισσότερες παραμέτρους. Πρέπει να ανταγωνιστείς; Φτιάξε μεγαλύτερα μοντέλα.
Κάθε μεγάλο εργαστήριο υιοθέτησε την ίδια στρατηγική: μεγαλύτερα μοντέλα, περισσότερα δεδομένα, περισσότερη υπολογιστική ισχύς. Το GPT-3 είχε 175 δισεκατομμύρια παραμέτρους. Το GPT-4 πήγε παραπέρα. Το Gemini προχώρησε ακόμα περισσότερο. Ανακοινώθηκαν μοντέλα με ένα τρισεκατομμύριο παραμέτρους. Συζητήθηκαν και τα δέκα τρισεκατομμύρια.
Η λογική φαινόταν αδιαμφισβήτητη: αν η κλιμάκωση δούλευε μέχρι τώρα, γιατί να σταματήσει;
Μόνο που σταματάει. Τώρα αμέσως.
Ο τοίχος που κανείς δεν προέβλεψε
Στα τέλη του 2024, συνέβη κάτι αναπάντεχο. Η επόμενη γενιά κορυφαίων μοντέλων δεν έδειξε τις αναμενόμενες βελτιώσεις.
Διπλάσιες παράμετροι. Τριπλάσια δεδομένα εκπαίδευσης. Δέκα φορές περισσότερη υπολογιστική ισχύς. Και οι επιδόσεις σχεδόν δεν κουνήθηκαν. Σε ορισμένες περιπτώσεις, χειροτέρεψαν.
Οι νόμοι της κλιμάκωσης, που είχαν ισχύσει τόσο αξιόπιστα για χρόνια, κατέρρεαν. Τα φθίνοντα οφέλη δεν ήταν πια θεωρητικά. Είχαν φτάσει.
Το TechCrunch ανέφερε τον Νοέμβριο του 2024 ότι οι νόμοι της κλιμάκωσης στην τεχνητή νοημοσύνη «παρουσιάζουν φθίνοντα οφέλη, αναγκάζοντας τα εργαστήρια τεχνητής νοημοσύνης να αλλάξουν πορεία». Το DeepLearning.AI κατέγραψε πώς μεγάλες εταιρείες παραδέχτηκαν ότι «η επόμενη γενιά μοντέλων υψηλού προφίλ δεν έχει δείξει τις αναμενόμενες βελτιώσεις παρά τις μεγαλύτερες αρχιτεκτονικές, τα περισσότερα δεδομένα εκπαίδευσης και την περισσότερη επεξεργαστική ισχύ».
Τα στοιχεία είναι ξεκάθαρα: η κλιμάκωση χτύπησε τοίχο. Πολλούς τοίχους, στην πραγματικότητα.
Ο τοίχος των δεδομένων
Πρώτος τοίχος: τελειώνουν τα ποιοτικά δεδομένα εκπαίδευσης.
Τα μεγάλα γλωσσικά μοντέλα καταναλώνουν το διαδίκτυο. Κυριολεκτικά. Το GPT-3 εκπαιδεύτηκε σε εκατοντάδες δισεκατομμύρια λέξεις συγκεντρωμένες από ιστοσελίδες, βιβλία, άρθρα, φόρουμ. Κάθε λίγο πολύ προσβάσιμο ανθρώπινο κείμενο στο διαδίκτυο.
Αλλά το διαδίκτυο έχει τα όριά του. Έρευνα που δημοσιεύτηκε το 2022 προέβλεψε ότι θα εξαντλήσουμε τα ποιοτικά δεδομένα κειμένου μεταξύ 2026 και 2032, αν συνεχιστούν οι τρέχουσες τάσεις. Η ανάλυση του Epoch AI διαπίστωσε ότι, ενώ οι παλαιότερες εκτιμήσεις έκαναν λόγο για εξάντληση έως το 2024, η βελτιωμένη μεθοδολογία δείχνει πλέον ότι αυτό μπορεί να συμβεί έως το 2028.
Όπως και να έχει, ο χρόνος μετράει αντίστροφα. Το ποιοτικό κείμενο που παράγεται από ανθρώπους είναι πεπερασμένο.
Η απάντηση; Συνθετικά δεδομένα. Μοντέλα που παράγουν κείμενο για να εκπαιδεύσουν άλλα μοντέλα. Ακούγεται έξυπνο μέχρι να συνειδητοποιήσεις ότι είναι σαν να κάνεις φωτοαντίγραφα από φωτοαντίγραφα. Κάθε γενιά υποβαθμίζεται. Τα σφάλματα σωρεύονται. Οι προκαταλήψεις ενισχύονται.
Το Nature δημοσίευσε έρευνα το 2024 που αποδεικνύει ότι τα μοντέλα που εκπαιδεύονται σε αναδρομικά παραγόμενα δεδομένα υφίστανται «κατάρρευση μοντέλου». Η μελέτη έδειξε ότι η αδιάκριτη εκπαίδευση σε συνθετικό περιεχόμενο οδηγεί σε επιδεινούμενη απόδοση, μειωμένη ποικιλομορφία και, τελικά, σε μοντέλα τεχνητής νοημοσύνης που παράγουν όλο και πιο γενόσημα αποτελέσματα.
Δεν μπορείς να κλιμακωθείς επ' άπειρον όταν η πηγή καυσίμου σου είναι πεπερασμένη. Και τα ποιοτικά δεδομένα, η πραγματική ανθρώπινη γνώση, είναι πράγματι πολύ πεπερασμένα.
Η κατάρρευση της ποιότητας
Δεύτερος τοίχος: περισσότερα δεδομένα δεν σημαίνουν καλύτερα δεδομένα.
Η εργασία Chinchilla του 2022 αποκάλυψε κάτι κρίσιμο: το βέλτιστο μοντέλο δεν είναι το μεγαλύτερο. Είναι αυτό με την καλύτερη αναλογία παραμέτρων προς διακριτικά εκπαίδευσης. Για κάθε 4× αύξηση στην υπολογιστική ισχύ, χρειάζεσαι 2× αύξηση στο μέγεθος του μοντέλου ΚΑΙ 2× αύξηση στην ποιότητα των δεδομένων.
Τι γίνεται όμως όταν έχεις ήδη χρησιμοποιήσει όλα τα καλά δεδομένα; Αρχίζεις να συλλέγεις πηγές χαμηλότερης ποιότητας. Φόρουμ με παραπληροφόρηση. Περιεχόμενο μεταφρασμένο με μηχανή. Ανεπιθύμητα μηνύματα που παράγονται από τεχνητή νοημοσύνη. Τα κατακάθια του διαδικτύου.
Περισσότερα δεδομένα εκπαίδευσης. Χειρότερη απόδοση. Γιατί το «σκουπίδια μέσα, σκουπίδια έξω» δεν παύει να ισχύει απλώς και μόνο επειδή έχεις ένα τρισεκατομμύριο παραμέτρους.
Μια μελέτη του 2024 διαπίστωσε ότι η ποιότητα των δεδομένων έχει μεγαλύτερη σημασία από την ποσότητα για τα μικρά γλωσσικά μοντέλα. Μια άλλη διαπίστωσε ότι προσεκτικά επιμελημένα σύνολα δεδομένων με 1 εκατομμύριο παραδείγματα υπερτερούν των τυχαία συλλεγμένων συνόλων με 100 εκατομμύρια παραδείγματα.
Η αντίδραση του κλάδου; Συνεχίστε την κλιμάκωση ούτως ή άλλως. Ρίξτε περισσότερη υπολογιστική ισχύ στο πρόβλημα. Ελπίστε ότι η ωμή βία θα υπερνικήσει τα κακά δεδομένα.
Δεν τα καταφέρνει.
Το ταβάνι της υπολογιστικής ισχύος
Τρίτος τοίχος: η φυσική της υπολογιστικής διαδικασίας.
Η εκπαίδευση ενός μοντέλου με ένα τρισεκατομμύριο παραμέτρους απαιτεί απίστευτες ποσότητες υπολογιστικής ισχύος. Μιλάμε για δεκάδες χιλιάδες GPU που λειτουργούν για μήνες. Κατανάλωση ενέργειας που ανταγωνίζεται μικρές χώρες. Κόστος υποδομής εκατοντάδων εκατομμυρίων.
Και για τι; Οριακές βελτιώσεις. Κέρδη απόδοσης που μετά βίας δικαιολογούν την εκθετική αύξηση του κόστους.
Μία εκτίμηση υποδηλώνει ότι η εκπαίδευση ενός υποθετικού μοντέλου με 10 τρισεκατομμύρια παραμέτρους θα κατανάλωνε περισσότερη ηλεκτρική ενέργεια από όση χρησιμοποιούν ετησίως ορισμένα ευρωπαϊκά κράτη. Για μία μόνο εκπαίδευση. Η οποία πιθανότατα θα χρειαστεί να επαναληφθεί δεκάδες φορές προτού λειτουργήσει.
Οι οικονομικές αποδόσεις δεν δικαιολογούν πλέον το κόστος υπολογιστικής ισχύος. Οι νόμοι κλιμάκωσης υποσχέθηκαν γραμμικές βελτιώσεις με γραμμική επένδυση. Η πραγματικότητα προσφέρει λογαριθμικές βελτιώσεις με εκθετική επένδυση.
Αυτό δεν είναι επιχειρηματικό μοντέλο. Είναι μια φούσκα έτοιμη να σκάσει.
Η ψευδαίσθηση της νοημοσύνης
Αλλά εδώ βρίσκεται το βαθύτερο πρόβλημα: ακόμη και όταν η κλιμάκωση λειτουργούσε, δεν δημιουργούσε νοημοσύνη. Δημιουργούσε στατιστική αντιστοίχιση προτύπων σε τεράστια κλίμακα.
Ένα τρισεκατομμύριο παράμετροι δεν σκέφτονται. Δεν συλλογίζονται. Δεν κατανοούν. Προβλέπουν το επόμενο token με βάση τα πρότυπα στα δεδομένα εκπαίδευσης. Είναι κάτι εντελώς διαφορετικό από τη νοημοσύνη.
Η ψευδαίσθηση είναι πειστική επειδή η κλίμακα μπορεί να προσεγγίσει την κατανόηση. Τροφοδοτήστε ένα μοντέλο με αρκετά παραδείγματα και μπορεί να αντιστοιχίσει πρότυπα ώστε να δίνει φαινομενικά έξυπνες απαντήσεις. Αλλά είναι μίμηση, όχι κατανόηση.
Γι' αυτό τα μοντέλα αποτυγχάνουν σε πρωτόγνωρα προβλήματα. Γι' αυτό δεν μπορούν να κάνουν αξιόπιστα συλλογισμούς πολλαπλών βημάτων. Γι' αυτό παραληρούν με σιγουριά λανθασμένα γεγονότα. Δεν σκέφτονται. Ανακτούν και ανασυνδυάζουν πρότυπα.
Και καμία ποσότητα κλιμάκωσης δεν το διορθώνει. Προσθέτοντας περισσότερες παραμέτρους σε έναν αντιστοιχιστή προτύπων, απλώς αποκτάτε έναν μεγαλύτερο αντιστοιχιστή προτύπων.
Η ευρωπαϊκή παγίδα
Για την Ευρώπη, το παράδειγμα της κλιμάκωσης δημιουργεί μια αδύνατη κατάσταση.
Οι αμερικανικοί τεχνολογικοί κολοσσοί έχουν την υπολογιστική ισχύ. Έχουν τα δεδομένα. Έχουν τις υποδομές για να εκπαιδεύσουν μοντέλα με τρισεκατομμύρια παραμέτρους. Οι ευρωπαϊκές εταιρείες δεν τα έχουν.
Η προσπάθεια ανταγωνισμού στην κούρσα της κλιμάκωσης σημαίνει ότι η ευρωπαϊκή τεχνητή νοημοσύνη θα κυνηγάει πάντα τις εξελίξεις. Πάντα μία γενιά πίσω. Πάντα με μειονέκτημα στην υπολογιστική ισχύ και με μεγαλύτερο κόστος στη συλλογή δεδομένων.
Είναι ένα παιχνίδι στημένο από την αρχή. Οι κανόνες ευνοούν όσους έχουν τους περισσότερους πόρους, όχι όσους έχουν τις καλύτερες ιδέες.
Και τώρα, καθώς οι νόμοι της κλιμάκωσης καταρρέουν, το μειονέκτημα της Ευρώπης σε αυτή την κούρσα γίνεται άνευ σημασίας. Γιατί η ίδια η κούρσα τελειώνει.
Η εξυπνότερη εναλλακτική
Ποια είναι λοιπόν η εναλλακτική; Αν το μεγαλύτερο δεν είναι καλύτερο, τι είναι;
Η απάντηση είναι η κομψότητα. Η αποδοτικότητα. Η μαθηματική αυστηρότητα.
Στη Dweve, δεν πιστέψαμε ποτέ στην ψευδαίσθηση της κλιμάκωσης. Δεν προσπαθήσαμε να φτιάξουμε μεγαλύτερα μοντέλα. Φτιάξαμε εξυπνότερα.
Δυαδικά νευρωνικά δίκτυα με 456 εξειδικευμένους τομείς. Κάθε εξειδικευμένος τομέας εστιάζει σε συγκεκριμένους τύπους συλλογισμού. Η αραιή ενεργοποίηση σημαίνει ότι μόνο οι σχετικοί εξειδικευμένοι τομείς ενεργοποιούνται για κάθε εργασία. Καμία σπατάλη υπολογισμού. Καμία περιττή παράμετρος.
Το αποτέλεσμα; Επιδόσεις αιχμής με ένα κλάσμα των παραμέτρων. Καλύτερος συλλογισμός με λιγότερα δεδομένα. Συστήματα που αναπτύσσονται χωρίς να απαιτούν υποδομές κλίμακας κέντρου δεδομένων.
Το Loom 456 δεν προσπαθεί να απομνημονεύσει το διαδίκτυο. Είναι σχεδιασμένο να συλλογίζεται με περιορισμούς, να επεξεργάζεται προβλήματα, να κατανοεί πραγματικά τη δομή.
Αυτή είναι νοημοσύνη μέσω αρχιτεκτονικής, όχι μέσω συσσώρευσης.
Ποιότητα έναντι ποσότητας
Η εργασία Chinchilla είχε ένα δίκιο: η αναλογία έχει μεγαλύτερη σημασία από τους απόλυτους αριθμούς.
Αλλά η πραγματική διορατικότητα πηγαίνει βαθύτερα: τα προσεκτικά σχεδιασμένα μοντέλα με επιμελημένα προγράμματα εκπαίδευσης υπερτερούν των τεράστιων μοντέλων με αδιάκριτη συσσώρευση δεδομένων.
Σκεφτείτε την ανθρώπινη μάθηση. Δεν γίνεστε έξυπνοι διαβάζοντας τα πάντα. Γίνεστε έξυπνοι διαβάζοντας τα σωστά πράγματα, με τη σωστή σειρά, με τη σωστή καθοδήγηση. Η ποιότητα της μάθησης έχει μεγαλύτερη σημασία από την ποσότητα των πληροφοριών.
Η τεχνητή νοημοσύνη δεν διαφέρει. Ένα μοντέλο εκπαιδευμένο σε καλά δομημένα, προσεκτικά επιμελημένα δεδομένα θα υπερτερήσει ενός μοντέλου που πνίγεται σε τυχαίο διαδικτυακό κείμενο. Ακόμη κι αν το δεύτερο μοντέλο έχει 100× περισσότερες παραμέτρους.
Εδώ μπορεί να ανταγωνιστεί η Ευρώπη. Όχι χτίζοντας μεγαλύτερα, αλλά χτίζοντας καλύτερα. Όχι συλλέγοντας περισσότερα δεδομένα, αλλά χρησιμοποιώντας εξυπνότερα προγράμματα εκπαίδευσης.
Ο πυρήνας Dweve αποδεικνύει αυτή την αρχή. Το πλαίσιο δυαδικών νευρωνικών δικτύων μας επιτυγχάνει ανταγωνιστικές επιδόσεις με τάξεις μεγέθους λιγότερες παραμέτρους από τα τυπικά μοντέλα. Επειδή εστιάσαμε στη μαθηματική κομψότητα αντί για τη μαζική κλιμάκωση.
Το πλεονέκτημα της αρχιτεκτονικής
Να τι χάνουν όσοι επενδύουν στην κλιμάκωση: η αρχιτεκτονική έχει μεγαλύτερη σημασία από το μέγεθος.
Μπορείς να έχεις ένα τρισεκατομμύριο παραμέτρους τοποθετημένες ανόητα, ή ένα δισεκατομμύριο παραμέτρους τοποθετημένες έξυπνα. Η έξυπνη τοποθέτηση κερδίζει κάθε φορά.
Οι αρχιτεκτονικές Mixture of Experts (MoE) το αποδεικνύουν. Αντί να ενεργοποιούν όλες τις παραμέτρους για κάθε εργασία, ενεργοποιούν μόνο το σχετικό υποσύνολο. Ξαφνικά έχεις επιδόσεις τρισεκατομμυρίου παραμέτρων με κόστος υπολογισμού ενός δισεκατομμυρίου.
Τα δυαδικά νευρωνικά δίκτυα το προχωρούν ακόμα περισσότερο. Κάθε πράξη είναι μαθηματικά απλούστερη, αλλά η συνολική αρχιτεκτονική είναι πιο εξελιγμένη. Συλλογιστική βασισμένη σε περιορισμούς αντί για πιθανοτική προσέγγιση. Διακριτή λογική αντί για εικασίες κινητής υποδιαστολής.
Το αποτέλεσμα είναι συστήματα που συλλογίζονται αντί να ανακτούν. Που κατανοούν τη δομή αντί να απομνημονεύουν μοτίβα. Που λειτουργούν αξιόπιστα αντί να παραισθάνονται με πειστικότητα.
Αυτό είναι το μέλλον που οι νόμοι κλιμάκωσης δεν μπορούν να φτάσουν: πραγματική νοημοσύνη, όχι απλώς μεγαλύτερη μίμηση.
Πέρα από την ψευδαίσθηση
Η εποχή της κλίμακας τελειώνει. Όχι με ένα δραματικό κραχ, αλλά με μια αργή συνειδητοποίηση ότι το να ρίχνεις περισσότερη υπολογιστική ισχύ στο πρόβλημα δεν λειτουργεί πια.
Τείχη δεδομένων. Κατάρρευση ποιότητας. Οροφές υπολογιστικής ισχύος. Φθίνουσες αποδόσεις. Αυτά δεν είναι προσωρινά πισωγυρίσματα. Είναι θεμελιώδη όρια του παραδείγματος της κλίμακας.
Αλλά για εκείνους που δεν πίστεψαν ποτέ στην ψευδαίσθηση, αυτό δεν είναι κρίση. Είναι ευκαιρία.
Μια ευκαιρία να χτίσουμε τεχνητή νοημοσύνη βασισμένη σε πραγματικές αρχές νοημοσύνης και όχι σε στατιστική συσχέτιση. Να δημιουργήσουμε συστήματα που λειτουργούν αποδοτικά και όχι σπάταλα. Να αναπτύξουμε τεχνολογία που είναι προσβάσιμη και δεν απαιτεί προϋπολογισμούς δισεκατομμυρίων.
Ο αγώνας των τρισεκατομμυρίων παραμέτρων ήταν πάντα αδιέξοδος. Απλώς έπρεπε να περιμένουμε όλους τους άλλους να χτυπήσουν στον τοίχο για να το αποδείξουμε.
Η πραγματική πρόοδος
Να η ειρωνεία: η πραγματική πρόοδος στην τεχνητή νοημοσύνη δεν θα είναι ένα μεγαλύτερο μοντέλο. Θα είναι η συνειδητοποίηση ότι βελτιστοποιούσαμε το λάθος πράγμα.
Όχι περισσότερες παράμετροι. Καλύτερη αρχιτεκτονική.
Όχι περισσότερα δεδομένα. Καλύτερη μάθηση.
Όχι περισσότερη υπολογιστική ισχύς. Πιο έξυπνα μαθηματικά.
Τα δυαδικά νευρωνικά δίκτυα αντιπροσωπεύουν αυτή τη στροφή. Από τη συσσώρευση στην κομψότητα. Από την ωμή βία στη μαθηματική αυστηρότητα. Από τέρατα τρισεκατομμυρίων παραμέτρων σε συστήματα δισεκατομμυρίων παραμέτρων που πραγματικά σκέφτονται.
Η πλατφόρμα της Dweve αποδεικνύει ότι λειτουργεί: το Core ως το πλαίσιο δυαδικών αλγορίθμων, το Loom ως το μοντέλο νοημοσύνης με εξειδίκευση σε 456 τομείς, το Nexus ως το πλαίσιο νοημοσύνης πολλαπλών πρακτόρων, το Aura ως η πλατφόρμα ενορχήστρωσης αυτόνομων πρακτόρων, το Fabric ως ο ενοποιημένος πίνακας ελέγχου και κέντρο διαχείρισης, το Mesh ως το αποκεντρωμένο επίπεδο υποδομής.
Όλα βασισμένα στην αρχή ότι η νοημοσύνη προέρχεται από τη δομή, όχι από το μέγεθος.
Η επιλογή μπροστά μας
Η βιομηχανία τεχνητής νοημοσύνης αντιμετωπίζει μια επιλογή. Να συνεχίσει να κυνηγά την ψευδαίσθηση της κλίμακας, ρίχνοντας καλά χρήματα μετά από κακά, ελπίζοντας ότι η επόμενη τάξη μεγέθους θα σπάσει με κάποιο τρόπο τα τείχη. Ή να αποδεχτεί ότι το παράδειγμα έχει όρια και να προχωρήσει σε κάτι καλύτερο.
Τα δεδομένα λένε ότι η κλίμακα έχει τελειώσει. Η φυσική λέει ότι το κόστος υπολογιστικής ισχύος είναι μη βιώσιμο. Τα μαθηματικά λένε ότι υπάρχουν πιο έξυπνες προσεγγίσεις.
Η Ευρώπη δεν χρειάζεται να κερδίσει τον αγώνα της κλίμακας. Η Ευρώπη πρέπει να τον καταστήσει παρωχημένο. Να χτίσει τεχνητή νοημοσύνη που δεν απαιτεί μοντέλα τρισεκατομμυρίων παραμέτρων. Να δημιουργήσει συστήματα που λειτουργούν αποδοτικά αντί για σπάταλα. Να αναπτύξει τεχνολογία που βασίζεται στην κατανόηση, όχι στην απομνημόνευση.
Η μεγάλη ψευδαίσθηση της τεχνητής νοημοσύνης καταρρέει. Περισσότερα δεδομένα δεν θα τη σώσουν. Μεγαλύτερα μοντέλα δεν θα τη σώσουν. Περισσότερη υπολογιστική ισχύς δεν θα τη σώσει.
Τι σπάει την ψευδαίσθηση; Η αναγνώριση ότι η νοημοσύνη δεν είχε ποτέ να κάνει με το μέγεθος.
Το μέλλον της τεχνητής νοημοσύνης δεν είναι τα τρισεκατομμύρια παράμετροι. Είναι οι έξυπνες αρχιτεκτονικές, η αποδοτική υπολογιστική και η μαθηματική κομψότητα. Είναι συστήματα σχεδιασμένα για κατανόηση, όχι για απομνημόνευση. Νοημοσύνη μέσω δομής, όχι μέσω συσσώρευσης.
Το παράδειγμα της κλιμάκωσης υπηρέτησε τον σκοπό του. Μας έδειξε τι μπορεί να πετύχει η ωμή βία. Αλλά τώρα έχουμε φτάσει στα όριά του. Το επόμενο κεφάλαιο της τεχνητής νοημοσύνης απαιτεί διαφορετική σκέψη: ακρίβεια αντί για κλίμακα, αρχιτεκτονική αντί για παραμέτρους, νοημοσύνη αντί για μέγεθος.
Αυτό το μέλλον χτίζεται τώρα. Από ερευνητές που εστιάζουν στην αποδοτικότητα. Από μηχανικούς που δίνουν προτεραιότητα στην επεξηγησιμότητα. Από εταιρείες που αναπτύσσουν τεχνητή νοημοσύνη η οποία λειτουργεί χωρίς να χρειάζεται υποδομή κέντρων δεδομένων. Η Ευρώπη έχει την ευκαιρία να ηγηθεί αυτής της στροφής, όχι κερδίζοντας τον αγώνα της κλιμάκωσης, αλλά καθιστώντας τον άνευ σημασίας.
Η μεγάλη ψευδαίσθηση της τεχνητής νοημοσύνης καταρρέει. Περισσότερα δεδομένα δεν θα τη σώσουν. Αυτό που έρχεται θα είναι πιο έξυπνο.
Η Dweve αναπτύσσει τεχνητή νοημοσύνη βασισμένη σε δυαδικά δίκτυα περιορισμών και αρχιτεκτονικές μείγματος τομέα-ειδικών. Η Loom χρησιμοποιεί 456 ειδικούς τομέα για αποδοτική συλλογιστική. Ανάπτυξη στην Ολλανδία, εξυπηρετώντας ευρωπαϊκούς οργανισμούς. Το μέλλον της τεχνητής νοημοσύνης είναι κομψό, όχι απλώς μεγάλο.