Το πράσινο AI είναι δυαδικό: Το περιβαλλοντικό κόστος της κινητής υποδιαστολής
Το Αποτύπωμα Άνθρακα της Νοημοσύνης
Υπάρχει ένα βρώμικο μυστικό στην καρδιά της επανάστασης της Τεχνητής Νοημοσύνης. Είναι ένα μυστικό που κρύβεται πίσω από καλοστημένες διαφημιστικές καμπάνιες με ανεμογεννήτριες και ηλιακά πάνελ, και είναι θαμμένο κάτω από βουνά πιστοποιητικών αντιστάθμισης άνθρακα που έχουν αγοράσει οι μεγάλες εταιρείες τεχνολογίας. Το μυστικό είναι το εξής: η σύγχρονη ΤΝ, στη σημερινή αρχιτεκτονική της μορφή, είναι μια περιβαλλοντική καταστροφή που περιμένει να συμβεί.
Μέχρι το 2025, η παγκόσμια υποδομή υπολογιστικής ισχύος για ΤΝ καταναλώνει περισσότερη ηλεκτρική ενέργεια από ολόκληρη τη χώρα της Αργεντινής. Τα κέντρα δεδομένων στην Ιρλανδία καταναλώνουν πλέον σχεδόν το 20% του συνολικού ενεργειακού δικτύου της χώρας, δημιουργώντας μια πραγματική ενεργειακή κρίση που αναγκάζει την κυβέρνηση να επανεξετάσει τις νέες συνδέσεις. Στη Βόρεια Βιρτζίνια (την πρωτεύουσα των κέντρων δεδομένων στον κόσμο), οι εταιρείες ηλεκτρισμού προειδοποιούν ότι φυσικά δεν μπορούν να κατασκευάσουν γραμμές μεταφοράς αρκετά γρήγορα για να ικανοποιήσουν την ακόρεστη πείνα των συστοιχιών GPU.
Η κύρια απάντηση του κλάδου σε αυτό ήταν να επικεντρωθεί στην πηγή της ενέργειας. «Είμαστε 100% ανανεώσιμοι!» ισχυρίζονται οι μεγάλοι πάροχοι υπολογιστικού νέφους. Και ενώ η χρήση πράσινης ενέργειας είναι σίγουρα καλύτερη από τη χρήση άνθρακα, χάνει το ουσιαστικό σημείο. Η ανανεώσιμη ενέργεια είναι ένας πεπερασμένος, σπάνιος πόρος. Κάθε γιγαβάτ πράσινης ισχύος που απορροφάται από ένα αναποτελεσματικό μοντέλο ΤΝ είναι ένα γιγαβάτ που δεν μπορεί να χρησιμοποιηθεί για την απαλλαγή από τον άνθρακα της παραγωγής χάλυβα, της κατασκευής τσιμέντου ή των μεταφορών. Καταβροχθίζουμε το πράσινο δίκτυο για να τροφοδοτούμε τα chatbots.
Δεν χρειαζόμαστε απλώς πιο πράσινη ενέργεια. Χρειαζόμαστε πιο λιτή μαθηματική επεξεργασία.
Αυτό δεν είναι πρόβλημα που μπορείτε να λύσετε αγοράζοντας αντισταθμίσεις άνθρακα ή χτίζοντας περισσότερες ανεμογεννήτριες. Είναι αρχιτεκτονικό πρόβλημα. Η βιομηχανία ΤΝ έχει χτίσει ολόκληρη την υποδομή της πάνω στην πιο ενεργοβόρα μορφή αριθμητικής που υπάρχει: τις πράξεις κινητής υποδιαστολής 32 bit. Και μέχρι να αντιμετωπίσουμε αυτό το θεμελιώδες σχεδιαστικό ελάττωμα, ούτε όλα τα ηλιακά πάνελ στη Σαχάρα δεν θα είναι αρκετά.
Η Φυσική της Αναποτελεσματικότητας: Κατανοώντας την Αριθμητική Κινητής Υποδιαστολής
Για να καταλάβετε γιατί η τεχνητή νοημοσύνη καταναλώνει τόση ενέργεια, πρέπει να κοιτάξετε πέρα από τα συστήματα ψύξης των κέντρων δεδομένων και να εξετάσετε τι συμβαίνει σε μικροσκοπικό επίπεδο. Πρέπει να κατανοήσετε την αριθμητική.
Την τελευταία δεκαετία, η άνθηση της Βαθιάς Μάθησης έχει στηριχθεί στην αριθμητική κινητής υποδιαστολής, συγκεκριμένα στο FP32 (32-bit κινητής υποδιαστολής) και πιο πρόσφατα στο FP16 ή BF16. Ένας αριθμός κινητής υποδιαστολής είναι ένα πολύπλοκο υπολογιστικό ον. Έχει σχεδιαστεί για να αναπαριστά ένα τεράστιο εύρος τιμών, από το υποατομικό έως το αστρονομικό. Για να το επιτύχει αυτό, χρησιμοποιεί 32 bit που χωρίζονται σε ένα bit προσήμου, έναν εκθέτη 8 bit και ένα mantissa 23 bit (συν ένα σιωπηρό προπορευόμενο 1).
Για να πολλαπλασιάσει δύο αριθμούς FP32, ένας επεξεργαστής πρέπει να εκτελέσει έναν πολύπλοκο χορό λογικών πυλών. Πρέπει να ευθυγραμμίσει τα δεκαδικά ψηφία (αποκανονικοποίηση), να πολλαπλασιάσει τα σημαντικά ψηφία (πολλαπλασιασμός 24x24 bit), να προσθέσει τους εκθέτες, να κανονικοποιήσει το αποτέλεσμα, να διαχειριστεί πέντε διαφορετικούς τρόπους στρογγυλοποίησης IEEE και να διαχειριστεί εξαιρέσεις όπως NaN, Infinity και underflow. Αυτή η λογική απαιτεί χιλιάδες τρανζίστορ να ενεργοποιούνται και να απενεργοποιούνται.
Κάθε φορά που ένα τρανζίστορ αλλάζει κατάσταση, καταναλώνει ενέργεια. Αυτό διέπεται από τη θεμελιώδη εξίσωση της φυσικής:
E = C × V² × f
Όπου E είναι η ενέργεια, C είναι η χωρητικότητα (ανάλογη με τον αριθμό των τρανζίστορ), V είναι η τάση και f είναι η συχνότητα μεταγωγής. Περισσότερα τρανζίστορ σημαίνουν μεγαλύτερη χωρητικότητα, που σημαίνει περισσότερη ενέργεια ανά λειτουργία.
Αλλά τα πράγματα χειροτερεύουν. Κάθε φορά που μετακινείτε αυτά τα 32 bit από τη μνήμη (DRAM) στην κρυφή μνήμη του επεξεργαστή, και από την κρυφή μνήμη στον καταχωρητή, καταναλώνετε επιπλέον ενέργεια. Στην πραγματικότητα, στα σύγχρονα υπολογιστικά συστήματα, η μετακίνηση δεδομένων κοστίζει σημαντικά περισσότερη ενέργεια από τον υπολογισμό τους. Η πρωτοποριακή εργασία του Horowitz από το Stanford (ISSCC 2014) έδειξε ότι η ανάγνωση από τη DRAM κοστίζει περίπου 200 φορές περισσότερη ενέργεια από την ίδια την εκτέλεση της αριθμητικής πράξης.
Αυτό είναι γνωστό ως το "Σημείο Συμφόρησης Von Neumann" και αποτελεί τον θεμελιώδη περιορισμό της σύγχρονης υπολογιστικής. Δεν περιοριζόμαστε από το πόσο γρήγορα μπορούμε να υπολογίσουμε· περιοριζόμαστε από το πόσο γρήγορα μπορούμε να τροφοδοτήσουμε τις μηχανές υπολογισμού με δεδομένα.
Σκεφτείτε τώρα ότι η εκπαίδευση ενός μεγάλου γλωσσικού μοντέλου όπως το GPT-4 περιλαμβάνει περίπου 10^24 (ένα επτάκι) από αυτές τις πράξεις κινητής υποδιαστολής. Το ελάχιστο ενεργειακό κόστος ενός μόνο πολλαπλασιασμού FP32, όταν πολλαπλασιαστεί επί ένα επτάκι, γίνεται πρόβλημα πλανητικής κλίμακας. Ουσιαστικά καίμε δάση για να πολλαπλασιάζουμε πίνακες με περιττή ακρίβεια.
Η Δυαδική Επανάσταση: Επαναπροσδιορίζοντας την Αναπαράσταση
Εδώ αλλάζουν τα δεδομένα τα Δυαδικά Νευρωνικά Δίκτυα. Αντιπροσωπεύουν έναν θεμελιώδη επαναπροσδιορισμό του τρόπου με τον οποίο αναπαριστούμε την πληροφορία σε έναν τεχνητό εγκέφαλο.
Σε ένα Δυαδικό Νευρωνικό Δίκτυο, αφαιρούμε την πολυπλοκότητα. Περιορίζουμε τα βάρη (τις συνδέσεις μεταξύ των νευρώνων) και τις ενεργοποιήσεις (την έξοδο των νευρώνων) σε μόλις δύο πιθανές τιμές: +1 και -1. Στο υλικό, αυτό αναπαρίσταται συνήθως ως 1 και 0, με το 0 να ερμηνεύεται μαθηματικά ως -1.
Αυτό ακούγεται σαν καταστροφική απώλεια ακρίβειας. Πώς μπορεί ένα δίκτυο να μάθει οτιδήποτε λεπτομερές (τη διαφορά ανάμεσα σε μια γάτα και έναν σκύλο, ή το συναίσθημα μιας πρότασης) με μόλις δύο αριθμούς; Η απάντηση βρίσκεται στη γεωμετρία υψηλών διαστάσεων της βαθιάς μάθησης.
Σκεφτείτε ένα πείραμα σκέψης. Αν σας δώσω έναν μόνο αριθμό μεταξύ -1 και +1, δεν μπορείτε να κωδικοποιήσετε πολλή πληροφορία. Αλλά αν σας δώσω ένα εκατομμύριο δυαδικούς αριθμούς, ο καθένας είτε +1 είτε -1, μπορείτε να κωδικοποιήσετε ένα αστρονομικό ποσό πληροφορίας μέσω των συνδυασμών και των μοτίβων τους. Η «σοφία του πλήθους» εκατομμυρίων δυαδικών νευρώνων αντισταθμίζει την έλλειψη ατομικής ακρίβειας.
Αυτό δεν είναι απλώς θεωρία. Έρευνες από ιδρύματα όπως το MIT, η Google και η Microsoft έχουν δείξει ότι τα δυαδικά δίκτυα μπορούν να επιτύχουν ακρίβεια μέσα σε λίγες ποσοστιαίες μονάδες από τα αντίστοιχα δίκτυα κινητής υποδιαστολής σε πολλές πρακτικές εργασίες, συμπεριλαμβανομένης της ταξινόμησης εικόνων, της ανίχνευσης αντικειμένων και της κατανόησης φυσικής γλώσσας.
Τα Μαθηματικά της Αποδοτικής Υπολογιστικής
Οι επιπτώσεις στο υλικό από αυτή τη μετάβαση από τον 32-bit αριθμό κινητής υποδιαστολής στον 1-bit δυαδικό αριθμό είναι βαθιές. Ας δούμε τα μαθηματικά βήμα βήμα.
Η Προσέγγιση της Κινητής Υποδιαστολής: Για να υπολογίσετε το εσωτερικό γινόμενο δύο διανυσμάτων (η θεμελιώδης πράξη στα νευρωνικά δίκτυα), πολλαπλασιάζετε τα αντίστοιχα στοιχεία και αθροίζετε τα αποτελέσματα. Με FP32, κάθε πολλαπλασιασμός απαιτεί τη σύνθετη διοχέτευση που περιγράφηκε παραπάνω. Για ένα διάνυσμα μήκους 512 (τυπικό στα νευρωνικά δίκτυα), χρειάζεστε 512 πολλαπλασιασμούς κινητής υποδιαστολής και 511 προσθέσεις.
Η Δυαδική Προσέγγιση: Όταν πολλαπλασιάζετε δύο δυαδικούς αριθμούς (+1 ή -1), η πράξη δεν είναι ένας σύνθετος πολλαπλασιασμός κινητής υποδιαστολής. Είναι μια απλή λογική πύλη XNOR. Αν τα bit είναι ίδια (και τα δύο +1 ή και τα δύο -1), το αποτέλεσμα είναι +1. Αν είναι διαφορετικά, το αποτέλεσμα είναι -1. Μια πύλη XNOR είναι από τις πιο πρωτόγονες, αποδοτικές δομές στα ψηφιακά ηλεκτρονικά: κυριολεκτικά τέσσερα τρανζίστορ.
Επιπλέον, η συσσώρευση (το άθροισμα των αποτελεσμάτων) γίνεται μια πράξη POPCNT (Population Count): η καταμέτρηση του αριθμού των bit με τιμή 1 σε μια δυαδική συμβολοσειρά. Οι σύγχρονες CPU έχουν εξειδικευμένες εντολές POPCNT από το 2008 (Intel Nehalem). Αυτό που απαιτούσε χιλιάδες τρανζίστορ και πολλούς κύκλους ρολογιού τώρα συμβαίνει σε έναν μόνο κύκλο.
Αλλά το πραγματικό θαύμα συμβαίνει όταν εξετάσετε τη διανυσματοποίηση. Οι σύγχρονες CPU έχουν καταχωρητές SIMD (Single Instruction, Multiple Data) με πλάτος 256 ή 512 bit. Με δυαδικές πράξεις, μπορείτε να συσκευάσετε 512 βάρη σε έναν μόνο καταχωρητή 512 bit και να εκτελέσετε και τις 512 πράξεις XNOR ταυτόχρονα. Αυτό είναι 16 φορές περισσότερες παράλληλες πράξεις από ό,τι μπορείτε να επιτύχετε με FP32 στο ίδιο υλικό.
Dweve Core: 1.937 αλγόριθμοι για δυαδική νοημοσύνη
Στη Dweve, δεν έχουμε απλώς πειραματιστεί με τα δυαδικά νευρωνικά δίκτυα ως ακαδημαϊκή περιέργεια. Έχουμε χτίσει ολόκληρο το υπολογιστικό μας θεμέλιο πάνω σε αυτή την αρχή. Το Dweve Core περιέχει 1.937 αλγόριθμους βελτιστοποιημένους για υλικό, σε 6 κατηγορίες και 132 ενότητες, όλοι σχεδιασμένοι εξ αρχής για δυαδικό και χαμηλής ακρίβειας υπολογισμό.
Η προσέγγισή μας ξεπερνά την απλή δυαδοποίηση. Υποστηρίζουμε ένα φάσμα επιπέδων κβάντισης:
- Δυαδικό (1 bit): συμπίεση 32x, η μέγιστη απόδοση για κατάλληλα φορτία εργασίας
- Τριαδικό (2 bit): συμπίεση 16x, προσθέτοντας μια κατάσταση «μηδέν» για αραιές αναπαραστάσεις
- 4 bit: συμπίεση 8x, το ιδανικό σημείο για πολλές γλωσσικές εργασίες
- 8 bit: συμπίεση 4x, ακρίβεια κοντά στο FP32 με σημαντικά κέρδη απόδοσης
Κάθε επίπεδο υποστηρίζεται από εξειδικευμένους αλγόριθμους βελτιστοποιημένους για συγκεκριμένα υπολογιστικά συστήματα:
- CPU: SSE2, AVX2, AVX-512, ARM NEON, ARM SVE/SVE2
- GPU: CUDA (NVIDIA), ROCm (AMD), Metal (Apple), Vulkan, WebGPU
- FPGA: Εγγενής σύνθεση πυλών XNOR με διοχετευμένα δέντρα αθροιστών
- WASM: Εκτέλεση σε πρόγραμμα περιήγησης με SIMD για ανάπτυξη σε συσκευές αιχμής
Αυτό δεν είναι θεωρητικό. Τα εσωτερικά μας σημεία αναφοράς σε παραγωγικά φορτία εργασίας δείχνουν σταθερά μείωση ενέργειας κατά 96% σε σύγκριση με ισοδύναμες υλοποιήσεις FP32, με απώλεια ακρίβειας συνήθως κάτω από 2% για εργασίες ταξινόμησης και παλινδρόμησης.
Το παράδοξο του Jevons: Θα οδηγήσει η αποδοτικότητα σε μεγαλύτερη κατανάλωση;
Οι οικονομολόγοι και οι ειδικοί σε θέματα βιωσιμότητας θα επισημάνουν αμέσως το παράδοξο του Jevons. Αυτή η οικονομική θεωρία, που πήρε το όνομά της από τον οικονομολόγο του 19ου αιώνα William Stanley Jevons, αναφέρει ότι καθώς η τεχνολογία γίνεται πιο αποδοτική, το κόστος χρήσης της μειώνεται, γεγονός που αυξάνει τη ζήτηση και οδηγεί σε υψηλότερη συνολική κατανάλωση αντί για χαμηλότερη.
Ο Jevons το παρατήρησε αυτό με τον άνθρακα: καθώς οι ατμομηχανές γίνονταν πιο αποδοτικές, δεν μείωσαν την κατανάλωση άνθρακα. Αντίθετα, η αποδοτικότητα έκανε την ατμοκίνηση οικονομικά βιώσιμη για περισσότερες εφαρμογές και η κατανάλωση άνθρακα εκτοξεύτηκε.
Αν κάνουμε την τεχνητή νοημοσύνη 96% φθηνότερη και πιο ενεργειακά αποδοτική, δεν θα τη χρησιμοποιήσουμε απλώς 100 φορές περισσότερο; Δεν θα βάλουμε τεχνητή νοημοσύνη σε τοστιέρες, οδοντόβουρτσες και αναλώσιμες ευχετήριες κάρτες;
Ίσως. Το φαινόμενο της ανάκαμψης είναι πραγματικό. Αλλά υπάρχει μια ποιοτική διαφορά στο πού καταναλώνεται αυτή η ενέργεια, κάτι που έχει τεράστια σημασία για τη σταθερότητα του δικτύου και τη βιωσιμότητα.
Η τρέχουσα ενεργειακή κρίση στην τεχνητή νοημοσύνη οφείλεται στην κεντρικοποιημένη εκπαίδευση και εξαγωγή συμπερασμάτων τεράστιων, μονολιθικών θεμελιωδών μοντέλων. Αυτά τα μοντέλα είναι τόσο βαριά που απαιτούν κεντρικοποιημένα κέντρα δεδομένων υπερ-κλίμακας. Αυτά τα κέντρα δεδομένων αποτελούν σημεία υψηλού φορτίου στο δίκτυο ηλεκτροδότησης, απαιτώντας εκατοντάδες μεγαβάτ σε μία μόνο τοποθεσία, επιβαρύνοντας τις γραμμές μεταφοράς και την τοπική δυναμικότητα παραγωγής.
Γι' αυτό η Ιρλανδία βρίσκεται σε κρίση. Γι' αυτό η Βόρεια Βιρτζίνια δεν προλαβαίνει να κατασκευάσει αρκετούς υποσταθμούς. Το πρόβλημα δεν είναι η συνολική ενέργεια· είναι η γεωγραφική συγκέντρωση.
Edge AI: Η πιο βιώσιμη μετάδοση είναι η ανύπαρκτη
Η δυαδική αποδοτικότητα επιτρέπει μια αλλαγή παραδείγματος: τη μεταφορά της νοημοσύνης στην άκρη του δικτύου. Αντί να στέλνετε τη φωνητική σας εντολή σε μια τεράστια φάρμα διακομιστών στην έρημο για να την επεξεργαστεί ένα τέρας 175 δισεκατομμυρίων παραμέτρων, μπορεί να επεξεργαστεί τοπικά στο τηλέφωνό σας, στον θερμοστάτη σας ή στο αυτοκίνητό σας, χρησιμοποιώντας ένα εξειδικευμένο δυαδικό μοντέλο που λειτουργεί με λίγα milliwatt.
Αυτό μετατοπίζει το ενεργειακό βάρος από το κεντρικό δίκτυο στις κατανεμημένες συσκευές. Το ενεργειακό κόστος γίνεται αμελητέο: μέρος της κανονικής χρήσης της μπαταρίας της συσκευής. Το να φορτίζετε το τηλέφωνό σας μία φορά την ημέρα δεν αποτελεί κρίση για το δίκτυο. Το να λειτουργεί ένα κέντρο δεδομένων 100MW στο Δυτικό Δουβλίνο αποτελεί.
Επιπλέον, επιτρέποντας την εκτός σύνδεσης AI στη συσκευή, εξαλείφουμε το ενεργειακό κόστος του δικτύου. Δεν χρειάζεται να ενεργοποιήσουμε τα ραδιόφωνα 5G, τους αναμεταδότες οπτικών ινών και τους κεντρικούς δρομολογητές για να στείλουμε τα δεδομένα στο cloud και πίσω. Η έρευνα δείχνει ότι η μετάδοση δεδομένων μέσω δικτύων κινητής τηλεφωνίας κοστίζει περίπου 0,5 kWh ανά gigabyte. Η πιο ενεργειακά αποδοτική μετάδοση δεδομένων είναι αυτή που δεν πραγματοποιείται ποτέ.
Η αρχιτεκτονική μας Dweve Loom, με τα 456 εξειδικευμένα σύνολα περιορισμών που το καθένα περιέχει 64-128MB δυαδικών περιορισμών, έχει σχεδιαστεί ειδικά για αυτό το κατανεμημένο μοντέλο. Μόνο 4-8 εξειδικευμένοι τομείς ενεργοποιούνται ταυτόχρονα για οποιοδήποτε δεδομένο ερώτημα, και η δυαδική αναπαράσταση σημαίνει ότι αυτοί οι εξειδικευμένοι τομείς χωρούν άνετα στην κρυφή μνήμη ακόμη και μέτριων συσκευών άκρου δικτύου.
Η βιωσιμότητα ως μετρική ποιότητας κώδικα
Για πάρα πολύ καιρό, ο κλάδος της μηχανικής λογισμικού αγνοούσε την ενέργεια. Βελτιστοποιήσαμε για την ταχύτητα ανάπτυξης («στείλε το γρήγορα») ή για την ακατέργαστη απόδοση («κάνε το γρήγορα»), αλλά σπάνια για την ενέργεια («κάνε το ελαφρύ»). Αντιμετωπίσαμε τον ηλεκτρισμό ως έναν άπειρο, αόρατο πόρο.
Στην εποχή της κλιματικής κρίσης, αυτό αποτελεί επαγγελματική αμέλεια. Ο κώδικας που σπαταλά ενέργεια είναι κακός κώδικας. Μια αρχιτεκτονική που απαιτεί έναν πυρηνικό σταθμό για να απαντήσει σε ένα απλό ερώτημα εξυπηρέτησης πελατών είναι κακή αρχιτεκτονική.
Σκεφτείτε το από την οπτική γωνία των συστημάτων. Όταν γράφετε μια συνάρτηση που εκτελεί περιττές πράξεις κινητής υποδιαστολής, δεν σπαταλάτε απλώς κύκλους. Προκαλείτε την εναλλαγή τρανζίστορ, τη ροή ηλεκτρονίων, την παραγωγή θερμότητας και, τελικά, την εκπομπή διοξειδίου του άνθρακα κάπου. Αυτό ισχύει είτε το βλέπετε είτε όχι.
Η ίδια αρχή που μας οδήγησε να νοιαζόμαστε για τις διαρροές μνήμης (αόρατη σπατάλη πόρων) θα πρέπει να μας οδηγήσει να νοιαζόμαστε για τη σπατάλη ενέργειας. Και οι δύο αντιπροσωπεύουν αποτυχία της μηχανικής πειθαρχίας.
CSRD και η επερχόμενη κανονιστική πραγματικότητα
Το κανονιστικό τοπίο ακολουθεί αυτή την πραγματικότητα. Η Οδηγία της ΕΕ για την Εταιρική Αναφορά Βιωσιμότητας (CSRD) υποχρεώνει τις μεγάλες εταιρείες να λογοδοτούν για τις εκπομπές Πεδίου 3. Το Πεδίο 3 περιλαμβάνει τις ανάντη και κατάντη εκπομπές των προϊόντων και υπηρεσιών που αγοράζουν.
Αυτό σημαίνει ότι σύντομα οι επιχειρηματικοί πελάτες θα απαιτούν να γνωρίζουν το αποτύπωμα άνθρακα των υπηρεσιών AI που αγοράζουν. Η «Πράσινη AI» δεν θα είναι απλώς ένα σύνθημα μάρκετινγκ· θα είναι μια αυστηρή απαίτηση προμηθειών. Μια τράπεζα δεν θα αγοράσει ένα σύστημα ανίχνευσης απάτης με AI αν αυτό καταστρέφει τις δεσμεύσεις της για Μηδενικές Καθαρές Εκπομπές.
Τα Ευρωπαϊκά Πρότυπα Αναφοράς Βιωσιμότητας (ESRS) απαιτούν από τις εταιρείες να αναφέρουν:
- E1 Κλιματική Αλλαγή: Συμπεριλαμβανομένης της κατανάλωσης ενέργειας και των εκπομπών αερίων του θερμοκηπίου
- E3 Υδάτινοι και Θαλάσσιοι Πόροι: Σχετικό με την ψύξη των κέντρων δεδομένων
- Εκπομπές Πεδίου 3: Συμπεριλαμβανομένων των αγορασθέντων αγαθών και υπηρεσιών (AI APIs)
Οι εταιρείες που αγοράζουν υπηρεσίες AI θα χρειαστεί να λαμβάνουν δεδομένα έντασης άνθρακα από τους παρόχους τους. Οι πάροχοι που δεν μπορούν να αποδείξουν ενεργειακά αποδοτικές αρχιτεκτονικές θα βρεθούν αποκλεισμένοι από τα ευρωπαϊκά επιχειρηματικά συμβόλαια.
Αυτό δεν είναι υποθετικό σενάριο. Μεγάλες ευρωπαϊκές τράπεζες, ασφαλιστικές εταιρείες και βιομηχανικοί όμιλοι κατασκευάζουν ήδη πλαίσια υπολογισμού Scope 3 που περιλαμβάνουν υπηρεσίες cloud και AI. Έως το 2026, η υποβολή εκθέσεων CSRD θα είναι υποχρεωτική για εταιρείες με περισσότερους από 250 υπαλλήλους.
Το Μέλλον του Πράσινου Υπολογισμού
Η μετάβαση στην Πράσινη Τεχνητή Νοημοσύνη απαιτεί κάτι περισσότερο από αποδοτικούς αλγορίθμους. Απαιτεί μια ολιστική επανεξέταση ολόκληρης της υπολογιστικής στοίβας.
Επανεξέταση του Υλικού
Βλέπουμε την άνοδο των νευρομορφικών τσιπ και των αρχιτεκτονικών υπολογισμού εντός μνήμης, που έχουν σχεδιαστεί ειδικά για δυαδικές λειτουργίες χαμηλής ακρίβειας και αραιότητας. Αυτά τα τσιπ μιμούνται τον ανθρώπινο εγκέφαλο, ο οποίος λειτουργεί με περίπου 20 βατ ισχύος (λιγότερο από έναν αμυδρό λαμπτήρα), αλλά υπερτερεί των υπερυπολογιστών μεγαβάτ στη γενίκευση και τη μάθηση.
Το Loihi της Intel, το TrueNorth της IBM και πολλά τσιπ από νεοφυείς επιχειρήσεις διερευνούν αυτή την κατεύθυνση. Αλλά δεν χρειάζεται να περιμένετε για εξωτικό υλικό. Οι αλγόριθμοι του Dweve Core είναι βελτιστοποιημένοι για τις μονάδες SIMD που υπάρχουν ήδη σε κάθε σύγχρονη CPU. Οι πυρήνες AVX-512 μας προσφέρουν συμπερασματολογία δυαδικών νευρωνικών δικτύων με ταχύτητες που ανταγωνίζονται τη συμπερασματολογία κινητής υποδιαστολής που βασίζεται σε GPU, με ένα κλάσμα της κατανάλωσης ενέργειας.
Επανεξέταση των Δεδομένων
Πρέπει να επιμελούμαστε μικρότερα, υψηλότερης ποιότητας σύνολα δεδομένων, ώστε να εκπαιδεύουμε μικρότερα, πιο αποδοτικά μοντέλα, αντί να βασιζόμαστε στη μέθοδο της ωμής βίας που καταναλώνει ολόκληρο το διαδίκτυο. Αυτή η προσέγγιση, την οποία αποκαλούμε «Data Dignity», αναγνωρίζει ότι τα περισσότερα δεδομένα δεν είναι πάντα καλύτερα δεδομένα.
Η τρέχουσα προσέγγιση του κλάδου, που απορροφά κάθε κείμενο στο διαδίκτυο και το ρίχνει σε ένα γιγαντιαίο μοντέλο, είναι το υπολογιστικό ισοδύναμο της επιφανειακής εξόρυξης. Είναι σπάταλη, καταστροφική για το περιβάλλον και, τελικά, μη βιώσιμη.
Επανεξέταση των Προσδοκιών
Χρειαζόμαστε πραγματικά ένα μοντέλο με τρισεκατομμύρια παραμέτρους για να ρυθμίσουμε ένα χρονόμετρο ή να συνοψίσουμε ένα email; Ή μήπως αυτό είναι υπερβολή;
Η αρχή της «σωστής διαστασιολόγησης» των μοντέλων ΤΝ ανάλογα με την εκάστοτε εργασία είναι θεμελιώδης για τον βιώσιμο υπολογισμό. Ένας δυαδικός ταξινομητής για την ανίχνευση ανεπιθύμητης αλληλογραφίας δεν χρειάζεται την ίδια αρχιτεκτονική με ένα μοντέλο που δημιουργεί λογοτεχνική μυθοπλασία. Ωστόσο, η τάση του κλάδου είναι να χρησιμοποιούνται τα ίδια τεράστια θεμελιώδη μοντέλα για τα πάντα, σαν να διασχίζουμε ένα ποτάμι με κρουαζιερόπλοιο.
Η αρχιτεκτονική του Dweve ενστερνίζεται ρητά αυτή την αρχή. Τα 456 εξειδικευμένα σύνολα περιορισμών ανά τομέα σημαίνουν ότι μόνο οι σχετικοί εξειδικευμένοι τομείς ενεργοποιούνται για κάθε εργασία. Μια απλή ταξινόμηση μπορεί να ενεργοποιήσει 4 εξειδικευμένους τομείς. Μια σύνθετη εργασία συλλογισμού μπορεί να ενεργοποιήσει 8. Αλλά δεν σπαταλάμε ποτέ ενέργεια τρέχοντας ολόκληρο το μοντέλο όταν αρκεί ένα κλάσμα του.
Ένας Δρόμος προς τα Εμπρός: Πρακτικά Βήματα για την Υιοθέτηση του Πράσινου AI
Αν είστε επιχείρηση που εξετάζει τη στρατηγική σας για το AI μέσα από τον φακό της βιωσιμότητας, ορίστε συγκεκριμένα βήματα που μπορείτε να εξετάσετε:
1. Μετρήστε το αποτύπωμα άνθρακα του AI σας: Πριν μπορέσετε να μειώσετε τις εκπομπές, πρέπει να τις κατανοήσετε. Συνεργαστείτε με τους παρόχους AI σας για να λάβετε δεδομένα έντασης άνθρακα ανά συμπέρασμα. Αν δεν μπορούν να τα παρέχουν, αυτό από μόνο του είναι χρήσιμη πληροφορία για την ωριμότητά τους σε θέματα βιωσιμότητας.
2. Προσαρμόστε το μέγεθος των μοντέλων σας: Ελέγξτε τις αναπτύξεις AI σας. Χρησιμοποιείτε ένα μοντέλο 175B παραμέτρων για εργασίες που θα μπορούσε να διαχειριστεί ένα μοντέλο 1B παραμέτρων (ή ένα δυαδικό μοντέλο); Η εξοικονόμηση ενέργειας από τη σωστή διαστασιολόγηση των μοντέλων μπορεί να είναι τάξεις μεγέθους.
3. Εξετάστε την ανάπτυξη στο άκρο: Για εργασίες ανεκτικές σε καθυστέρηση, μπορεί το συμπέρασμα να γίνει στη συσκευή αντί στο cloud; Τα δυαδικά μοντέλα επιτρέπουν σενάρια ανάπτυξης στο άκρο που ήταν προηγουμένως αδύνατα.
4. Απαιτήστε διαφάνεια: Συμπεριλάβετε απαιτήσεις έντασης άνθρακα στα κριτήρια προμηθειών AI σας. Καθώς η υποβολή εκθέσεων CSRD γίνεται υποχρεωτική, θα χρειαστείτε αυτά τα δεδομένα ούτως ή άλλως. Ξεκινώντας τώρα σας βάζει μπροστά από την κανονιστική καμπύλη.
5. Αξιολογήστε δυαδικές εναλλακτικές: Για ταξινόμηση, παλινδρόμηση και πολλές γλωσσικές εργασίες, τα δυαδικά νευρωνικά δίκτυα προσφέρουν ισοδύναμη ακρίβεια με 96% χαμηλότερο ενεργειακό κόστος. Η τεχνολογία είναι έτοιμη για παραγωγή.
Συμπέρασμα: Τα Μαθηματικά είναι Απλά
Το μέλλον του AI δεν είναι μεγαλύτερες GPU. Δεν είναι περισσότεροι πυρηνικοί σταθμοί για να τροφοδοτούν τα κέντρα δεδομένων. Το μέλλον του AI είναι εξυπνότερη αριθμητική. Είναι αποδοτικό, κατανεμημένο και δυαδικό. Ήρθε η ώρα να κάνουμε τη νοημοσύνη βιώσιμη.
Βρισκόμαστε σε ένα σταυροδρόμι. Ο ένας δρόμος οδηγεί σε συνεχή εκθετική αύξηση της κατανάλωσης ενέργειας του AI, με όλες τις περιβαλλοντικές συνέπειες και τις συνέπειες στη σταθερότητα του δικτύου που αυτό συνεπάγεται. Ο άλλος δρόμος οδηγεί σε αποδοτικό, βιώσιμο AI που μπορεί να κλιμακωθεί για να εξυπηρετήσει δισεκατομμύρια ανθρώπους χωρίς να καταστρέψει τον πλανήτη.
Η διαφορά μεταξύ αυτών των δρόμων δεν είναι η σταδιακή βελτιστοποίηση ή οι πιστώσεις ανανεώσιμης ενέργειας. Η διαφορά είναι αρχιτεκτονική. Είναι η διαφορά μεταξύ 32 bit περιττής ακρίβειας και της κομψής απλότητας του +1 και του -1.
Στη Dweve, έχουμε επιλέξει τον δικό μας δρόμο. Τα συστήματά μας καταναλώνουν 96% λιγότερη ενέργεια από τα παραδοσιακά μοντέλα κινητής υποδιαστολής, διατηρώντας παράλληλα ισοδύναμη ακρίβεια για φόρτους εργασίας επιχειρήσεων. Είτε αντιμετωπίζετε απαιτήσεις συμμόρφωσης με την CSRD, είτε σας απασχολεί το αποτύπωμα άνθρακα του οργανισμού σας, είτε απλώς πιστεύετε ότι η βιώσιμη τεχνολογία είναι καλύτερη τεχνολογία, προσφέρουμε μια συγκεκριμένη εναλλακτική στο ενεργοβόρο καθεστώς που επικρατεί.
Τα μαθηματικά είναι απλά: πιο πράσινη τεχνητή νοημοσύνη ξεκινά με πιο λιτή αριθμητική. Το μέλλον της νοημοσύνης είναι δυαδικό.