Το ενεργειακό κόστος που κρύβει ο σχεδιασμός μοντέλων
Ο μετρητής στη γωνία
Η πρώτη χρήσιμη συζήτηση για την ενέργεια της τεχνητής νοημοσύνης σπάνια ξεκινά με ένα μοντέλο. Ξεκινά με έναν μετρητή. Κάπου στο κτίριο, συχνά σε έναν χώρο που δεν κατηγορήθηκε ποτέ για αισθητική, ο ηλεκτρισμός μετατρέπεται σε θερμότητα, καθυστέρηση, τιμολόγια και, περιστασιακά, σε χρήσιμη δουλειά. Ο πίνακας ελέγχου στον επάνω όροφο μπορεί να το αποκαλεί ευφυΐα. Η ομάδα συντήρησης το αποκαλεί φορτίο. Και οι δύο έχουν δίκιο, αλλά μόνο ο ένας λαμβάνει λογαριασμό με αριθμούς που πρέπει να πληρωθούν.
Η ενέργεια της τεχνητής νοημοσύνης συζητείται συχνά ως πρόβλημα των κέντρων δεδομένων. Καλύτερη ψύξη, καλύτερα τσιπ, καθαρότερη ενέργεια, εξυπνότερος προγραμματισμός, πιο αποδοτικά ράφια. Όλα αυτά έχουν σημασία. Οι άνθρωποι των υποδομών εδώ και καιρό αποσπούν χρήσιμο έργο από τα βατώρια, συνήθως χωρίς το χειροκρότημα που δίνεται σε όποιο μοντέλο φοράει αυτή τη στιγμή το στέμμα. Ωστόσο, ένα εκπληκτικό μέρος του λογαριασμού ενέργειας γράφεται πριν το φορτίο φτάσει στο κέντρο δεδομένων. Γράφεται στον σχεδιασμό του μοντέλου.
Μια αρχιτεκτονική μοντέλου δεσμεύει μελλοντική ενέργεια. Το ίδιο κάνει και το μήκος περιβάλλοντος. Το ίδιο κάνει και η επιλογή να απαντάμε σε κάθε ερώτηση με ένα μεγάλο γενικό μοντέλο, όταν μια μικρότερη εξειδικευμένη διαδρομή θα αρκούσε. Το ίδιο κάνει και ένας σχεδιασμός ανάκτησης που μετακινεί υπερβολικό κείμενο, ένα στυλ προτροπής που γεμίζει έγγραφα στο παράθυρο επειδή κανείς δεν ήθελε να χτίσει σωστά την ευρετηρίαση, μια στρατηγική αποκωδικοποίησης που παράγει περιττά διακριτικά, μια διαδρομή εξυπηρέτησης που δεν μπορεί να ομαδοποιήσει, μια επιλογή ακρίβειας που έγινε για άνεση και μια κουλτούρα αξιολόγησης που επιβραβεύει τη λάμψη των μετρήσεων ενώ αγνοεί το λειτουργικό κόστος.
Ο λογαριασμός ενέργειας κρύβεται εκεί επειδή οι σχεδιαστικές επιλογές φαίνονται αφηρημένες. Ένα μεγαλύτερο παράθυρο περιβάλλοντος ακούγεται σαν δυνατότητα. Ένα μεγαλύτερο μοντέλο ακούγεται σαν περιθώριο. Περισσότερα εργαλεία ακούγονται σαν ευελιξία. Περισσότερη δειγματοληψία ακούγεται σαν δημιουργικότητα. Περισσότερη ανάκτηση ακούγεται σαν τεκμηρίωση. Κάθε ένα μπορεί να είναι χρήσιμο. Κάθε ένα ζητά επίσης από την υποδομή να κάνει δουλειά. Μερικές φορές η δουλειά αξίζει τον κόπο. Μερικές φορές η μηχανή καίει ενέργεια για να αντισταθμίσει έναν σχεδιασμό που δεν ήθελε να αποφασίσει πού θα ζήσουν η γνώση, η μνήμη, η δρομολόγηση και η ευθύνη.
Το συμπέρασμα είναι εκεί που ο σχεδιασμός γίνεται λογαριασμός κοινής ωφέλειας
Η εκπαίδευση συγκεντρώνει μεγάλο μέρος της προσοχής επειδή οι αριθμοί είναι μεγάλοι και τα συστήματα ακούγονται κινηματογραφικά. Το συμπέρασμα είναι λιγότερο εντυπωσιακό και συχνά πιο επίμονο. Είναι η καθημερινή δουλειά της εξυπηρέτησης ερωτήσεων, περιλήψεων, ταξινομήσεων, συστάσεων, αναζητήσεων, πρακτόρων και εσωτερικών εργαλείων. Κάθε αίτημα μπορεί να είναι μικρό. Μαζί γίνονται ο λογαριασμός κοινής ωφέλειας που ακολουθεί το προϊόν παντού, σαν ένας πολύ συνεπής λογιστής.
Το κόστος συμπερασμού διαμορφώνεται από τον όγκο υπολογισμών, τη μετακίνηση μνήμης, τη μετακίνηση δικτύου, την αδρανή χωρητικότητα και τις επαναλήψεις που απαιτούνται ανά χρήσιμη απάντηση. Η φράση «χρήσιμη απάντηση» έχει σημασία. Αν ένα σύστημα παράγει τρεις παραγράφους όπου ένα πεδίο θα αρκούσε, αυτό δεν είναι μόνο πρόβλημα εμπειρίας χρήστη. Είναι ενέργεια που δαπανάται για φλυαρία. Αν μια ροή εργασίας καλεί ένα μεγάλο μοντέλο πέντε φορές επειδή η διαδικασία δεν αναλύθηκε σε βήματα, ο λογαριασμός είναι ανατροφοδότηση σχεδιασμού. Αν ένας πράκτορας δοκιμάζει εργαλεία σε κύκλο επειδή η κατάσταση είναι ασαφής, η θερμότητα που βγαίνει από το ράφι είναι εν μέρει πρόβλημα διακυβέρνησης που φοράει διακριτικό συστημάτων.
Τα μεγάλα περιβάλλοντα περιβάλλοντος είναι καλό παράδειγμα. Είναι πολύτιμα όταν η εργασία χρειάζεται πραγματικά εκτενή αποδεικτικά στοιχεία. Είναι σπάταλα όταν χρησιμοποιούνται ως υποκατάστατο της επιλογής πηγών. Το να πετάς ολόκληρο εγχειρίδιο πολιτικής στο περιβάλλον επειδή η ανάκτηση είναι αδύναμη είναι το ισοδύναμο της τεχνητής νοημοσύνης του να φέρνεις ολόκληρο το αρχειοθήκη σε μια συνάντηση σε περίπτωση που μια παράγραφος γίνει σχετική. Λειτουργεί μέχρι κάποιος να χρειαστεί να κουβαλήσει το αρχειοθήκη. Στην πληροφορική, το να κουβαλάς το αρχειοθήκη μοιάζει με εύρος ζώνης μνήμης, κόστος προσοχής, καθυστέρηση και ισχύ.
Ο καλύτερος σχεδιασμός μοντέλων ρωτά ποιες πληροφορίες θα πρέπει να είναι στα βάρη, τι θα πρέπει να είναι στην ανάκτηση, τι θα πρέπει να είναι στα εργαλεία, τι θα πρέπει να αποθηκεύεται στην κρυφή μνήμη, τι θα πρέπει να υπολογίζεται τοπικά και τι θα πρέπει να απορρίπτεται. Αυτά είναι ερωτήματα ενέργειας όσο και ερωτήματα αρχιτεκτονικής. Μια άρνηση μπορεί να εξοικονομήσει ενέργεια όταν η εργασία είναι εκτός πεδίου. Ένας μικρός ταξινομητής μπορεί να δρομολογήσει την εργασία πριν ξυπνήσει ένα μεγάλο μοντέλο. Ένα καλό ευρετήριο μπορεί να μειώσει το περιβάλλον. Ένα τυποποιημένο εργαλείο μπορεί να επιστρέψει μια τιμή χωρίς να ζητά από ένα γλωσσικό μοντέλο να αφηγηθεί τον δρόμο του μέσα από την αριθμητική, κάτι που είναι ευεργετικό και για τα βατ και για τους αναγνώστες.
Το μέγεθος δεν είναι το ίδιο με την ισχύ
Η δημόσια φαντασία εξακολουθεί να αντιμετωπίζει το μέγεθος του μοντέλου ως απλό δείκτη ισχύος. Το μεγαλύτερο πρέπει να είναι καλύτερο, ή τουλάχιστον πιο σοβαρό. Οι μηχανικοί γνωρίζουν ότι η ιστορία είναι λιγότερο τακτοποιημένη. Ένα μεγάλο πυκνό μοντέλο μπορεί να είναι εξαιρετικό, αλλά δεν είναι αυτόματα η σωστή μονάδα λειτουργίας για κάθε εργασία. Πολλές εργασίες παραγωγής έχουν στενή δομή: ταξινόμησε αυτόν τον τύπο εγγράφου, εξαγωγή αυτών των πεδίων, απάντησε από αυτή την πηγή, μετέφρασε αυτή τη φόρμα, δρομολόγησε αυτό το εισιτήριο, έλεγξε αυτή την προϋπόθεση πολιτικής. Η χρήση μέγιστης γενικότητας για ελάχιστη ασάφεια είναι μερικές φορές σαν να ζεσταίνεις σούπα με κινητήρα τζετ. Τεχνικά δυνατό. Οι αντιδράσεις της γειτονιάς ποικίλλουν.
Μικρότερα μοντέλα, εξειδικευμένες κεφαλές, σχεδιασμοί με ενισχυμένη ανάκτηση, περιορισμένοι αποκωδικοποιητές, συμβολικοί έλεγχοι και κλασικοί αλγόριθμοι μπορούν όλα να μειώσουν την ενέργεια όταν χρησιμοποιούνται στο σωστό σημείο. Το θέμα δεν είναι το μικρό για χάρη του μικρού. Το θέμα είναι η καταλληλότητα για την εργασία. Ένα συμπαγές μοντέλο που απαντά αξιόπιστα σε μία εργασία υψηλού όγκου μπορεί να είναι πολύ πιο αποδοτικό από ένα γενικό μοντέλο που καλείται να προσποιηθεί ότι κάθε εργασία είναι ένα μυθιστόρημα. Μια μηχανή κανόνων μπορεί να είναι καλύτερη για ντετερμινιστική επιλεξιμότητα. Ένα ερώτημα βάσης δεδομένων μπορεί να είναι καλύτερο για γνωστά γεγονότα. Ένα ευρετήριο αναζήτησης μπορεί να είναι καλύτερο για επιλογή υποψηφίων. Ένα γλωσσικό μοντέλο μπορεί στη συνέχεια να κάνει αυτό στο οποίο είναι καλά τα γλωσσικά μοντέλα: σύνθεση, διαχείριση ασάφειας, εξήγηση και σύνταξη εντός ορίων.
Οι αρχιτεκτονικές μείγματος και αραιής ενεργοποίησης περιπλέκουν την εικόνα. Η ενεργοποίηση μόνο μέρους ενός μοντέλου μπορεί να μειώσει τον υπολογισμό, αλλά η δρομολόγηση, η διάταξη μνήμης, η ομαδοποίηση και η υποστήριξη υλικού καθορίζουν αν η θεωρητική εξοικονόμηση γίνεται πραγματική. Μια κομψή αρχιτεκτονική στα χαρτιά μπορεί να γίνει μποτιλιάρισμα στην παραγωγή αν τα αιτήματα διασκορπίζονται σε ειδικούς και η μνήμη δεν μπορεί να συμβαδίσει. Η αποδοτικότητα δεν είναι σύνθημα που κολλάς σε μια εργασία. Είναι ιδιότητα ολόκληρης της διαδρομής εξυπηρέτησης.
Γι' αυτό ο σχεδιασμός με επίγνωση της ενέργειας χρειάζεται μέτρηση στο περιβάλλον όπου θα λειτουργήσει το σύστημα. Η ακρίβεια των σημείων αναφοράς από μόνη της δεν αρκεί. Τα διακριτικά ανά τζάουλ, η πίεση μνήμης, η κατανομή καθυστέρησης, η δυνατότητα ομαδοποίησης, το ποσοστό επιτυχίας κρυφής μνήμης, η μετακίνηση δικτύου, οι ψυχρές εκκινήσεις και οι επαναλήψεις αποτυχίας έχουν σημασία. Η καλύτερη αρχιτεκτονική δεν είναι αυτή που κερδίζει ένα μόνο γράφημα. Είναι αυτή που παρέχει την απαιτούμενη ποιότητα με τη λιγότερη αποφευκτέα εργασία υπό πραγματική ζήτηση.
Η μετακίνηση μνήμης είναι αθόρυβη δουλειά
Στους ανθρώπους αρέσει να μετράνε πράξεις. Το υλικό συχνά παραπονιέται για τη μετακίνηση. Η μεταφορά βαρών, ενεργοποιήσεων, κλειδιών, τιμών, τμημάτων πηγής, ενσωματώσεων και αρχείων καταγραφής μέσω μνήμης και δικτύων καταναλώνει χρόνο και ενέργεια. Ένα μοντέλο μπορεί να έχει εντυπωσιακή αριθμητική ικανότητα και παρόλα αυτά να περιορίζεται από τον όγκο δεδομένων που πρέπει να μετακινηθούν για να τροφοδοτείται συνεχώς. Ο χρήστης βλέπει ένα spinner. Η υποδομή βλέπει μια υπηρεσία διανομής αριθμών.
Ο σχεδιασμός του μοντέλου επηρεάζει αυτή τη μετακίνηση. Οι επιλογές ακρίβειας καθορίζουν πόσα byte ταξιδεύουν για κάθε τιμή. Η κβάντιση μπορεί να μειώσει τις ανάγκες εύρους ζώνης και χωρητικότητας μνήμης, αλλά πρέπει να δοκιμάζεται στην εργασία, γιατί μια φθηνή λάθος απάντηση δεν είναι αποδοτικότητα. Το μήκος περιβάλλοντος καθορίζει πόση κατάσταση μεταφέρεται μέσω της προσοχής. Ο σχεδιασμός ανάκτησης καθορίζει πόσα τμήματα εισέρχονται στο prompt. Η προσωρινή αποθήκευση καθορίζει αν αποφεύγεται επαναλαμβανόμενη εργασία. Η τοπικότητα καθορίζει αν τα δεδομένα ταξιδεύουν μεταξύ περιοχών, υπηρεσιών ή συσκευών πριν εμφανιστεί ένα token.
Μερικές από τις καλύτερες εξοικονομήσεις ενέργειας δεν έχουν τίποτα το εντυπωσιακό. Καρφώστε τη σωστή έκδοση μοντέλου. Αποφύγετε περιττό πρόλογο στα prompts. Αφαιρέστε επαναλαμβανόμενες οδηγίες που δεν κάνουν τίποτα. Χρησιμοποιήστε δομημένες εξόδους αντί για φλύαρη πεζογραφία όπου η ροή εργασίας χρειάζεται πεδία. Αποθηκεύστε προσωρινά σταθερά αποτελέσματα εργαλείων. Αφαιρέστε διπλότυπα έγγραφα πριν από την ευρετηρίαση. Λήξτε παλιές ενσωματώσεις. Κρατήστε τα hot indexes κοντά στη διαδρομή εξυπηρέτησης. Ομαδοποιήστε συμβατά αιτήματα. Μεταγλωττίστε συνηθισμένες διαδρομές. Μετρήστε την έξοδο token, όχι μόνο την είσοδο. Αυτές δεν είναι μεγαλειώδεις χειρονομίες. Είναι συντήρηση με βατόμετρο.
Το δύσκολο σημείο είναι ότι πολλές ομάδες δεν βλέπουν τη μετακίνηση μνήμης ως ζήτημα προϊόντος. Τη βλέπουν ως σωληνώσεις υποδομής. Αλλά οι χρήστες πληρώνουν για αυτή μέσω της καθυστέρησης, οι οργανισμοί μέσω της ενέργειας και των λογαριασμών cloud, και η κοινωνία μέσω της ζήτησης στο δίκτυο. Αν ο σχεδιασμός ενός προϊόντος ενθαρρύνει μακρά prompts, επαναλαμβανόμενες κλήσεις, περιττές επαναλήψεις και μόνιμα ενεργά γενικά μοντέλα, τότε το προϊόν είναι μέρος του ενεργειακού συστήματος. Στον μετρητή ρεύματος δεν τον νοιάζει ποιο τμήμα πήρε την απόφαση. Έχει αξιοθαύμαστα ελάχιστο σεβασμό για τα οργανογράμματα.
Η ενέργεια διαρρέει μέσα από τη στοίβα
Ο λογαριασμός ενέργειας δεν βρίσκεται σε ένα μόνο επίπεδο. Διαρρέει μέσα από τη στοίβα. Οι επιλογές στα δεδομένα εκπαίδευσης επηρεάζουν το μέγεθος και την εξειδίκευση του μοντέλου. Οι αρχιτεκτονικές επιλογές επηρεάζουν την ενεργοποίηση και τη μνήμη. Οι επιλογές tokenizer και περιβάλλοντος επηρεάζουν το μήκος ακολουθίας. Οι επιλογές ανάκτησης επηρεάζουν τη μετακίνηση και τη θεμελίωση. Οι επιλογές prompts επηρεάζουν τα tokens. Οι επιλογές αποκωδικοποίησης επηρεάζουν το μήκος εξόδου. Οι επιλογές εξυπηρέτησης επηρεάζουν την ομαδοποίηση και την αδρανή χωρητικότητα. Οι επιλογές υλικού επηρεάζουν την αποδοτικότητα. Οι επιλογές παρακολούθησης επηρεάζουν το πόσο γρήγορα ανακαλύπτεται η σπατάλη. Αν κανείς δεν κατέχει ολόκληρη τη διαδρομή, η σπατάλη γίνεται το δευτερεύον ζήτημα όλων των άλλων και ο μετρητής συνεχίζει την αθόρυβη δουλειά του.
Μια προβολή σε επίπεδα στοίβας βοηθά, γιατί δείχνει πού ανήκουν οι παρεμβάσεις. Αν το πρόβλημα είναι το υπερβολικά μεγάλο πλαίσιο, η αγορά καλύτερου υλικού μπορεί απλώς να αναβάλει τον λογαριασμό. Αν το πρόβλημα είναι η κακή δρομολόγηση, η κβάντιση μπορεί να βοηθήσει λιγότερο από έναν φθηνό ταξινομητή μπροστά. Αν το πρόβλημα είναι η χαμηλή χρησιμοποίηση, η αρχιτεκτονική μπορεί να έχει μικρότερη σημασία από την ομαδοποίηση και τον προγραμματισμό. Αν το πρόβλημα είναι η παρωχημένη ανάκτηση, η ενέργεια δαπανάται για την παραγωγή άρτιων απαντήσεων από λάθος υλικό, κάτι που αποτελεί τραγική χρήση ηλεκτρονίων.
Υπάρχουν βέβαια αντισταθμίσεις. Η μείωση της ενέργειας δεν μπορεί να επιτραπεί να βλάψει την ασφάλεια, την προσβασιμότητα ή τη δικαιοσύνη. Ένα μικρότερο μοντέλο που αποτυγχάνει σε ακραίες περιπτώσεις μπορεί απλώς να μεταφέρει το κόστος στους ανθρώπους. Η επιθετική προσωρινή αποθήκευση μπορεί να εξυπηρετεί παρωχημένες απαντήσεις. Η κβάντιση μπορεί να βλάψει τη συμπεριφορά σε σπάνιες γλώσσες. Μια τοπική διαδρομή μπορεί να μειώσει τη μετακίνηση δεδομένων στο δίκτυο, αλλά να αυξήσει τον πλεονασμό. Αυτές οι αντισταθμίσεις είναι πραγματικές. Η απάντηση είναι η μέτρηση, όχι τα συνθήματα. Μετρήστε μαζί την ποιότητα, την ενέργεια, την καθυστέρηση, την επισκευή σφαλμάτων και τον φόρτο εργασίας των ανθρώπων. Μια βατώρα που εξοικονομείται κάνοντας το προσωπικό να επισκευάζει κακή έξοδο δεν είναι εξοικονόμηση. Είναι απλώς μεταφορά της θερμότητας στους ανθρώπους.
Γι' αυτό η ενέργεια του μοντέλου θα πρέπει να αποτελεί μέρος της αναθεώρησης σχεδιασμού. Όχι ως ηθικό επακόλουθο, αλλά ως ιδιότητα της μηχανικής. Ποια είναι η αναμενόμενη ενέργεια ανά χρήσιμη απάντηση. Ποια στοιχεία κυριαρχούν. Ποια αιτήματα αποτελούν ακραίες τιμές. Ποια είναι η διαδρομή εναλλακτικής λύσης. Τι συμβαίνει κατά τη διάρκεια της αιχμής φορτίου. Τι μπορεί να αποθηκευτεί προσωρινά. Ποιες εργασίες θα πρέπει να αποφεύγουν το μεγάλο μοντέλο. Ποια στοιχεία θα δείξουν ότι ο σχεδιασμός βελτιώνεται. Αυτές οι ερωτήσεις ανήκουν δίπλα στην ακρίβεια και την ασφάλεια, όχι σε μια διαφάνεια βιωσιμότητας που προστέθηκε από κάποιον με μια φωτογραφία ενός φύλλου από στοκ.
Το παράθυρο πλαισίου δεν είναι κουμπί παράκαμψης
Το μεγάλο πλαίσιο έχει γίνει ένα δελεαστικό κουμπί παράκαμψης για την αρχιτεκτονική. Γιατί να χτίσει κανείς προσεκτική ανάκτηση, κατάταξη πηγών, σύνοψη, φιλτράρισμα πρόσβασης και δομή εγγράφων όταν το μοντέλο μπορεί να διαβάσει τα πάντα. Η απάντηση είναι ότι το να διαβάζει κανείς τα πάντα είναι εργασία. Το πιο σημαντικό είναι ότι το να διαβάζει κανείς τα πάντα είναι συχνά χειρότερη διακυβέρνηση. Το μοντέλο λαμβάνει άσχετο υλικό, ευαίσθητο υλικό, παρωχημένο υλικό και αντικρουόμενο υλικό, και στη συνέχεια πρέπει να αποφασίσει τι έχει σημασία μέσα σε ένα πολύ ακριβό μοτίβο προσοχής.
Ο καλός σχεδιασμός πλαισίου είναι επιλεκτικός. Αντιμετωπίζει το παράθυρο πλαισίου ως σπάνια μνήμη εργασίας, όχι ως μονάδα αποθήκευσης με θέματα εμπιστοσύνης. Η επιλογή πηγών θα πρέπει να γίνεται πριν από τη δημιουργία. Τα έγγραφα θα πρέπει να τεμαχίζονται με νόημα, όχι να κόβονται σε αυθαίρετα κομμάτια επειδή μια προεπιλογή βιβλιοθήκης φαινόταν επίσημη. Τα μεταδεδομένα θα πρέπει να φέρουν ημερομηνίες, εξουσία, ευαισθησία και εμβέλεια. Τα φίλτρα πρόσβασης θα πρέπει να εκτελούνται πριν από την ανάκτηση. Οι περιλήψεις θα πρέπει να αποθηκεύονται προσωρινά όταν είναι σταθερές. Το μοντέλο θα πρέπει να λαμβάνει τα αποδεικτικά στοιχεία που χρειάζονται για την εργασία, όχι ένα δημοτικό αρχείο που φοράει μια προτροπή.
Αυτό είναι ενεργειακό ζήτημα, επειδή το κόστος προσοχής αυξάνεται με το μήκος της ακολουθίας και επειδή τα μεγάλα προτροπές αυξάνουν τη μετακίνηση μνήμης, την καθυστέρηση και τον πειρασμό για μεγαλύτερη έξοδο. Ένα μοντέλο με μεγάλο πλαίσιο μπορεί επίσης να παράγει μεγαλύτερες απαντήσεις, επειδή έχει δει περισσότερο υλικό. Η έξοδος κοστίζει επίσης ενέργεια. Τα ενεργειακά ευαίσθητα συστήματα σχεδιάζονται για σύντομες διαδρομές προς χρήσιμες απαντήσεις. Δεν επιβραβεύουν τη μηχανή που γράφει μια ξενάγηση στα στοιχεία, όταν η ροή εργασίας χρειάζεται ένα πεδίο απόφασης και έναν κωδικό αιτιολογίας.
Υπάρχει επίσης μια παγίδα αξιολόγησης. Τα συστήματα μεγάλου πλαισίου μπορεί να φαίνονται εντυπωσιακά σε επιδείξεις, επειδή απαντούν σε ερωτήσεις σε μεγάλα έγγραφα. Η παραγωγική χρήση μπορεί να κυριαρχείται από μικρές, επαναλαμβανόμενες, δομημένες ερωτήσεις. Αν η διαδρομή εξυπηρέτησης αντιμετωπίζει κάθε αίτημα σαν ένα σπάνιο ερευνητικό παζλ, ο λογαριασμός ενέργειας θα εξηγήσει ευγενικά τη διαφορά μεταξύ επίδειξης και υπηρεσίας. Θα χρησιμοποιήσει αριθμούς, επειδή τα τιμολόγια είναι αξιοθαύμαστα συνοπτικά.
Η δρομολόγηση ως έλεγχος ενέργειας
Η δρομολόγηση είναι ένας από τους πιο υποτιμημένους ελέγχους ενέργειας στα συστήματα τεχνητής νοημοσύνης. Πριν ένα αίτημα φτάσει σε ένα μεγάλο μοντέλο, το σύστημα μπορεί να αποφασίσει αν το αίτημα είναι εντός πεδίου, αν υπάρχει αποθηκευμένη απάντηση, αν ένα ντετερμινιστικό εργαλείο μπορεί να απαντήσει, αν αρκεί ένα μικρό μοντέλο, αν χρειάζεται ανάκτηση, αν πρέπει να το χειριστεί άνθρωπος ή αν το σύστημα πρέπει να αρνηθεί. Κάθε κλάδος μπορεί να εξοικονομήσει εργασία και να βελτιώσει την ποιότητα, όταν σχεδιάζεται με ειλικρίνεια.
Η κακή δρομολόγηση κάνει το αντίθετο. Στέλνει κάθε ερώτηση μέσα από την ίδια ακριβή διαδρομή. Καλεί εργαλεία μετά τη δημιουργία αντί πριν. Ζητά από ένα μοντέλο να ταξινομήσει κάτι που ένα πεδίο φόρμας ήδη γνωρίζει. Ζητά πεζό κείμενο εκεί που αρκεί ένα ναι ή όχι. Επαναλαμβάνει κλήσεις επειδή η κατάσταση δεν μεταφέρεται. Αφήνει έναν πράκτορα να εξερευνά επειδή κανείς δεν όρισε τα όρια της εργασίας. Η ενέργεια που προκύπτει δεν φταίει το τσιπ. Το τσιπ κάνει ό,τι του ζητήθηκε, με την κουρασμένη επαγγελματική συνέπεια κάθε υποδομής.
Η ενεργειακά ευαίσθητη δρομολόγηση χρειάζεται όρια εμπιστοσύνης, κανόνες πεδίου, ελέγχους φρεσκάδας πηγών, ακύρωση προσωρινής αποθήκευσης και παράδοση σε άνθρωπο. Θα πρέπει να είναι αρκετά διαφανής ώστε οι διαχειριστές να βλέπουν ποια διαδρομή επιλέχθηκε και γιατί. Θα πρέπει να αξιολογείται όχι μόνο με βάση το μέσο κόστος, αλλά και με βάση τις ακραίες περιπτώσεις. Ένας κανόνας δρομολόγησης που εξοικονομεί ενέργεια για κοινά αιτήματα αλλά στέλνει δύσκολες περιπτώσεις σε επαναλαμβανόμενες αποτυχίες μπορεί να αυξήσει το συνολικό κόστος μετά από υποστήριξη, επαναλήψεις και χειροκίνητη επισκευή. Η διαδρομή πρέπει να κρίνεται από την ολοκλήρωση της χρήσιμης εργασίας.
Υπάρχει και ανθρώπινη διάσταση. Η καλή δρομολόγηση μειώνει το γνωστικό φορτίο. Δίνει απλές περιπτώσεις σε απλά μηχανήματα, δομημένες περιπτώσεις σε δομημένα συστήματα, διφορούμενες περιπτώσεις σε μοντέλα και ευαίσθητες περιπτώσεις σε ανθρώπους με στοιχεία. Αυτό είναι αποδοτικό με την ευρύτερη έννοια. Η ενεργειακή απόδοση και η θεσμική σαφήνεια συχνά δείχνουν προς την ίδια κατεύθυνση: μην ζητάτε από το πιο γενικό στοιχείο να αναλάβει κάθε ευθύνη μόνο και μόνο επειδή μπορεί να παράγει μια πρόταση.
Τοπικότητα και μορφή ζήτησης
Η ενέργεια διαμορφώνεται επίσης από το πού συναντά η ζήτηση την προσφορά. Αν τα δεδομένα ζουν σε ένα μέρος, τα μοντέλα σε άλλο, τα αρχεία καταγραφής σε τρίτο και οι χρήστες σε τέταρτο, κάθε απάντηση μπορεί να συνεπάγεται μετακίνηση δικτύου και διπλότυπη αποθήκευση. Μερικές φορές αυτή η κατανομή είναι απαραίτητη. Άλλες φορές είναι το τυχαίο αποτέλεσμα της αγοράς υπηρεσιών με τη σειρά που έγιναν μόδα. Οι επιλογές τοπικότητας επηρεάζουν μαζί την καθυστέρηση, την ανθεκτικότητα, τη διακυβέρνηση και την ενέργεια.
Η υπολογιστική άκρη και η τοπική εξαγωγή συμπερασμάτων μπορούν να μειώσουν τη μετακίνηση για επαναλαμβανόμενες ή ευαίσθητες εργασίες, αλλά μπορούν επίσης να διπλασιάσουν πόρους και να μειώσουν τη χρησιμοποίηση αν εφαρμοστούν τυφλά. Η κεντρική εξυπηρέτηση μπορεί να βελτιώσει τη χρησιμοποίηση και την απόδοση υλικού, αλλά μπορεί να αυξήσει τη μετακίνηση δικτύου και τη συγκέντρωση εξαρτήσεων. Οι περιφερειακές σχεδιάσεις μπορούν να εξισορροπήσουν τα δύο. Η σωστή απάντηση εξαρτάται από τη μορφή ζήτησης: όγκο, επανάληψη, ευαισθησία, ανοχή καθυστέρησης, τοποθεσία πηγής, πρότυπα αιχμής και τρόπους αποτυχίας.
Γι' αυτό δεν αρκούν οι μέσοι όροι. Το μέσο αίτημα μπορεί να είναι φθηνό, ενώ το κορυφαίο πέντε τοις εκατό των αιτημάτων κυριαρχεί στην κατανάλωση ενέργειας. Μια μικρή ομάδα εργασιών με μεγάλο περιβάλλον μπορεί να χρησιμοποιήσει περισσότερη ισχύ από χιλιάδες σύντομες ταξινομήσεις. Οι νυχτερινές εργασίες παρτίδας μπορεί να κρύβουν επαναλαμβανόμενους υπολογισμούς που θα μπορούσαν να αποφευχθούν. Οι επαναλήψεις των πρακτόρων μπορεί να εξάρουν κατά τη διάρκεια διακοπών στην πηγή. Ο ενεργειακά συνειδητός σχεδιασμός εξετάζει την κατανομή, όχι μόνο τον μέσο όρο. Ο μέσος όρος είναι εκεί όπου τα προβλήματα πηγαίνουν για να δείχνουν αξιοσέβαστα.
Η ζήτηση θα πρέπει να αλλάζει τον σχεδιασμό. Αν οι χρήστες θέτουν επανειλημμένα την ίδια ερώτηση για γεγονότα, αποθηκεύστε την απάντηση στην κρυφή μνήμη ή δημοσιεύστε την. Αν χρειάζονται επανειλημμένα ένα πεδίο από ένα έγγραφο, φτιάξτε εξαγωγή. Αν θέτουν ευρείες ερωτήσεις επειδή η διεπαφή κρύβει τη δομή, διορθώστε τη διεπαφή. Αν οι πράκτορες καλούν εργαλεία επανειλημμένα επειδή η κατάσταση είναι ασαφής, επανασχεδιάστε την κατάσταση. Κάθε επαναλαμβανόμενο βατ είναι μια υπόδειξη σχεδιασμού. Κάποιες υποδείξεις είναι διακριτικές. Ο μηνιαίος λογαριασμός δεν είναι μία από αυτές.
Ένας ενεργειακά συνειδητός βρόχος μοντέλου
Η πρακτική απάντηση δεν είναι να γίνει η ενέργεια ο μόνος στόχος. Αυτό θα ήταν ανόητο και περιστασιακά επιβλαβές. Ένας σκοτεινός διακομιστής είναι πολύ αποδοτικός και όχι και πολύ υπηρεσία. Το καθήκον είναι να συμπεριληφθεί η ενέργεια στον βρόχο σχεδιασμού μαζί με την ποιότητα, την ασφάλεια, την καθυστέρηση, την ιδιωτικότητα, την ανθεκτικότητα και τη συντηρησιμότητα. Μετρήστε τη χρήσιμη εργασία. Περιορίστε το καθήκον. Επιλέξτε τον μικρότερο επαρκή επιλυτή. Αναπτύξτε με παρατηρησιμότητα. Παρακολουθήστε την πραγματική ζήτηση. Αναθεωρήστε τον σχεδιασμό όταν εμφανίζεται σπατάλη.
Ο βρόχος χρειάζεται κοινή γλώσσα. Οι ομάδες προϊόντος θα πρέπει να γνωρίζουν το ενεργειακό κόστος των μοτίβων σχεδιασμού: μακρά prompts, επαναλαμβανόμενες κλήσεις, εκτενείς έξοδοι, πάντα ενεργοί πράκτορες, απεριόριστα εργαλεία. Οι μηχανικοί θα πρέπει να γνωρίζουν την αξία για τον χρήστη του επιπλέον υπολογισμού: λιγότερα σφάλματα, καλύτερη προσβασιμότητα, ασφαλέστερες αποφάσεις, λιγότερη ανθρώπινη προσπάθεια. Οι ομάδες λειτουργιών θα πρέπει να γνωρίζουν ποια φορτία κυριαρχούν στον λογαριασμό. Οι ομάδες διακυβέρνησης θα πρέπει να γνωρίζουν πότε οι μειώσεις ενέργειας αλλάζουν τον κίνδυνο. Οι ομάδες βιωσιμότητας θα πρέπει να είναι στο τραπέζι πριν το σύστημα έχει ήδη μάθει ακριβές συνήθειες.
Δεν πρόκειται για ενοχή. Η ενοχή είναι φτωχός προφίλερ. Το ζητούμενο είναι ο σχεδιασμός με γνώση. Μόλις οι ομάδες δουν ότι η ενέργεια δεσμεύεται από την αρχιτεκτονική, μπορούν να επιλέξουν καλύτερα. Μπορούν να κρατήσουν μεγάλα μοντέλα για εργασίες που τα χρειάζονται, μικρότερα μοντέλα για περιορισμένες εργασίες, ανάκτηση για γνώση, εργαλεία για ντετερμινιστική εργασία, κρυφές μνήμες για επανάληψη, ανθρώπους για κρίση και άρνηση για ανοησίες. Το αποτέλεσμα είναι συχνά φθηνότερο, ταχύτερο και σαφέστερο, που είναι ένα αξιοπρεπές αποτέλεσμα για ένα θέμα που ξεκίνησε με έναν μετρητή ηλεκτρικής ενέργειας σε ένα θλιβερό δωμάτιο.
Το μάθημα
Ο λογαριασμός ενέργειας της τεχνητής νοημοσύνης δεν κρύβεται μόνο στο κέντρο δεδομένων. Κρύβεται στον σχεδιασμό του μοντέλου: μέγεθος, αρχιτεκτονική, περιβάλλον, ανάκτηση, ακρίβεια, δρομολόγηση, τοπικότητα, κρυφή μνήμη, μορφή εξόδου, αξιολόγηση και άρνηση. Η απόδοση υλικού έχει σημασία, αλλά το υλικό εξαργυρώνει επιταγές που ο σχεδιασμός έχει ήδη εκδώσει.
Η καλή υποδομή τεχνητής νοημοσύνης ξεκινά λοιπόν νωρίτερα από την προμήθεια επιταχυντών. Ξεκινά από το ερώτημα της χρήσιμης εργασίας. Ποια απάντηση χρειάζεται. Πόση γλώσσα είναι απαραίτητη. Ποιος επιλυτής ταιριάζει. Ποια γνώση πρέπει να ζει στα βάρη, στην ανάκτηση, στα εργαλεία ή στους κανόνες. Ποια αιτήματα πρέπει να απορρίπτονται. Ποια στοιχεία θα δείξουν τη σπατάλη. Ποιες σχεδιαστικές επιλογές δημιουργούν περιττή κίνηση. Ποιες κλήσεις μεγάλων μοντέλων κάνουν στην πραγματικότητα δουλειά μεγάλων μοντέλων.
Ο ενεργειακά συνειδητός σχεδιασμός μοντέλων δεν είναι λιτότητα. Είναι ακρίβεια. Διατηρεί την ικανότητα εκεί όπου η ικανότητα αποδίδει τα έξοδά της και αφαιρεί εργασία εκεί όπου η εργασία είναι απλώς συνήθεια. Το αποτέλεσμα δεν είναι μόνο ένας μικρότερος λογαριασμός. Είναι συχνά ένα καλύτερο σύστημα: ταχύτερο, ευκολότερο στη διακυβέρνηση, ευκολότερο στην κλίμακα, ευκολότερο στην εξήγηση και λιγότερο εξαρτημένο από ηρωικές υποδομές για να αντισταθμίσουν τον τεμπέλικο σχεδιασμό. Ο μετρητής στη γωνία έλεγε την αλήθεια όλο αυτό το διάστημα. Απλώς έπρεπε να τον διαβάσουμε ως αρχιτεκτονική.