Ένα benchmark είναι μια σύμβαση με έναν παρονομαστή

Οι ισχυρισμοί απόδοσης αποκτούν νόημα όταν ο φόρτος εργασίας, το πεδίο εφαρμογής, το υλικό, η συνθήκη ποιότητας, η γραμμή βάσης και η αβεβαιότητα παραμένουν...

Ένα benchmark είναι μια σύμβαση με έναν παρονομαστή

Ο αριθμός που ξεχνά τον παρονομαστή του

Ένα αποτέλεσμα σημείου αναφοράς μπορεί να μετρηθεί σωστά και παρόλα αυτά να απαντά σε λάθος ερώτηση. Ο συνήθης ένοχος δεν είναι ένα ελαττωματικό χρονόμετρο ή ένας ανέντιμος μηχανικός. Είναι ο παρονομαστής που εξαφανίστηκε μεταξύ του περιβάλλοντος δοκιμής και της διαφάνειας παρουσίασης. Το «διπλάσια ταχύτητα» ακούγεται σαν σύγκριση, αλλά δεν λέει διπλάσια ταχύτητα σε ποια εργασία, σε ποια μηχανή, με ποιο λογισμικό, υπό ποια συνθήκη ποιότητας, σε σύγκριση με ποια βάση ή για ποιους χρήστες. Αφαιρέστε αυτές τις συνθήκες και ένας αριθμός απόδοσης γίνεται ένα γυαλισμένο απόσπασμα. Μπορεί να παραμένει αριθμητικά αληθής. Δεν λέει πλέον σε έναν αγοραστή ή σε έναν διαχειριστή τι μπορεί να περιμένει.

Ο παρονομαστής είναι η εργασία σε σχέση με την οποία εκφράζεται το αποτέλεσμα. Για την απόδοση, είναι η ολοκληρωμένη εργασία και ο χρόνος εντός του οποίου υπολογίζεται η ολοκλήρωση. Για την καθυστέρηση, είναι ο ορισμός του αιτήματος, η διαδρομή που περιλαμβάνεται και ο πληθυσμός των παρατηρήσεων. Για την ακρίβεια, είναι το επισημασμένο σύνολο, ο κανόνας επισήμανσης και η μονάδα που αξιολογείται. Για την ενέργεια, είναι το όριο του μετρούμενου συστήματος και η εργασία που παραδίδεται εντός αυτού του ορίου. Για το κόστος, είναι η περίοδος κόστους, οι περιλαμβανόμενοι πόροι και ο όγκος της χρήσιμης εργασίας. Ένα σημείο αναφοράς είναι έντιμο όταν ο αριθμητής και ο παρονομαστής του ταξιδεύουν μαζί.

Γι' αυτό το σημείο αναφοράς αντιμετωπίζεται καλύτερα ως σύμβαση. Η σύμβαση ονομάζει το ερώτημα, τον φόρτο εργασίας, το πεδίο εφαρμογής, το υλικό και το λογισμικό, τη μετρική, τη βάση, την αβεβαιότητα και τη μέθοδο με την οποία ένα άλλο μέρος θα μπορούσε να ελέγξει το αποτέλεσμα. Μια σύμβαση μπορεί να είναι περιορισμένη. Μπορεί να είναι διερευνητική. Μπορεί να είναι χρήσιμη μόνο για μία ανάπτυξη. Αυτό που δεν μπορεί να είναι είναι ένας εντυπωσιακός αριθμός του οποίου οι συνθήκες αφήνονται στον αναγνώστη να μαντέψει. Το να μαντεύει κανείς είναι κακός τρόπος να κατανέμει δημόσιο χρήμα και ακόμη χειρότερος τρόπος να σχεδιάζει μια υπηρεσία που κάποιος άλλος πρέπει να διατηρήσει ζωντανή.

Η ευρωπαϊκή συνήθεια να καταγράφονται γραπτώς οι ορισμοί περιπαίζεται μερικές φορές ως γραφειοκρατία. Στη μετρητική εργασία, οι ορισμοί είναι το μέρος που εμποδίζει τη γραφειοκρατία να γίνει λαϊκή παράδοση. Ο πίνακας σημείων αναφοράς δεν είναι ένα διοικητικό παράρτημα του αποτελέσματος. Είναι η ταυτότητα του αποτελέσματος.

Διάβασε τη μονάδα πριν από τον τίτλο

Ξεκίνα με τη μονάδα, αλλά μην σταματήσεις εκεί. Τα αιτήματα ανά δευτερόλεπτο, τα tokens ανά δευτερόλεπτο, τα χιλιοστά του δευτερολέπτου, τα τζάουλ ανά ερώτημα, τα ευρώ ανά χίλιες εγγραφές και οι ποσοστιαίες μονάδες σου λένε όλα κάτι. Κανένα δεν σου λέει τι ζητήθηκε από το σύστημα να κάνει. Ένα αποτέλεσμα 100 αιτημάτων ανά δευτερόλεπτο μπορεί να περιγράφει μικρά αιτήματα από κρυφή μνήμη ή μεγάλα αιτήματα χωρίς κρυφή μνήμη που περιλαμβάνουν ανάκτηση, επικύρωση και ανθρώπινη παράδοση. Μια καθυστέρηση 20 χιλιοστών του δευτερολέπτου μπορεί να καλύπτει έναν μόνο πυρήνα ή μια ολόκληρη διαδρομή απόφασης. Η μονάδα είναι μια πόρτα. Ο φόρτος εργασίας είναι το δωμάτιο πίσω της.

Ας υποθέσουμε ότι μια διαφάνεια προμηθειών λέει ότι μια νέα υπηρεσία είναι 40 τοις εκατό ταχύτερη από την υπάρχουσα. Η πρόταση δεν είναι ακόμη απόδειξη. Χρειάζεται τουλάχιστον τη λειτουργία που χρονομετρείται, το μέγεθος και την κατανομή των δεδομένων εισόδου, την εργασία που εξαιρείται από το χρονόμετρο, την ταυτόχρονη εκτέλεση, την κατάσταση προθέρμανσης, τις εκδόσεις λογισμικού, το υλικό και τη βασική διαμόρφωση. Χρειάζεται επίσης τη συνθήκη ποιότητας. Εάν η ταχύτερη διαδρομή επιστρέφει λιγότερα έγκυρα αποτελέσματα, απορρίπτει μεγάλες εισόδους ή παραλείπει ένα δαπανηρό βήμα επαλήθευσης, ο αριθμητής έχει γίνει μικρότερος αλλάζοντας την εργασία.

Αυτό δεν είναι αίτημα για έναν τεράστιο πίνακα πριν μιλήσει κανείς. Είναι αίτημα να προσδιοριστούν τα λίγα πεδία που αλλάζουν τη σημασία του ισχυρισμού. Ένα μικρό σημείο αναφοράς για parser μπορεί να χρειάζεται σχήμα εγγραφής, πηγή εισόδου, πολιτική επικύρωσης, μεταγλωττιστή και επεξεργαστή. Ένα σημείο αναφοράς για συμπερασμούς μπορεί να χρειάζεται μοντέλο, ακρίβεια, μέγεθος παρτίδας, σενάριο, στόχο ποιότητας και όριο ισχύος. Μια ουρά δημόσιου τομέα μπορεί να χρειάζεται τον ορισμό της υπόθεσης, το ρολόι υπηρεσίας, τον κανόνα δρομολόγησης και τη διαδρομή κλιμάκωσης. Τα πεδία διαφέρουν. Η υποχρέωση να τα ονομάζεις δεν διαφέρει.

Υπάρχει μια χρήσιμη πειθαρχία εδώ: να διατυπώνεις το αποτέλεσμα ως μια πρόταση που θα μπορούσε να αντέξει έναν δεύτερο αναγνώστη. «Κάτω από αυτόν τον φόρτο εργασίας και αυτή την απαίτηση ποιότητας, σε αυτό το σύστημα και αυτή την έκδοση, η μετρηθείσα τιμή ήταν αυτή, με αυτή τη διακύμανση.» Αν η πρόταση δεν μπορεί να ολοκληρωθεί χωρίς λέξεις όπως τυπικό, βέλτιστο, ρεαλιστικό ή αντιπροσωπευτικό, η μέθοδος δεν έχει ολοκληρωθεί. Αυτές οι λέξεις μπορεί να είναι έγκυρες, αλλά χρειάζονται έναν λειτουργικό ορισμό, όχι έναν θερμό τόνο.

Μια κάρτα σημείου αναφοράς δεν είναι διακόσμηση γύρω από έναν αριθμό. Είναι η μικρότερη χρήσιμη μορφή της σύμβασης του αριθμού.

Το πεδίο εφαρμογής είναι μέρος του αποτελέσματος

Το πεδίο εφαρμογής απαντά σε ένα απλό ερώτημα: τι καλύπτει αυτό το αποτέλεσμα και τι αφήνει εκτός πλαισίου; Στην αξιολόγηση μηχανικής μάθησης, το πεδίο εφαρμογής περιλαμβάνει την εργασία, το σύνολο δεδομένων, τη διαίρεση, τη γλώσσα, το μήκος εισόδου, το σενάριο λειτουργίας και τις επιτρεπόμενες επιλογές υλοποίησης. Σε μια υπηρεσία λογισμικού, περιλαμβάνει τη διαδρομή, τα αποθετήρια δεδομένων, το δίκτυο, την προσωρινή μνήμη και την εργασία που εκτελεί μια κατάντη ομάδα αφού επιστρέψει το μετρημένο τελικό σημείο. Ένα αποτέλεσμα που μετράται σε ένα επίπεδο δεν θα πρέπει να μετατρέπεται σιωπηλά σε υπόσχεση για ολόκληρη την υπηρεσία.

Η MLCommons το καθιστά ορατό στην τεκμηρίωση συμπερασμάτων MLPerf. Ο οδηγός υποβολής διαχωρίζει τους τύπους συστημάτων κέντρων δεδομένων και ακραίων κόμβων, παραθέτει σενάρια όπως offline, server, interactive, single-stream και multi-stream, και διακρίνει μια κλειστή κατηγορία από μια ανοιχτή κατηγορία. Η κλειστή κατηγορία προορίζεται για σύγκριση επί ίσοις όροις χρησιμοποιώντας το ίδιο μοντέλο και την ίδια διάταξη αναφοράς. Η ανοιχτή κατηγορία επιτρέπει επιλογές όπως επανεκπαίδευση ή αντικατάσταση μοντέλου. Καμία δεν είναι η καθολικά σωστή κατηγορία. Απαντούν σε διαφορετικά ερωτήματα. Ένας τίτλος που τις αναμειγνύει δεν είναι μια ευρεία άποψη. Είναι ένα σφάλμα κατηγορίας με εξαιρετική τυπογραφία.

Η ίδια τεκμηρίωση δείχνει γιατί ένα σημείο αναφοράς χρειάζεται μια ρητή πλευρά ποιότητας. Μια καταχώριση ResNet50 που παρατίθεται ονομάζει το σύνολο επικύρωσης ImageNet-2012, τα μεγέθη του συνόλου δεδομένων και της λίστας δειγμάτων ερωτημάτων, μια ακρίβεια αναφοράς και έναν περιορισμό καθυστέρησης διακομιστή. Για την καταχώριση ResNet50 που παρατίθεται, η σελίδα δίνει ένα σύνολο επικύρωσης 50 000 εικόνων, μια λίστα δειγμάτων ερωτημάτων 1 024, μια ακρίβεια αναφοράς 76,46 τοις εκατό και έναν περιορισμό καθυστέρησης διακομιστή 15 ms. Αυτά τα πεδία δεν είναι ασήμαντα για ανθρώπους που απολαμβάνουν να διαβάζουν κανόνες. Εξηγούν τι επιτρεπόταν να σημαίνει η αναφερόμενη ταχύτητα. Αλλάξτε το σύνολο δεδομένων, το σενάριο ή την απαίτηση ποιότητας και η σύγκριση έχει αλλάξει, ακόμη και αν το όνομα του μοντέλου φαίνεται οικείο.

Ένας Ευρωπαίος αγοραστής θα πρέπει να είναι επιφυλακτικός απέναντι σε ένα πεδίο εφαρμογής που υπονοείται από μια ετικέτα προϊόντος. Οι όροι «πλατφόρμα τεχνητής νοημοσύνης», «επιταχυντής» και «επιχειρησιακής ποιότητας» δεν ορίζουν την εργασία. Ένα σύστημα που είναι εξαιρετικό σε μια περιορισμένη λειτουργία μπορεί να είναι ακριβώς αυτό που χρειάζεται μια υπηρεσία. Ένα σύστημα που ισχυρίζεται ότι καλύπτει τα πάντα μπορεί να έχει μετρήσει σχεδόν τίποτα που να μοιάζει με την υπηρεσία. Η στενή αλήθεια είναι πιο υγιής από την καθολική ομίχλη.

Η κάλυψη αλλάζει το νόημα

Η κάλυψη δεν είναι μια υποσημείωση για το αν το σύνολο δοκιμών ήταν μεγάλο. Περιγράφει ποιες περιπτώσεις και ποιες καταστάσεις εισέρχονται στη μέτρηση. Ένα σημείο αναφοράς μπορεί να καλύπτει πολλά παραδείγματα από μία στενή κατανομή και να λέει ελάχιστα για τα άκρα που έχουν σημασία στη λειτουργία. Αντίστροφα, ένα μικρό, προσεκτικά επιλεγμένο σύνολο μπορεί να αποκαλύψει μια σημαντική λειτουργία αποτυχίας χωρίς να υποστηρίζει έναν γενικό ισχυρισμό απόδοσης. Η επιλογή είναι απόφαση σχεδιασμού. Πρέπει να δηλώνεται ως τέτοια.

Το πλαίσιο του ΟΟΣΑ για τον χαρακτηρισμό των εργαλείων αξιολόγησης τεχνητής νοημοσύνης είναι χρήσιμο επειδή αρνείται να περιορίσει μια αξιολόγηση σε μία βαθμολογία. Προτείνει 18 πτυχές, συμπεριλαμβανομένων της κάλυψης, του σκοπού, του ρεαλισμού, της εγκυρότητας, της αξιοπιστίας, της διαφάνειας και των συνθηκών υπό τις οποίες μπορούν να ερμηνευτούν τα αποτελέσματα. Η κάλυψη ρωτά αν η αξιολόγηση αντιπροσωπεύει αυτό που προτίθεται να μετρήσει. Ο σκοπός διακρίνει ένα σημείο αναφοράς που προορίζεται για έρευνα από ένα που προορίζεται για συμμόρφωση ή άλλη χρήση. Ο ρεαλισμός ρωτά αν το περιβάλλον είναι ένα πρόβλημα παιχνίδι, ένα προσομοιωμένο ή εργαστηριακό περιβάλλον ή η πραγματική ζωή. Αυτές οι διακρίσεις δεν κάνουν ένα σημείο αναφοράς πιο αδύναμο. Κάνουν τον ισχυρισμό του ευανάγνωστο.

Η κάλυψη περιλαμβάνει επίσης τις περιπτώσεις που αποκλείει μια αξιολόγηση. Μια υπηρεσία μπορεί να αναφέρει μέσο χρόνο απόκρισης αφού αφαιρέσει τα χρονικά όρια. Ένας ταξινομητής μπορεί να αναφέρει ακρίβεια αφού απορρίψει τις διφορούμενες ετικέτες. Ένα σύστημα ανάκτησης μπορεί να μετρά μόνο ερωτήματα με τουλάχιστον ένα σχετικό έγγραφο. Μια αγωγή εικόνων μπορεί να παραλείπει κατεστραμμένα αρχεία. Κάθε αποκλεισμός μπορεί να είναι υπερασπίσιμος. Το αποτέλεσμα πρέπει να λέει τι αφαιρέθηκε και γιατί. Διαφορετικά, ο παρονομαστής γίνεται σιωπηλά μια λίστα περιπτώσεων που ήταν βολικό να ολοκληρωθούν.

Εδώ είναι που ο παρονομαστής γίνεται πολιτικός, ακόμη και πριν κάποιος χρησιμοποιήσει τη λέξη πολιτική. Ο πληθυσμός που περιλαμβάνεται λαμβάνει το όφελος της μέτρησης. Ο πληθυσμός που αποκλείεται λαμβάνει μια ιστορία για ένα σύστημα που μπορεί να μην τον περιγράφει. Τα ευρωπαϊκά δημόσια ιδρύματα το γνωρίζουν ήδη αυτό από τις επίσημες στατιστικές. Ο Κώδικας Ορθής Πρακτικής για τις Ευρωπαϊκές Στατιστικές της Eurostat ορίζει 16 αρχές και 84 δείκτες για το θεσμικό περιβάλλον, τις διαδικασίες και τα αποτελέσματα. Το Πλαίσιο Διασφάλισης Ποιότητας παρέχει μεθόδους και εργαλεία, ενώ οι εκθέσεις ποιότητας ενημερώνουν τους χρήστες για το πώς συλλέχθηκαν και επικυρώθηκαν τα δεδομένα. Το μήνυμα για την τεχνητή νοημοσύνη δεν είναι ότι κάθε μοντέλο πρέπει να γίνει στατιστική υπηρεσία. Είναι ότι ένας αριθμός που προορίζεται για δημόσιες αποφάσεις χρειάζεται μια ορατή ιστορία παραγωγής και ποιότητας.

Η ακρίβεια δεν είναι μία πύλη

Οι ισχυρισμοί απόδοσης συχνά συνδυάζουν την ταχύτητα με έναν μόνο αριθμό ποιότητας και στη συνέχεια αντιμετωπίζουν το ζεύγος ως πλήρες. Η ποιότητα είναι συνήθως μια οικογένεια ερωτήσεων. Το αποτέλεσμα πληροί τον ορισμό της εργασίας; Διατηρεί τους απαιτούμενους περιορισμούς; Αποτυγχάνει με ασφάλεια όταν λείπουν αποδεικτικά στοιχεία; Συμπεριφέρεται αποδεκτά στον σχετικό πληθυσμό; Παραμένει εντός του ορίου ποιότητας ενώ το σύστημα είναι φορτωμένο; Μια γρήγορη απάντηση που αποτυγχάνει στην εργασία δεν είναι μια ταχύτερη λύση. Είναι ένα διαφορετικό φορτίο εργασίας που φοράει το ίδιο ουσιαστικό.

Η δομή του MLPerf είναι διδακτική επειδή οι εκτελέσεις απόδοσης βρίσκονται δίπλα στην επικύρωση ακρίβειας και στις ειδικές απαιτήσεις του μοντέλου. Ο οδηγός υποβολής λέει στους συμμετέχοντες να προσδιορίσουν το τμήμα, τον τύπο συστήματος και το σενάριο, να εκτελέσουν το προβλεπόμενο σημείο αναφοράς, να επικυρώσουν την ακρίβεια έναντι των ορίων και στη συνέχεια να προετοιμάσουν μια ελεγμένη υποβολή. Η σελίδα σημείου αναφοράς παραθέτει την ακρίβεια αναφοράς και τις συνθήκες καθυστέρησης ή απόδοσης ανά εργασία. Ο διαχωρισμός είναι πρακτικός. Κρατά ένα σύστημα από το να κερδίσει τη στήλη απόδοσης χάνοντας σιωπηλά την εργασία.

Η ίδια η ακρίβεια χρειάζεται έναν παρονομαστή. «Ενενήντα οκτώ τοις εκατό ακρίβεια» μπορεί να σημαίνει ποσοστό εγγραφών, διακριτικών, εικόνων, αιτημάτων ή αποφάσεων. Μπορεί να χρησιμοποιεί μικρο ή μακρο μέσο όρο. Μπορεί να μετρά μια αποχή ως σφάλμα, ως ασφαλή άρνηση ή ως μη μετρημένο αποτέλεσμα. Μπορεί να συγκρίνεται με ετικέτες που δημιουργήθηκαν από έναν ή περισσότερους αναθεωρητές. Μια κάρτα σημείου αναφοράς θα πρέπει να ονομάζει τη μονάδα, τον κανόνα ετικέτας, τη συγκέντρωση, την εμπιστοσύνη ή τη διακύμανση και οποιοδήποτε όριο μετατρέπει μια μέτρηση σε απόφαση κυκλοφορίας.

Μην χρησιμοποιείτε έναν αριθμό ποιότητας ως διακοσμητική άδεια. Ένα μοντέλο μπορεί να πληροί ένα δημοσιευμένο όριο και να παραμένει ακατάλληλο για μια συγκεκριμένη υπηρεσία, επειδή διαφέρει το έργο, ο πληθυσμός ή το προφίλ βλάβης. Αντιστρόφως, μια χαμηλότερη συνολική βαθμολογία μπορεί να είναι αποδεκτή για ένα εργαλείο σύνταξης που διατηρεί τον άνθρωπο ως συγγραφέα, ενώ η ίδια βαθμολογία είναι απαράδεκτη για μια αυτόματη πύλη. Η ποιότητα είναι μια σχέση μεταξύ αποτελέσματος, σκοπού και συνέπειας.

Ο χρόνος δεν είναι ένας αριθμός

Ο λανθάνων χρόνος συχνά παρουσιάζεται σαν να έχει ένα σύστημα μία ταχύτητα. Τα πραγματικά συστήματα έχουν κατανομή. Το πρώτο αίτημα μπορεί να πληρώσει κόστος εκκίνησης. Μια κρυφή μνήμη μπορεί να αλλάξει τα μεταγενέστερα αιτήματα. Οι ταυτόχρονοι χρήστες μπορεί να ανταγωνίζονται για μνήμη ή σύνδεση βάσης δεδομένων. Μια μεγάλη είσοδος μπορεί να ακολουθήσει διαφορετική διαδρομή από μια σύντομη. Ο μέσος όρος μπορεί να βελτιωθεί ενώ η ουρά χειροτερεύει. Αν η ουρά είναι εκεί όπου μια υπηρεσία χάνει την προθεσμία της, ο μέσος όρος είναι μια περισπαστική λεπτομέρεια με μονάδα μέτρησης.

Μια χρήσιμη αναφορά λανθάνοντος χρόνου αναφέρει τι χρονομετρήθηκε και πώς συνοψίστηκαν οι παρατηρήσεις. Μπορεί να περιλαμβάνει διάμεσο, ανώτερα εκατοστημόρια, ποσοστό χρονικών υπερβάσεων και τον αριθμό των αιτημάτων. Θα πρέπει να αναφέρει αν εξαιρέθηκαν τα αιτήματα προθέρμανσης, αν συμπεριλήφθηκαν οι επαναλήψεις και αν ο χρόνος αναμονής σε ουρά ή ο χρόνος δικτύου ανήκουν στη μετρούμενη διαδρομή. Αυτές οι επιλογές δεν είναι εναλλάξιμες. Ένα σημείο αναφοράς ενός στοιχείου μπορεί να είναι πολύτιμο, αλλά δεν πρέπει να παρουσιάζεται ως συμπεριφορά από άκρο σε άκρο.

Η απόδοση έχει παρόμοια παγίδα. Ένας υψηλός ρυθμός μπορεί να επιτευχθεί με ομαδοποίηση εργασιών, αύξηση της ταυτόχρονης εκτέλεσης ή χαλάρωση μιας απαίτησης ποιότητας. Αυτό μπορεί να είναι απολύτως σωστό για μια εργασία εκτός σύνδεσης. Μπορεί να είναι άχρηστο για μια διαδραστική υπηρεσία που πρέπει να ανταποκρίνεται σε κάθε αίτημα εντός προθεσμίας. Το σημείο αναφοράς θα πρέπει να αναφέρει το σενάριο και το σημείο λειτουργίας και στη συνέχεια να εξηγεί τι θα συνέβαινε όταν η ζήτηση απομακρύνεται από αυτό. Δεν υπάρχει ντροπή σε ένα στενό σημείο λειτουργίας. Ντροπή υπάρχει όταν προσποιείται κανείς ότι είναι ολόκληρος ο χάρτης.

Ο χρόνος έχει επίσης μια ανθρώπινη πλευρά. Μια υπηρεσία που επιστρέφει γρήγορα αλλά δημιουργεί περισσότερη εργασία αναθεώρησης, διόρθωσης ή ένστασης μπορεί να είναι πιο αργή από την οπτική γωνία του οργανισμού. Ένα σημείο αναφοράς που σταματά το χρονόμετρο πριν από την παράδοση μπορεί να κάνει το μετρούμενο σύστημα να φαίνεται γρήγορο, ενώ η πραγματική υπηρεσία συσσωρεύει ουρά. Ο παρονομαστής θα πρέπει να ακολουθεί την εργασία μέχρι να απαντηθεί η ερώτηση που τίθεται. Διαφορετικά, το χρονόμετρο μετρά ένα νησί.

Το υλικό και το λογισμικό είναι μέρος του αριθμητή

Το «σε έναν διακομιστή» δεν είναι ένα αναπαραγώγιμο περιβάλλον. Η γενιά του επεξεργαστή, το σύνολο εντολών, ο επιταχυντής, η μνήμη, ο αποθηκευτικός χώρος, η θερμική κατάσταση, το όριο ισχύος, το λειτουργικό σύστημα, ο οδηγός, ο μεταγλωττιστής, ο χρόνος εκτέλεσης, η βιβλιοθήκη και η διαμόρφωση μπορούν όλα να αλλάξουν ένα αποτέλεσμα. Το ίδιο μπορούν να κάνουν μια μορφή μοντέλου, μια ρύθμιση κβαντισμού, ένα μέγεθος παρτίδας, μια επιλογή πυρήνα ή μια πολιτική νημάτων. Το σημείο αναφοράς δεν χρειάζεται να απαριθμήσει κάθε καλώδιο. Χρειάζεται να προσδιορίσει τα μέρη που μπορούν να αλλάξουν τη μέτρηση.

Το MLPerf αποκαλεί την πλήρη μετρούμενη διάταξη σύστημα υπό δοκιμή και οργανώνει τα αποτελέσματα ανά τύπο συστήματος και κατηγορία διαθεσιμότητας. Αυτό το λεξιλόγιο είναι χρήσιμο πέρα από το MLPerf. Ένα σύστημα υπό δοκιμή έχει ένα όριο. Το όριο καθορίζει ποιο υλικό και λογισμικό περιλαμβάνονται, ποιες υπηρεσίες είναι εξωτερικές και ποια εργασία παραλείπεται. Μια μέτρηση ισχύος που λαμβάνεται από τον τοίχο έχει διαφορετική σημασία από μια μέτρηση που μετρά μόνο έναν επιταχυντή. Ένας λανθάνων χρόνος που μετράται μέσα σε έναν πυρήνα έχει διαφορετική σημασία από έναν που περιλαμβάνει τον προγραμματισμό αιτημάτων.

Οι εκδόσεις έχουν σημασία επειδή ένα σημείο αναφοράς είναι μια σύγκριση μεταξύ καταστάσεων, όχι μια διαχρονική ιδιότητα ενός ονόματος προϊόντος. Καταγράψτε την έκδοση του μοντέλου ή της εφαρμογής, τις εκδόσεις εξαρτήσεων, τις σημαίες μεταγλωττιστή, τον οδηγό και το υλικολογισμικό όπου επηρεάζουν το αποτέλεσμα. Καταγράψτε τη διαμόρφωση που επέλεξε ένα παρασκήνιο ή μια ακρίβεια. Αν ένας χρόνος εκτέλεσης επιλέγει διαφορετικό πυρήνα σε άλλο μηχάνημα, αυτό είναι μέρος του αποτελέσματος, όχι μια λεπτομέρεια υλοποίησης που πρέπει να τακτοποιηθεί αργότερα.

Η αποκάλυψη του υλικού δεν αποτελεί πρόσκληση να μετατραπεί μια ανάρτηση ιστολογίου σε κατάλογο εξαρτημάτων. Είναι ένας τρόπος να αποφευχθεί η ψευδής ισοδυναμία. Ο αγοραστής δεν χρειάζεται να ενδιαφέρεται για κάθε λεπτομέρεια, αν ο ισχυρισμός αφορά μια ολοκληρωμένη υπηρεσία. Χρειάζεται όμως να γνωρίζει αν η σύγκριση περιλαμβάνει την ίδια εργασία, την ίδια ακρίβεια, την ίδια διαδρομή εισόδου και ένα σύστημα που μπορεί πραγματικά να αποκτηθεί και να λειτουργήσει στο προβλεπόμενο ευρωπαϊκό περιβάλλον.

Οι βασικές μετρήσεις είναι υποσχέσεις

Η βασική μέτρηση είναι η σύγκριση που δίνει κατεύθυνση στο αποτέλεσμα. Χωρίς αυτήν, ένας αριθμός μπορεί να περιγράφει ένα σύστημα, αλλά όχι μια βελτίωση. Η βασική μέτρηση πρέπει να απαντά στο ίδιο ερώτημα υπό συγκρίσιμες συνθήκες. Αν η νέα διαδρομή χρησιμοποιεί νεότερο μεταγλωττιστή, διαφορετική κατανομή εισόδου ή διαφορετικό στόχο ποιότητας, το αποτέλεσμα μπορεί να είναι ενδιαφέρον, αλλά η σύγκριση δεν είναι πλέον καθαρή. Πείτε τι άλλαξε. Ο αναγνώστης μπορεί τότε να αποφασίσει αν η διαφορά είναι χρήσιμη.

Η επιλογή της βασικής μέτρησης είναι πράξη ερμηνείας. Συγκρίνετε με το υπάρχον σύστημα που χρησιμοποιούν πραγματικά οι χρήστες, με μια εφαρμογή αναφοράς, με μια προηγούμενη έκδοση ή με ένα θεωρητικό όριο, και θα μάθετε διαφορετικά πράγματα. Ένα νέο σύστημα μπορεί να είναι καλύτερο από την αναφορά και χειρότερο από την υπηρεσία που αντικαθιστά. Μπορεί να είναι ταχύτερο σε ένα καθαρό τεστ και πιο αργό όταν συμπεριληφθούν η επικύρωση και η αποθήκευση. Το σημείο αναφοράς πρέπει να κατονομάζει τη βασική μέτρηση και να εξηγεί γιατί απαντά στο επιχειρησιακό ερώτημα.

Οι ζευγαρωμένες εκτελέσεις είναι συχνά πιο κατατοπιστικές από έναν μοναδικό θρίαμβο. Κρατήστε σταθερό τον φόρτο εργασίας και τον ορισμό της αξιολόγησης, αλλάξτε έναν ουσιώδη παράγοντα και καταγράψτε τη διαφορά. Αν αλλάξουν αρκετοί παράγοντες μαζί, περιγράψτε τη σύγκριση ως σύνολο και μην αποδώσετε ολόκληρο το αποτέλεσμα σε ένα στοιχείο. Αυτό ακούγεται προφανές, μέχρι να φτάσουν στην ίδια έκδοση μια αναβάθμιση, μια ανανέωση δεδομένων και μια νέα πολιτική προσωρινής αποθήκευσης. Το διάγραμμα έχει τότε ένα βέλος και τρεις πιθανές αιτίες, που είναι ένα μικρό μυστήριο για το οποίο κανείς δεν είχε προϋπολογίσει.

Η βασική μέτρηση χρειάζεται επίσης ημερομηνία λήξης. Μια ροή δεδομένων, ένας προμηθευτής, ένα μοντέλο, μια πολιτική ή μια πλατφόρμα υλικού μπορεί να αλλάξει. Η σύγκριση παραμένει έγκυρη για τις εκδόσεις και την περίοδο που δοκιμάστηκε. Δεν θα πρέπει να επαναχρησιμοποιείται ως τρέχουσα εγγύηση χωρίς έλεγχο της σύμβασης. Εδώ το ιστορικό εκδόσεων αποδεικνύει την αξία του. Ένα ξεπερασμένο αποτέλεσμα δεν αποτελεί αποτυχία. Είναι ένας ιστορικός ισχυρισμός του οποίου οι συνθήκες θα πρέπει να παραμένουν ορατές.

Η αβεβαιότητα δεν είναι απολογία

Κάθε μέτρηση περιέχει διακύμανση. Μέρος της διακύμανσης προέρχεται από το σύστημα, μέρος από τον φόρτο εργασίας και μέρος από τη διαδικασία μέτρησης. Οι επαναλαμβανόμενες εκτελέσεις μπορούν να την αποκαλύψουν, αλλά η επανάληψη από μόνη της δεν εξηγεί την αιτία. Μια θερμή προσωρινή μνήμη μπορεί να είναι σταθερή. Ένας θορυβώδης γείτονας μπορεί να μην είναι. Ένα μικρό σύνολο αξιολόγησης μπορεί να παράγει ένα ευρύ φάσμα πιθανών αποτελεσμάτων. Ένα μεγαλύτερο σύνολο μπορεί να μειώσει τον θόρυβο δειγματοληψίας, αφήνοντας όμως άθικτο ένα μεροληπτικό πληθυσμό. Η αβεβαιότητα λέει στον αναγνώστη πόσο μακριά μπορεί να ταξιδέψει με ασφάλεια το αποτέλεσμα.

Αναφέρετε την αβεβαιότητα σε μορφή κατάλληλη για τον ισχυρισμό. Μπορεί να είναι ένα εύρος σε επαναλαμβανόμενες εκτελέσεις, ένα διάστημα εμπιστοσύνης, ένα τυπικό σφάλμα, μια κατανομή καθυστέρησης, μια ανάλυση ευαισθησίας ή μια λίστα γνωστών περιορισμών. Μην προσθέτετε διάστημα εμπιστοσύνης επειδή ο πίνακας φαίνεται μοναχικός. Αναφέρετε τι επαναλήφθηκε, τι κρατήθηκε σταθερό και τι αντιπροσωπεύει και τι δεν αντιπροσωπεύει το διάστημα. Η στατιστική γλώσσα δεν είναι ξόρκι. Είναι μια σύμβαση για τη διακύμανση.

Υπάρχει και ένα δεύτερο είδος αβεβαιότητας που οι αριθμοί δεν μπορούν να εξαλείψουν: η αβεβαιότητα για το αν η μέτρηση αντιπροσωπεύει την προβλεπόμενη υπηρεσία. Ένα αποτέλεσμα μπορεί να έχει ελάχιστη διακύμανση μεταξύ εκτελέσεων και κακή κάλυψη του πραγματικού κόσμου. Ένα σημείο αναφοράς μπορεί να είναι απόλυτα αναπαράξιμο εντός ενός εργαστηρίου, ενώ να χάνει τις γλώσσες, τις μορφές εισόδου, τα πρότυπα βάρδιας ή τις συνέπειες αποτυχίας της ανάπτυξης. Ο χαμηλός θόρυβος μέτρησης δεν δημιουργεί εγκυρότητα. Απλώς κάνει τη λάθος ερώτηση να απαντάται με μεγαλύτερη συνέπεια.

Η αβεβαιότητα θα πρέπει λοιπόν να βρίσκεται δίπλα στον ισχυρισμό, όχι σε μια αποποίηση ευθύνης στο τέλος. Αν ένα όριο είναι κοντά στο μετρημένο όριο, αυτό έχει σημασία. Αν ένα αποτέλεσμα αλλάζει ουσιαστικά με διαφορετική σύνθεση εισόδων, αυτό έχει σημασία. Αν το ενεργειακό όριο αποκλείει την ψύξη ή τη μετακίνηση δεδομένων, αυτό έχει σημασία. Η ειλικρινής πρόταση μπορεί να είναι λιγότερο θριαμβευτική, αλλά δίνει σε αυτόν που παίρνει αποφάσεις κάτι καλύτερο από την αισιοδοξία: ένα σημείο όπου μπορεί να τοποθετήσει την επιφύλαξή του.

Η αναπαραγωγή είναι μια αλυσίδα, όχι ένα κουμπί λήψης

Η αναπαραγωγιμότητα συχνά περιορίζεται στη δημοσίευση κώδικα. Ο κώδικας έχει σημασία. Είναι μόνο ένας κρίκος της αλυσίδας. Ένα δεύτερο μέρος χρειάζεται επίσης το φόρτο εργασίας ή μια νόμιμη περιγραφή του, την έκδοση των δεδομένων, τη διαμόρφωση, το περιβάλλον, την εντολή ή το σύστημα εκτέλεσης, την πολιτική τυχαίας κατάστασης, τον κανόνα αναμενόμενου αποτελέσματος, το αρχείο αποτελεσμάτων και τη μέθοδο που χρησιμοποιείται για να αποφασιστεί αν η εκτέλεση συμφωνεί. Αν λείπει ένας κρίκος, το δεύτερο μέρος μπορεί να αναπαράγει ένα παρόμοιο πείραμα αντί για το αναφερόμενο.

Η αλυσίδα θα πρέπει να διακρίνει την ακριβή αναπαραγωγή από την ανεξάρτητη επανάληψη. Η ακριβής αναπαραγωγή χρησιμοποιεί το καταγεγραμμένο τεχνούργημα, την κατάσταση, τις εισόδους, τη διαμόρφωση και τη διαδρομή εκτέλεσης για να ελέγξει αν μπορεί να ανακατασκευαστεί η ίδια εκτέλεση. Η ανεξάρτητη επανάληψη χρησιμοποιεί ένα ξεχωριστά προετοιμασμένο περιβάλλον για να ελέγξει αν το αποτέλεσμα επιβιώνει εκτός του αρχικού μηχανήματος ή της αρχικής ομάδας. Και οι δύο έχουν αξία. Απαντούν σε διαφορετικά ερωτήματα. Ένα αποτέλεσμα με πανομοιότυπα byte σε μια καταγεγραμμένη είσοδο αποδεικνύει έναν ισχυρό ισχυρισμό ταυτότητας για εκείνη την εκτέλεση. Δεν αποδεικνύει ότι ο ζωντανός κόσμος θα παραμείνει αμετάβλητος.

Το πλαίσιο αξιολόγησης του ΟΟΣΑ κάνει αυτή τη διάκριση πιο εύκολο να τη δει κανείς, αντιμετωπίζοντας τον σκοπό, τον ρεαλισμό, την κάλυψη και την αξιοπιστία ως ξεχωριστές πτυχές. Μια αξιολόγηση μπορεί να είναι εξαιρετική για δοκιμές παλινδρόμησης και φτωχή για την εκτίμηση της απόδοσης μιας ζωντανής υπηρεσίας. Μπορεί να είναι χρήσιμη για έρευνα και ακατάλληλη για συμμόρφωση. Η αναπαραγωγή δεν εξαλείφει τον σκοπό. Βοηθά τον αναγνώστη να επαληθεύσει τον ισχυρισμό που υποστηρίζει πραγματικά η μέθοδος.

Για δεδομένα που δεν μπορούν να δημοσιευθούν, δημοσιεύστε το όριο και τη διαδρομή. Περιγράψτε τον πληθυσμό, τη διαδικασία δειγματοληψίας, τη μέθοδο επισήμανσης, τους κανόνες αποκλεισμού και τους ελέγχους επικύρωσης. Παρέχετε ένα ασφαλές πακέτο αναπαραγωγής όταν είναι δυνατόν και εξηγήστε τι παραμένει προστατευμένο. «Τα δεδομένα είναι εμπιστευτικά» είναι ένα θεμιτό όριο, όχι μια ολοκληρωμένη μέθοδος. Ο αναγνώστης θα πρέπει να μπορεί να κατανοήσει τι μετρήθηκε και γιατί το αποτέλεσμα θα πρέπει ή δεν θα πρέπει να γενικευτεί.

Η αναπαραγωγή δεν είναι ένα κουμπί με την ένδειξη «εκτέλεση ξανά». Είναι μια αλυσίδα ταυτοτήτων που επιτρέπει σε μια άλλη ομάδα να αμφισβητήσει τον ισχυρισμό.

Οι δημόσιοι φορείς θα πρέπει να αρνούνται το θέατρο επιδείξεων

Οι δημόσιοι φορείς δεν χρειάζεται να απορρίπτουν τα benchmarks. Χρειάζεται να απορρίπτουν όσα δεν μπορούν να δηλώσουν τη σύμβασή τους. Μια προσεγμένη επίδειξη μπορεί να βοηθήσει μια επιτροπή να κατανοήσει μια δυνατότητα. Δεν μπορεί να υποκαταστήσει τα τεκμήρια για την υπηρεσία που πρέπει να λειτουργεί ο φορέας, τους ανθρώπους που εξυπηρετεί και τις αποτυχίες που πρέπει να επισκευάζει. Η διάκριση έχει σημασία, γιατί μια επίδειξη είναι βελτιστοποιημένη για μια σύντομη επαφή, ενώ μια δημόσια υπηρεσία κρίνεται μέσα από εποχές, αλλαγές προσωπικού, ενστάσεις, συντήρηση και νόμο.

Πριν από την αγορά, ζητήστε από τον προμηθευτή να ορίσει τον φόρτο εργασίας στη γλώσσα της υπηρεσίας. Τι εισέρχεται στο σύστημα; Τι μετράται; Τι εξαιρείται; Ποιος κανόνας ποιότητας πρέπει να ισχύει; Ποιος ανθρώπινος ρόλος εξετάζει ένα αποτέλεσμα; Πώς εντοπίζεται η απόκλιση; Πώς μπορεί ο φορέας να εξάγει τα τεκμήριά του; Τι συμβαίνει όταν αλλάξει το μοντέλο, η πηγή, ο προμηθευτής ή η πολιτική; Με ποια έκδοση γίνεται η σύγκριση; Ποια είναι η διαδρομή επαναφοράς; Ένας προμηθευτής μπορεί να απαντήσει σε ορισμένες ερωτήσεις με σύμβαση, σε άλλες με δοκιμή και σε άλλες με ένα ειλικρινές όριο. Αυτό το μείγμα είναι πιο υγιές από μια απάντηση που αποτελείται εξ ολοκλήρου από επίθετα.

Η Πράξη για την Τεχνητή Νοημοσύνη της ΕΕ διατυπώνει το ζήτημα σε νομική γλώσσα για τα συστήματα υψηλού κινδύνου. Το άρθρο 15 απαιτεί κατάλληλο επίπεδο ακρίβειας, ευρωστίας και κυβερνοασφάλειας, με σταθερή επίδοση σε αυτά τα σημεία καθ' όλη τη διάρκεια του κύκλου ζωής. Ένα benchmark δεν μπορεί από μόνο του να θεμελιώσει ολόκληρη τη νομική υποχρέωση. Μπορεί να στηρίξει μέρος των τεκμηρίων, εφόσον το πεδίο εφαρμογής του, οι συνθήκες ποιότητας και η θέση του στον κύκλο ζωής είναι σαφή. Το να αντιμετωπίζεται μια βαθμολογία ως συμμόρφωση θα ήταν άλλο ένα σφάλμα παρονομαστή. Ο νόμος κατονομάζει το αποτέλεσμα· η μηχανική πρέπει να δείξει τη διαδρομή.

Η προμήθεια θα πρέπει επίσης να ρωτά ποιος κατέχει το benchmark μετά την ανάθεση. Μια δοκιμή που ετοίμασε ο προμηθευτής μπορεί να είναι χρήσιμη, αλλά ο φορέας χρειάζεται αρκετές πληροφορίες για να παρακολουθεί το σύστημα στο δικό του περιβάλλον. Χρειάζεται μια βασική γραμμή που μπορεί να επαναληφθεί όταν αλλάξει μια έκδοση, μια διαδρομή εξέτασης όταν μετακινούνται τα αποτελέσματα και ένα αρχείο των αποφάσεων που ελήφθησαν για την αποδεκτή επίδοση. Διαφορετικά, το πρώτο benchmark είναι μια εισαγωγική εξέταση και το σύστημα παραγωγής επιτρέπεται να αποφοιτήσει χωρίς περαιτέρω ερωτήσεις.

Κάντε την κάρτα benchmark αρκετά μικρή για να χρησιμοποιείται

Οι μακροσκελείς μέθοδοι μπορεί να είναι απαραίτητες. Δεν είναι πάντα το πρώτο πράγμα που χρειάζεται ο αναγνώστης. Μια κάρτα benchmark είναι ένας συμπαγής δείκτης της σύμβασης. Μπορεί να βρίσκεται δίπλα σε ένα αποτέλεσμα σε μια έκθεση, σε ένα μητρώο αξιολόγησης ή σε ένα αρχείο προμήθειας. Η κάρτα πρέπει να αναφέρει το ερώτημα, τον φόρτο εργασίας, το πεδίο εφαρμογής, το σύστημα, τη μετρική, την απαίτηση ποιότητας, τη βασική γραμμή, την αβεβαιότητα, τη διαδρομή αναπαραγωγής, τον ιδιοκτήτη και την ημερομηνία λήξης ή τον παράγοντα ενεργοποίησης αλλαγής. Η λεπτομερής μέθοδος μπορεί να βρίσκεται πίσω από αυτήν. Η κάρτα εμποδίζει τον ισχυρισμό να ταξιδεύει μόνος του.

Οι καλές κάρτες είναι επιλεκτικές και όχι συνωστισμένες. Αναδεικνύουν τα πεδία που μπορούν να αλλάξουν την ερμηνεία και στη συνέχεια συνδέονται με το πακέτο τεκμηρίων. Μια κάρτα καθυστέρησης μπορεί να προτάσσει το μέγεθος εισόδου, την ταυτόχρονη χρήση, το εκατοστημόριο, την προθέρμανση, την έκδοση και τον κανόνα χρονικού ορίου. Μια κάρτα ενέργειας μπορεί να προτάσσει τα όρια του συστήματος, τον φόρτο εργασίας, το όργανο μέτρησης, τη διάρκεια και την εξαιρούμενη υποδομή. Μια κάρτα ακρίβειας μπορεί να προτάσσει τον πληθυσμό, τον κανόνα επισήμανσης, τη συγκέντρωση, τον χειρισμό της αποχής και τη σοβαρότητα του σφάλματος. Το κοινό σχήμα δεν είναι ένα σταθερό πρότυπο. Είναι μια υπόσχεση ότι ο αναγνώστης μπορεί να βρει τον παρονομαστή.

Η κάρτα πρέπει να επισημαίνει την επιστημολογική κατάσταση. Η τιμή είναι μετρημένη, εκτιμώμενη, αναμενόμενη, προτεινόμενη ή ενδεικτική; Η βασική γραμμή είναι τρέχουσα; Η σουίτα αξιολόγησης είναι έτοιμη αλλά δεν έχει εκτελεστεί ακόμη; Τα αποτελέσματα προστατεύονται επειδή το υλικό δοκιμής περιέχει προσωπικά δεδομένα; Αυτές οι επισημάνσεις εμποδίζουν μια μέθοδο να εκληφθεί ως αποτέλεσμα. Επιτρέπουν επίσης σε έναν οργανισμό να δημοσιεύει πρόοδο χωρίς να κατασκευάζει επιτυχία. Μια έτοιμη δοκιμή είναι χρήσιμη πληροφορία. Δεν αποτελεί τεκμήριο ότι το σύστημα την πέρασε.

Τέλος, δώστε στην κάρτα έναν κάτοχο και έναν κανόνα αλλαγής. Ένα αποτέλεσμα χωρίς κάτοχο υποβαθμίζεται σε διαφάνεια. Ένα αποτέλεσμα χωρίς κανόνα αλλαγής παραμένει στον τοίχο αφού ο φόρτος εργασίας έχει μετακινηθεί. Ο κάτοχος δεν χρειάζεται να υπερασπίζεται τον αριθμό για πάντα. Οφείλει όμως να πει πότε ο ισχυρισμός πρέπει να επανεκτελεστεί, να αποσυρθεί ή να περιοριστεί. Η μέτρηση γίνεται μέρος των επιχειρησιακών διαδικασιών όταν κάποιος έχει την εξουσία να τη διατηρεί έντιμη.

Δύο έντιμοι τρόποι δημοσίευσης ενός αποτελέσματος

Υπάρχουν δύο συνήθεις τρόποι δημοσίευσης. Ο πρώτος είναι μια αυστηρή σύγκριση. Καθορίζει την εργασία, τα δεδομένα, τον κανόνα ποιότητας, τα όρια του συστήματος και τη γραμμή βάσης, ώστε ο αναγνώστης να μπορεί να συγκρίνει εναλλακτικές. Ο δεύτερος είναι μια διερευνητική μέτρηση. Εξετάζει τι συμβαίνει όταν αλλάζει ένας σχεδιασμός, ένας φόρτος εργασίας ή ένα περιβάλλον, και καταγράφει τις παρατηρήσεις με τους περιορισμούς τους. Η διερευνητική εργασία μπορεί να είναι πολύτιμη πριν υπάρξει ένα αυστηρό σημείο αναφοράς. Δεν θα πρέπει όμως να δανείζεται τη γλώσσα ενός αποτελέσματος συμμόρφωσης.

Οι αυστηρές συγκρίσεις είναι απαιτητικές επειδή καθιστούν ορατές τις διαφορές. Αν μια ομάδα αλλάξει ταυτόχρονα το μοντέλο και το υλικό, μπορεί να είναι αδύνατο να αποδοθεί το αποτέλεσμα. Αν ένας νέος φόρτος εργασίας είναι πιο ρεαλιστικός αλλά δεν ταιριάζει πλέον με τη γραμμή βάσης, ο ισχυρισμός θα πρέπει να αναδιατυπωθεί ως νέα μέτρηση. Αν μια βελτιστοποίηση βελτιώνει την ταχύτητα αλλάζοντας παράλληλα την ποιότητα της εξόδου, αναφέρετε και τις δύο πλευρές. Η πειθαρχία δεν αποσκοπεί στην παρεμπόδιση της προόδου. Αποσκοπεί στο να μην επιτρέπει μια ιστορία προόδου να εξαλείφει την προϋπόθεση που την κατέστησε δυνατή.

Οι διερευνητικές μετρήσεις χρειάζονται τη δική τους εντιμότητα. Πείτε ότι το δείγμα είναι μικρό, ότι το περιβάλλον είναι προσωρινό, ότι ο φόρτος εργασίας είναι συνθετικός, ότι το αποτέλεσμα δεν έχει αναπαραχθεί ανεξάρτητα ή ότι ο ποιοτικός έλεγχος είναι ελλιπής. Αυτά δεν είναι αδυναμίες που πρέπει να κρύβονται μέχρι μια άρτια παρουσίαση. Είναι οι πληροφορίες που βοηθούν τον αναγνώστη να αποφασίσει τι θα κάνει στη συνέχεια. Μια ευρωπαϊκή μηχανική κουλτούρα δεν χρειάζεται να προσποιείται ότι κάθε δοκιμή είναι μια τελική ετυμηγορία. Χρειάζεται να σταματήσει να αποκαλεί απαντημένη μια ερώτηση πριν διαβαστεί η δοκιμή.

Και οι δύο τρόποι επωφελούνται από ένα αρχείο αποτελεσμάτων. Διατηρήστε αναγνωρίσιμους τους παλιούς ορισμούς, τις διαμορφώσεις και τα αποτελέσματα. Καταγράψτε την αντικατάσταση αντί να διαγράφετε το παρελθόν. Ένα αλλαγμένο σημείο αναφοράς μπορεί να είναι το σωστό σημείο αναφοράς για μια αλλαγμένη υπηρεσία, αλλά δεν μπορεί να χρησιμοποιηθεί για να ξαναγραφεί η σημασία του παλιού αποτελέσματος. Το ιστορικό εκδόσεων είναι η μνήμη του παρονομαστή.

Το δικό μας σύντομο σημείωμα

Στη Dweve, περιγράφουμε το Core με ένα κελί εκτέλεσης και μια σύμβαση ντετερμινισμού. Το χρήσιμο μέρος αυτού του λεξιλογίου δεν είναι το όνομα του προϊόντος. Είναι η έμφαση ότι μια λειτουργία φέρει την αριθμητική της αναπαράσταση, το υπολογιστικό περιβάλλον, το σύνολο εντολών, την πολιτική εκτέλεσης και τη στάση αναπαραγωγής ως μέρος της διαδρομής που αξιολογείται. Αυτή είναι η ίδια συνήθεια που χρειάζεται ένα σημείο αναφοράς: να διατηρούνται οι συνθήκες συνδεδεμένες με το αποτέλεσμα, αντί να περιγράφεται η απόδοση σαν να αιωρείται πάνω από το σύστημα.

Αυτό είναι ένα σύντομο σημείωμα σχεδιασμού, όχι ένας ισχυρισμός για μια εξωτερική ανάπτυξη ή ένα μετρημένο αποτέλεσμα. Το ευρύτερο δίδαγμα δεν εξαρτάται από τη Dweve. Είτε το σύστημα είναι μια δημόσια στατιστική υπηρεσία, ένας βιομηχανικός ελεγκτής, ένα γλωσσικό εργαλείο ή ένα ερευνητικό πρωτότυπο, ένας αριθμός κερδίζει την εμπιστοσύνη ονομάζοντας το έργο του και τους περιορισμούς του. Η δική μας τεκμηρίωση είναι απλώς ένα μέρος όπου προσπαθούμε να κάνουμε αυτό το όριο σαφές.

Ο παρονομαστής είναι το μέρος που ταξιδεύει

Ο τίτλος ενός σημείου αναφοράς αντιγράφεται εύκολα. Ο παρονομαστής είναι πιο δύσκολο να μεταφερθεί, γι' αυτό συχνά μένει πίσω. Ένας αγοραστής αντιγράφει ένα νούμερο απόδοσης σε μια επιχειρηματική υπόθεση. Ένας ρυθμιστής βλέπει μια βαθμολογία ακρίβειας σε έναν φάκελο. Ένας μηχανικός συγκρίνει δύο γραφήματα από διαφορετικούς φόρτους εργασίας. Ένας δημοσιογράφος επαναλαμβάνει ένα ποσοστό χωρίς τον πληθυσμό. Κάθε αναγνώστης λαμβάνει έναν αριθμό που έχει χάσει τη σύμβαση που τον καθιστούσε ουσιαστικό.

Η επισκευή δεν είναι περίπλοκη, αν και απαιτεί πειθαρχία. Ονομάστε το ερώτημα. Ορίστε την εργασία. Δηλώστε το πεδίο εφαρμογής και τις εξαιρέσεις. Προσδιορίστε το σύστημα και τις εκδόσεις. Επιλέξτε μια μετρική που ταιριάζει στην υπηρεσία. Κρατήστε μια βασική γραμμή. Μετρήστε τη διακύμανση. Δημοσιεύστε τη μέθοδο και τα στοιχεία. Σημειώστε τι παραμένει άγνωστο. Δώστε στον ισχυρισμό έναν υπεύθυνο και έναν λόγο για να επαναληφθεί. Εάν το αποτέλεσμα δεν μπορεί να υποστηρίξει μια ευρεία δήλωση, κάντε τη δήλωση στενότερη.

Έτσι μπορεί η Ευρώπη να αντισταθεί στο θέατρο επιδείξεων χωρίς να γίνει αλλεργική στη φιλοδοξία. Ένας δημόσιος φορέας μπορεί να αγοράσει νέα δυνατότητα και να απαιτήσει ωστόσο ένα σημείο αναφοράς που σέβεται την υπηρεσία. Μια ερευνητική ομάδα μπορεί να δημοσιεύσει ένα εντυπωσιακό αποτέλεσμα και να δηλώσει ωστόσο τον φόρτο εργασίας που το παρήγαγε. Ένας προμηθευτής μπορεί να δείξει μια γρήγορη διαδρομή και να πει ωστόσο πού σταματά η διαδρομή. Η ειλικρινής οριοθέτηση δεν είναι φρένο στην καινοτομία. Είναι το οδόστρωμα που επιτρέπει σε οποιονδήποτε άλλον να οδηγήσει.

Το σημείο αναφοράς είναι μια σύμβαση με παρονομαστή, επειδή ο παρονομαστής μας λέει τι πραγματικά έγινε. Κρατήστε τον δίπλα στον αριθμό. Το αποτέλεσμα θα γίνει λιγότερο μαγικό, πιο συγκρίσιμο και πολύ πιο χρήσιμο. Αυτή είναι μια δίκαιη ανταλλαγή. Τα συστήματα από τα οποία εξαρτώνται οι άνθρωποι αξίζουν αριθμούς που μπορούν να επιβιώσουν από μια αργή ανάγνωση.

Όταν μια μετρική ταξιδεύει μεταξύ κόσμων

Οι αριθμοί των σημείων αναφοράς συχνά εγκαταλείπουν την ομάδα που τους μέτρησε και εισέρχονται σε ένα διαφορετικό σύστημα αποφάσεων. Ένας ερευνητής δημοσιεύει έναν πίνακα. Μια ομάδα προϊόντος μετατρέπει μια γραμμή σε στόχο. Οι προμήθειες μετατρέπουν τον στόχο σε σύμβαση. Οι επιχειρήσεις μετατρέπουν τη σύμβαση σε προσδοκία επιπέδου υπηρεσίας. Κάθε βήμα αλλάζει τι καλείται να κάνει ο αριθμός. Ο αρχικός παρονομαστής μπορεί να εξακολουθεί να υπάρχει στην εργασία ή στο αποθετήριο, αλλά έχει γίνει κοινωνικά απομακρυσμένος από την απόφαση. Μια μετρική χρειάζεται μια σημείωση μετάφρασης όποτε διασχίζει αυτό το όριο.

Η σημείωση μετάφρασης μπορεί να είναι απλή. Αυτό το αποτέλεσμα αφορά τη διεκπεραίωση στοιχείων, όχι τις ολοκληρωμένες υποθέσεις. Αυτό το ποσοστό ακρίβειας χρησιμοποιεί ένα σταθερό σύνολο ετικετών, όχι ζωντανά αποτελέσματα. Αυτή η τιμή ενέργειας αποκλείει το όριο ψύξης του κέντρου δεδομένων. Αυτή η βασική γραμμή είναι μια εφαρμογή αναφοράς, όχι η υφιστάμενη υπηρεσία. Αυτές οι προτάσεις εμποδίζουν μια χρήσιμη μέτρηση να γίνει μια παραπλανητική υπόσχεση. Κάνουν επίσης τη διαφωνία ευκολότερη. Ένας αναγνώστης μπορεί να αμφισβητήσει το όριο αντί να διαφωνεί για το αν ο αριθμός φαίνεται εντυπωσιακός.

Διαφορετικές ομάδες μπορεί σκόπιμα να επιλέξουν διαφορετικούς παρονομαστές. Μια ομάδα πλατφόρμας μπορεί να ενδιαφέρεται για την εργασία ανά τζάουλ. Ένας ιδιοκτήτης υπηρεσίας μπορεί να ενδιαφέρεται για τις ολοκληρωμένες αποφάσεις ανά ώρα στελέχωσης. Μια δημόσια αρχή μπορεί να ενδιαφέρεται για σωστά, εξηγήσιμα αποτελέσματα για έναν καθορισμένο πληθυσμό και τον χρόνο απόκρισης. Αυτές δεν είναι ανταγωνιστικές αλήθειες αν καθεμία ονομάζεται. Το πρόβλημα αρχίζει όταν επιτρέπεται στον ευκολότερο παρονομαστή να υποκαταστήσει την αποστολή. Ο ταχύτερος πυρήνας δεν κάνει αυτόματα την καλύτερη υπηρεσία, όπως ακριβώς το μεγαλύτερο σύνολο δοκιμών δεν κάνει αυτόματα το πιο σχετικό.

Πριν επαναχρησιμοποιηθεί ένα σημείο αναφοράς, ρωτήστε τι έχει αλλάξει: ο φόρτος εργασίας, ο ιδιοκτήτης, η συνέπεια ή ο χρονικός ορίζοντας. Αν κάποιο από αυτά έχει αλλάξει, επαναλάβετε την ερμηνεία ακόμη και όταν ο υποκείμενος αριθμός είναι αμετάβλητος. Η μέτρηση δεν είναι ένα κειμήλιο που μεταφέρεται μεταξύ δωματίων. Είναι μια σχέση που πρέπει να ανανεώνεται όταν αλλάζει το δωμάτιο.

Ένα αποτέλεσμα πρέπει να ξέρει πότε να λήξει

Τα αποτελέσματα έχουν μια χρήσιμη διάρκεια ζωής. Ένα σημείο αναφοράς που συνδέεται με μια έκδοση μοντέλου, ένα στιγμιότυπο πηγής ή μια διαμόρφωση υλικού γίνεται ιστορικό όταν αλλάξουν αυτές οι συνθήκες. Αυτό δεν καθιστά το παλιό αποτέλεσμα ψευδές. Αλλάζει την ερώτηση στην οποία μπορεί να απαντήσει. Η αναφορά θα πρέπει να λέει ποιο γεγονός καθιστά τον ισχυρισμό παρωχημένο: ένα νέο μοντέλο, ένας αλλαγμένος μεταγλωττιστής, μια νέα κατανομή δεδομένων, ένας αναθεωρημένος κανόνας ετικετών, μια αντικατάσταση υλικού, μια αλλαγή πολιτικής ή ένα παρατηρούμενο σήμα απόκλισης. Ένας κανόνας λήξης είναι ένα μικρό κομμάτι θεσμικής μνήμης.

Χωρίς κανόνα λήξης, οι αριθμοί συσσωρεύονται όπως τα παλτά σε μια καρέκλα. Ο καθένας είναι τεχνικά ακόμα εκεί και κανείς δεν ξέρει ποιος ανήκει στο σήμερα. Ένα μητρώο αποτελεσμάτων μπορεί να διατηρήσει το πλήρες ιστορικό, επισημαίνοντας ταυτόχρονα την τρέχουσα σύγκριση, τον αντικατασταθέντα ορισμό και τον λόγο επανεκτέλεσης. Η επανεκτέλεση γίνεται έτσι συνήθης συντήρηση και όχι αντιμετώπιση κρίσης. Αυτό είναι ιδιαίτερα σημαντικό για τις δημόσιες υπηρεσίες, όπου ένα αποτέλεσμα μπορεί να επιβιώσει από την ομάδα που το παρήγαγε.

Η λήξη προστατεύει επίσης την έντιμη πρόοδο. Αν ένα νέο φόρτο εργασίας αποκαλύψει ότι ένα προηγούμενο σημείο αναφοράς ήταν πολύ περιορισμένο, ο οργανισμός μπορεί να δημοσιεύσει την αλλαγή, να διατηρήσει την παλιά μέθοδο και να εξηγήσει το νέο όριο. Δεν χρειάζεται να υπερασπιστεί ένα ξεπερασμένο νούμερο ούτε να προσποιηθεί ότι το παλιό νούμερο δεν υπήρξε ποτέ. Ένα σημείο αναφοράς που μπορεί να περιοριστεί, να αντικατασταθεί και να γίνει κατανοητό είναι πιο χρήσιμο από ένα που πρέπει να παραμείνει εντυπωσιακό για πάντα.

Ένα benchmark είναι μια σύμβαση με έναν παρονομαστή