Η πραγματική δουλειά είναι πριν από το prompt
Το εργαστήριο προτροπών που ξεκίνησε πολύ αργά
Το εργαστήριο είχε κλειστεί για να βελτιωθούν οι προτροπές. Αυτός ήταν ο τίτλος στο ημερολόγιο, με ένα χαρούμενο εικονίδιο μαγικού ραβδιού που κάποιος μετάνιωσε αργότερα. Μια ομάδα διευθυντών, αναλυτών, στελεχών επιχειρήσεων και μηχανικών κάθισε γύρω από ένα τραπέζι με ένα κοινό έγγραφο. Η τρέχουσα προτροπή ήταν στην οθόνη. Ζητούσε από ένα γλωσσικό μοντέλο να εξετάσει αιτήματα πελατών, να εντοπίσει τη σωστή πολιτική, να συντάξει μια απάντηση και να επισημάνει τον κίνδυνο. Ήταν ευγενική, δομημένη και πολύ μεγαλύτερη από όσο ήθελε να παραδεχτεί οποιοσδήποτε. Δεν ήταν όμως και το κύριο πρόβλημα.
Η πρώτη δοκιμαστική περίπτωση ήταν ένας πελάτης που ζητούσε εξαίρεση μετά από καθυστερημένη παράδοση. Το μοντέλο παρήγαγε μια αξιοπρεπή απάντηση. Έπειτα, κάποιος από τις επιχειρήσεις είπε ότι η πολιτική στην οθόνη δεν ήταν πλέον αυτή που χρησιμοποιούσε η ομάδα τις Παρασκευές, επειδή ένας προσωρινός κανόνας μεταφορέα είχε παραταθεί δύο φορές, αλλά δεν είχε ποτέ ενσωματωθεί στην κύρια σελίδα πολιτικής. Κάποιος από το νομικό τμήμα είπε ότι οι εξαιρέσεις άνω ενός συγκεκριμένου ποσού απαιτούσαν έγκριση, αλλά το όριο εξαρτιόταν από την κατηγορία προϊόντος. Τα οικονομικά ρώτησαν πού καταγράφονταν οι πιστώσεις καλής θέλησης. Η υποστήριξη είπε ότι ο τόνος του μοντέλου ήταν εντάξει, αλλά ο πελάτης θα τηλεφωνούσε ξανά επειδή η απάντηση δεν ανέφερε το γεγονός παρακολούθησης που έλειπε. Η προτροπή έμεινε εκεί να δείχνει αθώα.
Κανένα από αυτά τα ζητήματα δεν θα διορθωνόταν με μια καλύτερη παράγραφο οδηγιών. Το μοντέλο δεν μπορούσε να συμπεράνει ποια σελίδα πολιτικής ήταν έγκυρη. Δεν μπορούσε να γνωρίζει ότι ένας προσωρινός κανόνας είχε γίνει επιχειρησιακή πραγματικότητα. Δεν μπορούσε να αποφασίσει ποιος είχε εξουσιοδότηση έγκρισης. Δεν μπορούσε να δει ότι το γεγονός παρακολούθησης που έλειπε ήταν η πραγματική αιτία της επόμενης επικοινωνίας. Η προτροπή καλούνταν να αντισταθμίσει μια ασαφή διαδικασία. Αυτό είναι ένα συνηθισμένο λάθος. Οι άνθρωποι φτάνουν στην προτροπή με ένα καλάθι γεμάτο διαδικαστική ασάφεια και ζητούν από το μοντέλο να είναι κομψό σχετικά με αυτήν.
Η πραγματική δουλειά γίνεται πριν από την προτροπή. Είναι η δουλειά του να ονομάσεις την εργασία, να ορίσεις τα όρια, να επιλέξεις πηγές, να καθορίσεις την εξουσιοδότηση, να προετοιμάσεις παραδείγματα, να αποφασίσεις για τα μονοπάτια αποτυχίας, να διαμορφώσεις το αποτέλεσμα, να μετρήσεις την ποιότητα και να καταστήσεις δυνατή τη διόρθωση. Η προτροπή έχει σημασία. Μια κακή προτροπή μπορεί να κάνει μια καλή προετοιμασία αδέξια. Αλλά μια όμορφη προτροπή πάνω από μια ασαφή λειτουργία είναι απλώς καλογραμμένη σύγχυση. Το μοντέλο μπορεί να ακούγεται καλύτερα. Η δουλειά δεν θα γίνει ασφαλέστερη, φθηνότερη ή πιο κατανοητή από τύχη.
Μια προτροπή δεν είναι χάρτης διαδικασίας
Ένα prompt μπορεί να πει στο μοντέλο πώς να συμπεριφέρεται σε ένα πλαίσιο. Δεν μπορεί να δημιουργήσει το πλαίσιο αν ο οργανισμός δεν το έχει ήδη κάνει. Μπορεί να ζητήσει συντομία, δομή, ταπεινότητα και παραπομπές. Μπορεί να περιγράψει έναν ρόλο. Μπορεί να ορίσει μια μορφή. Μπορεί να προειδοποιήσει το μοντέλο να μην εικάζει. Όλα αυτά είναι χρήσιμα. Είναι όμως μικρά σε σύγκριση με τα ερωτήματα διαδικασίας που καθορίζουν αν ένα σύστημα τεχνητής νοημοσύνης βοηθάει πραγματικά ή απλώς μιλάει με αυτοπεποίθηση κοντά στη δουλειά.
Ποια είναι η εργασία. Είναι ταξινόμηση, εξαγωγή, σύνοψη, σύνταξη, δρομολόγηση, σύσταση, επαλήθευση ή ενέργεια. Ποιο μέρος είναι αυτοματοποιημένο. Ποιο μέρος παραμένει ανθρώπινο. Ποια κατάσταση αλλάζει αν γίνει αποδεκτό το αποτέλεσμα. Ποιοι επηρεάζονται. Ποια αρχεία αγγίζονται. Ποια πολιτική ισχύει. Ποια αποδεικτικά στοιχεία είναι υποχρεωτικά. Τι συμβαίνει όταν λείπουν αποδεικτικά στοιχεία. Ποια λάθη είναι ανεκτά. Ποια λάθη προκαλούν βλάβη. Αυτά τα ερωτήματα καθορίζουν τη μορφή του συστήματος. Ένα prompt που δεν στηρίζεται σε σαφείς απαντήσεις γίνεται μια ευγενική εικασία που φοράει ταυτότητα.
Πολλά αποτυχημένα πιλοτικά προγράμματα τεχνητής νοημοσύνης ξεκινούν με ένα prompt, επειδή το prompt είναι το πιο ορατό σημείο ελέγχου. Φαίνεται δημιουργικό και άμεσο. Μπορείς να το επεξεργαστείς σε μια συνάντηση. Μπορείς να δοκιμάσεις μια νέα έκδοση πριν κρυώσει ο καφές. Ο σχεδιασμός διαδικασιών είναι πιο αργός. Ο καθαρισμός δεδομένων είναι πιο αργός. Η χαρτογράφηση εξουσιοδοτήσεων είναι πιο αργή. Η δημιουργία συνόλων αξιολόγησης είναι πιο αργή. Δυστυχώς, το αργό δεν σημαίνει και προαιρετικό. Τα μέρη που παραλείπονται πριν από το prompt επιστρέφουν αργότερα ως παραισθήσεις, επανεπεξεργασία, έλλειψη εμπιστοσύνης, εξαιρέσεις πολιτικής και ένα μεγάλο υπολογιστικό φύλλο με τίτλο ζητήματα.
Η καλύτερη σειρά δεν είναι εντυπωσιακή. Κατέγραψε τη δουλειά. Δούλεψε με πραγματικά περιστατικά. Προσδιόρισε τα συστήματα προέλευσης. Σημείωσε ποια πεδία καθορίζουν τα αποτελέσματα. Διαχώρισε τους κανόνες από την κρίση. Αποφάσισε πού μπαίνουν οι άνθρωποι. Όρισε τα συμβόλαια εξόδου. Δημιούργησε παραδείγματα. Συμφώνησε στην άρνηση. Δοκίμασε με τους ανθρώπους που θα ζήσουν με το αποτέλεσμα. Μόνο τότε το prompt γίνεται ένα χρήσιμο εργαλείο. Πριν από αυτό, είναι ένα διακοσμητικό τιμόνι πάνω σε ένα γραφείο.
Η εργασία χρειάζεται ένα όριο αρκετά σαφές για να δοκιμαστεί
Η εργασία με την τεχνητή νοημοσύνη συχνά ξεκινά με ρήματα που είναι πολύ μεγάλα. Βοήθεια στην εξυπηρέτηση πελατών. Υποστήριξη της νομικής αναθεώρησης. Βελτίωση του σχεδιασμού. Υποβοήθηση των προμηθειών. Πιο έξυπνη αναφορά. Αυτές είναι φιλοδοξίες, όχι εργασίες. Ένα μοντέλο δεν μπορεί να αξιολογηθεί σε σχέση με μια φιλοδοξία. Μπορεί να αξιολογηθεί σε σχέση με μια εργασία που έχει εισόδους, εξόδους, περιορισμούς, κριτήρια επιτυχίας και μονοπάτια αποτυχίας. Η πιο περιορισμένη περιγραφή μπορεί να φαίνεται λιγότερο συναρπαστική. Είναι όμως και η πρώτη στιγμή που η δουλειά γίνεται υλοποιήσιμη.
Ένα σαφές όριο εργασίας λέει τι μπορεί να βλέπει το σύστημα και τι μπορεί να αλλάζει. Λέει αν το μοντέλο διαβάζει πηγαίο υλικό, δημιουργεί ένα προσχέδιο, εξάγει δομημένα πεδία, προτείνει μια ενέργεια ή καλεί ένα εργαλείο. Λέει ποια αποτελέσματα είναι τελικά, ποια συμβουλευτικά και ποια πρέπει να ελεγχθούν. Λέει τι αρνείται το σύστημα. Λέει πότε το μοντέλο πρέπει να ζητήσει περισσότερα αποδεικτικά στοιχεία αντί να ολοκληρώσει την απάντηση. Λέει τι είναι εκτός πεδίου, επειδή εκτός πεδίου είναι εκεί όπου τα φιλόδοξα πιλοτικά προγράμματα γίνονται αναφορές περιστατικών.
Τα όρια καθιστούν δυνατή την αξιολόγηση. Αν η εργασία είναι να συνταχθεί μια απάντηση χρησιμοποιώντας αυτές τις πηγές και αυτή την πολιτική, η ποιότητα μπορεί να δοκιμαστεί. Αν η εργασία είναι να βελτιωθεί η ποιότητα των υπηρεσιών με τεχνητή νοημοσύνη, κάθε αποτέλεσμα μπορεί να εξηγηθεί ως πρόοδος από κάποιον με αρκετές διαφάνειες. Ένα όριο προστατεύει επίσης τους χρήστες από ακούσια κλιμάκωση. Ένα εργαλείο που ξεκινά με τη σύνταξη μπορεί να αποκτήσει ένα κουμπί αποστολής. Ένας ταξινομητής μπορεί να γίνει δρομολογητής. Ένας δρομολογητής μπορεί να γίνει απόφαση. Χωρίς ένα ονομασμένο όριο, αυτή η μετατόπιση μοιάζει με υιοθέτηση. Με ένα όριο, γίνεται αίτημα αλλαγής.
Το όριο θα πρέπει να διατυπωθεί σε επιχειρησιακή γλώσσα, όχι μόνο σε τεχνική. Ο υπεύθυνος υποστήριξης θα πρέπει να το καταλαβαίνει. Το νομικό τμήμα θα πρέπει να το καταλαβαίνει. Ο κάτοχος των δεδομένων θα πρέπει να το καταλαβαίνει. Ο μηχανικός θα πρέπει να μπορεί να το δοκιμάσει. Αν το prompt είναι το μόνο σημείο όπου υπάρχει το όριο, τότε το όριο είναι εύθραυστο. Τα prompts είναι σημαντικά, αλλά δεν αποτελούν πολιτική με δεσμευτική ισχύ. Μοιάζουν περισσότερο με οδηγίες προς έναν πολύ ταλαντούχο προσωρινό υπάλληλο που δεν είδε ποτέ το οργανόγραμμα.
Οι πηγές δεν είναι ένας σωρός εγγράφων
Πολλές ομάδες ανακαλύπτουν κατά τη διαδικασία του prompting ότι δεν γνωρίζουν ποιες πηγές έχουν κύρος. Έχουν σελίδες πολιτικής, PDF, οδηγίες μέσω email, εκπαιδευτικό υλικό, παλιά εγχειρίδια, μηνύματα σε chat, πρότυπα για δελτία, υπολογιστικά φύλλα παρακολούθησης και τη μνήμη μιας χειρίστριας που όλοι καλούν επειδή ξέρει πώς λειτουργούν πραγματικά τα πράγματα. Στη συνέχεια, ζητείται από το μοντέλο να απαντήσει με βάση τη βάση γνώσεων. Ποια γνώση. Ποια βάση. Η φράση αυτή μπορεί να κρύβει τεράστιο βαθμό ασάφειας.
Η προετοιμασία των πηγών δεν είναι εντυπωσιακή, γι' αυτό και συχνά καθυστερεί. Περιλαμβάνει το να αποφασίσεις ποιο έγγραφο υπερισχύει όταν οι πηγές διαφωνούν, πώς ελέγχεται η επικαιρότητα, πώς λήγουν οι προσωρινοί κανόνες, πώς αναπαρίστανται οι εξαιρέσεις, πώς αποκλείεται το εμπιστευτικό υλικό, πώς διατηρούνται οι εκδόσεις των πηγών και πώς επιβιώνουν τα αναγνωριστικά παραπομπών στην απάντηση του μοντέλου. Αυτό δεν είναι γραφειοκρατία. Είναι η διαφορά ανάμεσα στην ανάκτηση και στο ψάξιμο στα τυφλά.
Η τεχνητή νοημοσύνη καθιστά την πειθαρχία στις πηγές πιο σημαντική, επειδή το μοντέλο μπορεί να κάνει τις αδύναμες πρακτικές πηγών να φαίνονται αποδεκτές. Μπορεί να συνενώσει αποσπάσματα σε άπταιστο πεζό λόγο. Μπορεί να εξομαλύνει τις αντιφάσεις. Μπορεί να παράγει μια εύλογη απάντηση από παρωχημένο υλικό. Ένα αποτέλεσμα αναζήτησης με εμφανή κενά μοιάζει ελλιπές. Μια παραγόμενη απάντηση με τα ίδια κενά μπορεί να μοιάζει πλήρης. Όσο καλύτερος είναι ο πεζός λόγος, τόσο πιο σημαντική είναι η προέλευση. Η αυτοπεποίθηση δεν θα πρέπει να επιτρέπεται να εξωραΐζει μια αδύναμη αλυσίδα πηγών.
Η καλή προετοιμασία των πηγών μειώνει επίσης την πολυπλοκότητα του prompt. Ένα prompt γεμάτο προειδοποιήσεις για αντικρουόμενες πολιτικές, παρωχημένα έγγραφα, ελλιπή πεδία και ειδικές εξαιρέσεις είναι συχνά σύμπτωμα παραμέλησης σε προηγούμενο στάδιο. Αν το επίπεδο ανάκτησης φιλτράρει ήδη με βάση το κύρος και την επικαιρότητα, το prompt μπορεί να είναι συντομότερο. Αν η πηγή φέρει δομημένα μεταδεδομένα, το μοντέλο δεν χρειάζεται να τα συνάγει από τους τίτλους των παραγράφων. Αν οι εξαιρέσεις αναπαρίστανται ως κανόνες, το μοντέλο δεν χρειάζεται να γίνει ντετέκτιβ με περιορισμένα όρια διακριτικών. Η καλύτερη βελτίωση ενός prompt είναι μερικές φορές ένα καλύτερο ευρετήριο.
Τα παραδείγματα είναι μικρά κομμάτια διακυβέρνησης
Τα παραδείγματα συνήθως αντιμετωπίζονται ως βοηθήματα εκπαίδευσης, αλλά αποτελούν και διακυβέρνηση. Ένα καλό παράδειγμα δείχνει τι σημαίνει ποιότητα σε μια συγκεκριμένη κατάσταση. Δείχνει πώς ο οργανισμός διαχειρίζεται την αβεβαιότητα, τα ελλιπή στοιχεία, τις συγκρουόμενες πολιτικές, τον ευαίσθητο τόνο, την κλιμάκωση και την άρνηση. Λέει στο μοντέλο και στην ομάδα πώς μοιάζει μια καλή απάντηση, αλλά και πώς μοιάζει μια καλή μη απάντηση. Αυτό έχει σημασία, γιατί πολλά σοβαρά συστήματα αποτυγχάνουν επειδή απαντούν όταν θα έπρεπε να σταματήσουν.
Η δημιουργία παραδειγμάτων αναγκάζει σε αποφάσεις που η αφηρημένη συζήτηση αποφεύγει. Πάρτε είκοσι πραγματικές περιπτώσεις. Σημειώστε το σωστό αποτέλεσμα. Σημειώστε τις αποδεκτές εναλλακτικές. Σημειώστε τις μη αποδεκτές συντομεύσεις. Εξηγήστε γιατί. Συμπεριλάβετε οριακές περιπτώσεις που έκαναν έμπειρο προσωπικό να διστάσει. Συμπεριλάβετε και συνηθισμένες περιπτώσεις, γιατί τα συστήματα που εκπαιδεύονται μόνο σε δραματικά σενάρια μαθαίνουν κακούς τρόπους. Ζητήστε από τους ειδικούς του τομέα να διαφωνήσουν και καταγράψτε τη διαφωνία. Αυτό είναι πιο αργό από το να ζητήσετε από το μοντέλο να είναι προσεκτικό. Παράγει όμως και μια κοινή γλώσσα για την προσοχή.
Τα παραδείγματα πρέπει να περιλαμβάνουν αρνητικές περιπτώσεις. Δεν βρέθηκε πηγή. Σύγκρουση πηγών. Ο χρήστης δεν έχει εξουσιοδότηση. Αίτημα εκτός σκοπού. Ο πελάτης ζητά κάτι που ακούγεται απλό αλλά ενεργοποιεί πολιτική. Το μοντέλο πρέπει να μάθει πότε να αρνείται, πότε να κλιμακώνει, πότε να ρωτά ή πότε να επιστρέφει δομημένη αβεβαιότητα. Αν τα παραδείγματα δείχνουν μόνο επιτυχημένες απαντήσεις, το prompt θα κλίνει προς την ολοκλήρωση. Η ολοκλήρωση δεν είναι πάντα επιτυχία. Μερικές φορές η καλύτερη απάντηση είναι ότι δεν υπάρχουν αρκετά στοιχεία, κάτι που είναι δύσκολο να γιορταστεί σε μια επίδειξη αλλά χρήσιμο σε ένα σύστημα που λειτουργεί.
Τα παραδείγματα είναι επίσης η αρχή της αξιολόγησης. Μπορούν να γίνουν δοκιμαστικά fixtures, περιπτώσεις παλινδρόμησης, εκπαίδευση αξιολογητών και δείγματα παρακολούθησης. Όταν συμβεί ένα περιστατικό, μια διορθωμένη περίπτωση μπορεί να γίνει νέο παράδειγμα. Αυτό δίνει μνήμη στο σύστημα. Χωρίς παραδείγματα, οι αλλαγές στο prompt γίνονται αλλαγές διάθεσης. Κάποιος λέει ότι η απάντηση μοιάζει καλύτερη. Κάποιος άλλος λέει ότι μοιάζει χειρότερη. Το μοντέλο χαμογελά στη μέση, ανενόχλητο από τα στοιχεία.
Η μορφή εξόδου είναι επιχειρησιακή απόφαση
Οι συζητήσεις για τα prompts συχνά αφιερώνουν υπερβολικό χρόνο στον τόνο και πολύ λίγο στη μορφή εξόδου. Ο τόνος έχει σημασία, ειδικά στην επικοινωνία με πελάτες ή το κοινό. Αλλά η μορφή εξόδου καθορίζει αν η απάντηση μπορεί να ελεγχθεί, να δρομολογηθεί, να αποθηκευτεί, να εγκριθεί, να αμφισβητηθεί ή να χρησιμοποιηθεί από άλλο σύστημα. Μια παράγραφος μπορεί να είναι ευχάριστη. Μια δομημένη έξοδος μπορεί να είναι λειτουργική. Η σοβαρή εργασία με AI συχνά χρειάζεται και τα δύο: αναγνώσιμη πεζογραφία για τους ανθρώπους και πεδία που μπορούν να επαληθεύσουν οι μηχανές.
Η μορφή εξόδου περιλαμβάνει υποχρεωτικά πεδία, παραπομπές σε πηγές, βαθμό βεβαιότητας ή αβεβαιότητας, λόγους άρνησης, σημαίες κλιμάκωσης, επηρεαζόμενες εγγραφές, προτεινόμενες ενέργειες και κατάσταση έγκρισης από άνθρωπο. Καθορίζει αν το μοντέλο μπορεί να αφήσει ένα πεδίο κενό. Καθορίζει αν πρέπει να αναφέρει αναγνωριστικό πολιτικής. Καθορίζει αν μπορεί να επινοήσει κατηγορίες ή αν πρέπει να επιλέξει από ελεγχόμενη λίστα. Καθορίζει τι συμβαίνει όταν η είσοδος είναι διφορούμενη. Αυτές οι επιλογές δεν είναι διακοσμητικές λεπτομέρειες του prompt. Είναι σχεδιασμός ροής εργασίας.
Η δομημένη έξοδος κρατά επίσης το μοντέλο εντός των ορίων του. Αν το σύστημα απαιτεί ξεχωριστό πεδίο για τα τεκμήρια, οι ισχυρισμοί χωρίς υποστήριξη γίνονται ορατοί. Αν απαιτεί τύπο ενέργειας από επιτρεπόμενη λίστα, η δημιουργική χρήση εργαλείων γίνεται δυσκολότερη. Αν απαιτεί ρητή δήλωση αβεβαιότητας, οι αξιολογητές μπορούν να κάνουν διαλογή. Αν απαιτεί λόγο άρνησης, οι αποκλεισμένες περιπτώσεις μπορούν να αναλυθούν. Το prompt μπορεί να ζητά αυτά τα πράγματα, αλλά το περιβάλλον σύστημα θα πρέπει να τα επαληθεύει. Το να ζητάς κάτι ευγενικά δεν είναι έλεγχος. Είναι πρόταση με μορφοποίηση.
Υπάρχει και η ανθρώπινη πλευρά. Οι άνθρωποι χρειάζονται έξοδο που να ταιριάζει στον ρυθμό της δουλειάς τους. Ένας δικηγόρος μπορεί να χρειάζεται τις σχετικές ρήτρες και σημειώσεις κινδύνου. Ένας υπάλληλος υποστήριξης μπορεί να χρειάζεται ένα προσχέδιο έτοιμο για τον πελάτη, καθώς και εσωτερικούς κωδικούς αιτιολογίας. Ένας προγραμματιστής μπορεί να χρειάζεται μια σύσταση διαδρομής και τον περιορισμό που την οδήγησε. Ένας διευθυντής μπορεί να χρειάζεται συγκεντρωτικούς λόγους, όχι μεμονωμένα κείμενα. Αν η μορφή εξόδου αγνοεί τον χρήστη, το prompt μπορεί να είναι τεχνικά σωστό και λειτουργικά εκνευριστικό. Αυτό είναι ένα συνηθισμένο επίτευγμα, αλλά όχι χρήσιμο.
Η εξουσία δεν απορρέει από τη χρησιμότητα
Ένα χρήσιμο μοντέλο προκαλεί εμπιστοσύνη. Αυτό είναι καλό, μέχρι να παρερμηνευτεί η χρησιμότητα ως εξουσία. Αν το μοντέλο συντάσσει μια απάντηση, ποιος επιτρέπεται να την αποστείλει. Αν προτείνει επιστροφή χρημάτων, ποιος επιτρέπεται να την εγκρίνει. Αν ταξινομεί κίνδυνο, ποιος ενεργεί βάσει της ταξινόμησης. Αν εξάγει ένα πεδίο, ποιος το διορθώνει. Αν δεν βρίσκει τεκμήρια, ποιος αποφασίζει αν θα προχωρήσει. Αυτά τα ερωτήματα πρέπει να απαντηθούν πριν από το prompt, γιατί το prompt δεν μπορεί να παραχωρήσει θεσμική εξουσία.
Ο σχεδιασμός εξουσίας περιλαμβάνει ρόλους, όρια, ουρές αναθεώρησης, δικαιώματα παράκαμψης, διαδρομές κλιμάκωσης και αρχεία ελέγχου. Διακρίνει την πρόταση από την απόφαση. Διακρίνει την αυτοματοποιημένη απόφαση από την ανθρώπινη απόφαση που υποστηρίζεται από αυτοματισμό. Καθορίζει πότε ένας άνθρωπος πρέπει να δει το πρωτογενές υλικό και όχι μόνο το κείμενο του μοντέλου. Καθορίζει πότε επιτρέπεται μια κλήση εργαλείου και πότε αποκλείεται. Καθορίζει ποιος φέρει την ευθύνη για τη ζημία, την καθυστέρηση, τη διόρθωση και την επικοινωνία. Το μοντέλο μπορεί να βοηθήσει εντός αυτού του σχεδιασμού. Δεν θα έπρεπε να είναι ο ίδιος ο σχεδιασμός.
Αυτό έχει ιδιαίτερη σημασία όταν η τεχνητή νοημοσύνη προστίθεται σε υπάρχουσες ροές εργασίας. Η υπάρχουσα εξουσία μπορεί να είναι άτυπη. Ένα ανώτερο στέλεχος εγκρίνει εξαιρέσεις επειδή όλοι ξέρουν να το ρωτήσουν. Ένας επικεφαλής ομάδας ερμηνεύει την πολιτική επειδή έχει δει τις οριακές περιπτώσεις. Ένα υπολογιστικό φύλλο φέρει έναν προσωρινό κανόνα επειδή το σύστημα δεν μπορεί. Όταν μπαίνει η τεχνητή νοημοσύνη, η άτυπη εξουσία γίνεται εύθραυστη. Το μοντέλο μπορεί να αναπαράγει την παλιά ασάφεια ταχύτερα από ό,τι οι άνθρωποι μπορούν να την εντοπίσουν. Η προεργασία πριν από το prompt είναι να γίνει η εξουσία αρκετά ρητή, ώστε η κλιμάκωση να μην κλιμακώνει απλώς τη σύγχυση.
Αξίζει να σημειωθεί ότι η εξουσία δεν είναι εχθρός της ταχύτητας. Η σαφής εξουσία συχνά κάνει τη δουλειά ταχύτερη, επειδή οι άνθρωποι ξέρουν τι μπορεί να προχωρήσει χωρίς συζήτηση, τι πρέπει να σταματήσει και ποιος μπορεί να αποφασίσει. Η ασαφής εξουσία φαίνεται ευέλικτη μέχρι να συναντήσει τον όγκο. Τότε κάθε δύσκολη περίπτωση γίνεται μια μικρή συνταγματική κρίση, με τα νήματα συνομιλίας ως νομολογία. Αυτό δεν είναι προτεινόμενο νομικό σύστημα.
Η αξιολόγηση δεν είναι έλεγχος εντύπωσης
Πολλές επαναλήψεις προτροπών κρίνονται με το συναίσθημα. Αυτή η έκδοση ακούγεται καλύτερα. Αυτή είναι πιο συνοπτική. Αυτή είναι λιγότερο επιτακτική. Αυτές οι κρίσεις μπορεί να είναι χρήσιμες, αλλά δεν αρκούν. Οι λειτουργίες τεχνητής νοημοσύνης χρειάζονται αξιολόγηση που ακολουθεί την εργασία. Χρησιμοποίησε το μοντέλο τη σωστή πηγή. Παρέλειψε υποχρεωτικά πεδία. Αρνήθηκε όταν τα στοιχεία έλειπαν. Αναβάθμισε περιπτώσεις υψηλού κινδύνου. Διατήρησε τα αναγνωριστικά πολιτικής. Παρενέβησαν άνθρωποι. Έκαναν οι πελάτες λιγότερες διευκρινιστικές ερωτήσεις. Είδαν οι κατάντη ομάδες λιγότερη επανεπεξεργασία.
Η αξιολόγηση θα πρέπει να περιλαμβάνει συνήθεις περιπτώσεις, οριακές περιπτώσεις, περιπτώσεις αντιπάλου, παρωχημένες πηγές, ελλιπή δεδομένα, συγκρουόμενες πολιτικές και παραδείγματα αποδεκτής άρνησης. Θα πρέπει να είναι επαναλήψιμη. Θα πρέπει να διακρίνει την αποτυχία του μοντέλου από την αποτυχία της πηγής, την αποτυχία της προτροπής, την αποτυχία της διεπαφής και την αποτυχία της διαδικασίας. Διαφορετικά, κάθε πρόβλημα γίνεται πρόβλημα προτροπής, επειδή η προτροπή είναι το μέρος που βλέπουν όλοι. Το ορατό μέρος δεν είναι πάντα το ένοχο μέρος. Αυτό ισχύει στο λογισμικό και στις συναντήσεις.
Η αξιολόγηση αποφασίζει επίσης πότε να σταματήσει. Χωρίς σύνολο δοκιμών και κριτήρια έκδοσης, η εργασία στις προτροπές μπορεί να συνεχιστεί για πάντα, επειδή η γλώσσα μπορεί πάντα να βελτιωθεί. Θα υπάρχει πάντα ένα άλλο επίθετο, μια άλλη οδηγία, ένα άλλο παράδειγμα, μια άλλη μικρορύθμιση μορφοποίησης. Το ερώτημα δεν είναι αν η προτροπή είναι τέλεια. Το ερώτημα είναι αν το σύστημα εκτελεί την εργασία εντός των συμφωνημένων ορίων κινδύνου, κόστους και ποιότητας. Η τελειότητα είναι κακός διαχειριστής εκδόσεων. Δεν κουβαλάει βομβητή.
Η εργασία μετά την προτροπή ξεκινά πριν από την έκδοση
Οι διαδρομές διόρθωσης θα πρέπει να σχεδιάζονται πριν αναφέρει πρόβλημα ο πρώτος χρήστης της παραγωγής. Πώς επισημαίνει ένας χρήστης μια λανθασμένη απάντηση. Πού πηγαίνει αυτή η επισήμανση. Ποιος την εξετάζει. Αλλάζει η πηγή. Αλλάζει η τράπεζα παραδειγμάτων. Αλλάζει η προτροπή. Αλλάζει ένας κανόνας. Αλλάζει ένα όριο. Λαμβάνει ανατροφοδότηση ένας άνθρωπος. Γίνεται η διορθωμένη περίπτωση δοκιμή παλινδρόμησης. Αν η διόρθωση δεν είναι σχεδιασμένη, η ανατροφοδότηση γίνεται σωρός. Οι σωροί είναι εκεί όπου η μάθηση πηγαίνει για έναν μακρύ υπνάκο.
Η παρακολούθηση θα πρέπει επίσης να αποφασιστεί πριν από την έκδοση. Παρακολουθήστε όχι μόνο την καθυστέρηση και το κόστος, αλλά και τα ποσοστά άρνησης, τα ποσοστά ελλιπούς πηγής, τους λόγους παράκαμψης, τον φόρτο αναβάθμισης, την κατάντη επανεπεξεργασία, τα θέματα παραπόνων, τις παρωχημένες παραπομπές και τη μετατόπιση της σύνθεσης των εργασιών. Η ποιότητα των απαντήσεων του μοντέλου είναι μόνο ένα μέρος της λειτουργικής ποιότητας. Ένα σύστημα μπορεί να απαντά καλά και παρόλα αυτά να δρομολογεί υπερβολική εργασία σε ανθρώπους. Μπορεί να απαντά γρήγορα και παρόλα αυτά να αυξάνει τις διορθώσεις. Μπορεί να μειώνει τα αιτήματα και παρόλα αυτά να δημιουργεί δυσκολότερα αιτήματα. Η παρακολούθηση θα πρέπει να βλέπει την εργασία, όχι μόνο τα διακριτικά.
Η δουλειά πριν από το prompt δεν τελειώνει ποτέ πραγματικά. Εμφανίζονται νέες πολιτικές. Αλλάζουν τα συστήματα προέλευσης. Οι χρήστες βρίσκουν συντομεύσεις. Αλλάζει το μοντέλο. Αλλάζει η επιχείρηση. Ένα prompt που δούλευε τον Μάιο μπορεί να είναι λάθος τον Σεπτέμβριο, επειδή η δουλειά μετακινήθηκε από κάτω του. Αυτό δεν σημαίνει ότι όλα είναι εύθραυστα. Σημαίνει ότι οι λειτουργίες τεχνητής νοημοσύνης χρειάζονται ιδιοκτησία. Κάποιος πρέπει να συντηρεί τον ορισμό της εργασίας, τις πηγές, τα παραδείγματα, την αξιολόγηση, την εξουσιοδότηση και την επισκευή. Διαφορετικά, το prompt γίνεται απολίθωμα με άριστη γραμματική.
Το μάθημα
Η πραγματική δουλειά γίνεται πριν από το prompt, επειδή το prompt είναι η ορατή άκρη ενός μεγαλύτερου λειτουργικού συστήματος. Το μοντέλο χρειάζεται μια εργασία που μπορεί να εκτελέσει, πηγές που μπορεί να εμπιστευτεί, όρια που δεν μπορεί να υπερβεί, αποτελέσματα που μπορούν να ελεγχθούν, παραδείγματα που κωδικοποιούν την κρίση, εξουσιοδότηση που λέει σε ανθρώπους και εργαλεία τι επιτρέπεται να κάνουν, και αξιολόγηση που μπορεί να διακρίνει τη βελτίωση από την ωραιότερη πεζογραφία. Χωρίς αυτά, το prompt κουβαλά ευθύνες που δεν μπορεί να εκπληρώσει.
Αυτή η άποψη δεν υποβαθμίζει το prompt. Την κάνει πιο πολύτιμη. Ένα prompt μέσα σε μια προετοιμασμένη λειτουργία μπορεί να είναι σύντομο, σαφές, ελέγξιμο και συντηρήσιμο. Μπορεί να εστιάσει το μοντέλο αντί να αντισταθμίζει την ασάφεια. Μπορεί να εξελιχθεί με παραδείγματα και αποδεικτικά στοιχεία. Μπορεί να αλλάξει με σιγουριά, επειδή η ομάδα ξέρει τι σημαίνει καλό. Αυτό είναι καλύτερο από τον μυστικισμό των prompts, που κυρίως παράγει μεγαλύτερα prompts και πιο ήσυχες αμφιβολίες.
Πριν ρωτήσετε πώς να δώσετε prompt στο μοντέλο, ρωτήστε τι δουλειά έχει ήδη κάνει ο οργανισμός για το μοντέλο. Είναι ονομασμένη η εργασία; Είναι έγκυρες οι πηγές; Είναι επισημασμένα τα παραδείγματα; Είναι δομημένο το αποτέλεσμα; Είναι ρητή η εξουσιοδότηση; Είναι ασφαλής η αποτυχία; Είναι πραγματική η αξιολόγηση; Είναι σχεδιασμένη η επισκευή; Αν αυτές οι απαντήσεις είναι αδύναμες, ξεκινήστε από εκεί. Το πιο χρήσιμο prompt στο δωμάτιο μπορεί να είναι αυτό που κάνει όλους να παραδεχτούν ότι το prompt δεν είναι εκεί που αρχίζει η δουλειά.