Munca adevărată începe înainte de prompt.
Atelierul de prompturi care a început prea târziu
Atelierul fusese programat pentru a îmbunătăți prompturile. Acesta era titlul din calendar, însoțit de o iconiță veselă cu o baghetă magică, pe care cineva a regretat-o mai târziu. Un grup de manageri, analiști, operatori și ingineri stătea în jurul unei mese, cu un document partajat. Promptul curent era pe ecran. Acesta îi cerea unui model de limbaj să analizeze solicitările clienților, să identifice politica corectă, să redacteze un răspuns și să semnaleze riscurile. Era politicos, structurat și mult mai lung decât ar fi recunoscut oricine. Dar nu aceasta era problema principală.
Primul caz de testare era un client care solicita o excepție după o livrare întârziată. Modelul a produs un răspuns decent. Apoi, cineva din operațiuni a spus că politica sursă de pe ecran nu mai era cea folosită de echipă vinerea, pentru că o regulă temporară pentru curieri fusese prelungită de două ori, dar nu fusese niciodată integrată în pagina principală de politici. Cineva din juridic a spus că excepțiile peste o anumită sumă necesitau aprobare, dar pragul depindea de categoria de produs. Finanțele au întrebat unde erau înregistrate creditele de bunăvoință. Suportul a spus că tonul modelului era bun, dar clientul ar fi sunat din nou, pentru că răspunsul nu menționa evenimentul de urmărire lipsă. Promptul stătea acolo, părând nevinovat.
Niciuna dintre aceste probleme nu ar fi fost rezolvată de un paragraf de instrucțiuni mai bun. Modelul nu putea deduce ce pagină de politici era autoritară. Nu putea ști că o regulă temporară devenise realitatea operațională. Nu putea decide cine avea autoritatea de aprobare. Nu putea vedea că evenimentul de urmărire lipsă era cauza reală a următorului contact. Promptul era rugat să compenseze o muncă neclară. Aceasta este o greșeală frecventă. Oamenii ajung la prompt cu un coș plin de ambiguitate procesuală și cer modelului să fie elegant în privința ei.
Munca reală vine înaintea promptului. Este munca de a denumi sarcina, de a defini granița, de a selecta sursele, de a stabili autoritatea, de a pregăti exemplele, de a decide căile de eșec, de a modela rezultatul, de a măsura calitatea și de a face posibilă corectarea. Promptarea contează. Un prompt prost poate face o configurație bună să pară stângace. Dar un prompt frumos peste o operațiune neclară este doar confuzie bine scrisă. Modelul poate suna mai bine. Munca nu va fi mai sigură, mai ieftină sau mai ușor de înțeles din întâmplare.
Un prompt nu este o hartă a procesului
Un prompt poate să îi spună unui model cum să se comporte într-un context. Nu poate crea contextul dacă organizația nu a făcut-o deja. Poate cere concizie, structură, umilință și citări. Poate descrie un rol. Poate specifica un format. Poate avertiza modelul să nu ghicească. Toate acestea sunt utile. Sunt însă mici în comparație cu întrebările de proces care determină dacă un sistem de AI ajută cu adevărat sau doar vorbește cu încredere pe lângă muncă.
Care este sarcina. Este clasificare, extragere, rezumare, redactare, rutare, recomandare, verificare sau acțiune. Ce parte este automatizată. Ce parte rămâne umană. Ce stare se schimbă dacă rezultatul este acceptat. Cine este afectat. Ce înregistrări sunt atinse. Ce politică se aplică. Ce dovezi sunt obligatorii. Ce se întâmplă când lipsesc dovezile. Ce greșeli sunt tolerabile. Ce greșeli creează prejudicii. Aceste întrebări decid forma sistemului. Un prompt care nu se sprijină pe răspunsuri clare devine o presupunere politicoasă cu ecuson.
Multe proiecte pilot de AI eșuate încep cu un prompt pentru că promptul este cel mai vizibil mâner. Pare creativ și imediat. Îl poți edita într-o ședință. Poți încerca o versiune nouă înainte să se răcească cafeaua. Proiectarea procesului este mai lentă. Curățarea datelor este mai lentă. Cartografierea autorității este mai lentă. Construirea setului de evaluare este mai lentă. Din păcate, lent nu înseamnă opțional. Părțile sărite înainte de prompt revin mai târziu sub formă de halucinații, reluări, neîncredere, excepții de politică și o foaie de calcul uriașă numită probleme.
Secvența mai bună nu este spectaculoasă. Scrie munca pe hârtie. Parcurge cazuri reale. Identifică sistemele sursă. Marchează ce câmpuri decid rezultatele. Separă regulile de judecată. Decide unde intervin oamenii. Definește contractele de ieșire. Construiește exemple. Stabilește de comun acord refuzul. Testează cu oamenii care vor trăi cu rezultatul. Abia apoi promptul devine o pârghie utilă. Înainte de asta, este un volan decorativ pe un birou.
Sarcina are nevoie de o graniță suficient de clară pentru a fi testată
Munca cu AI începe adesea cu verbe prea mari. Ajută la serviciul clienți. Sprijină revizuirea juridică. Îmbunătățește planificarea. Asistă achizițiile. Fă raportarea mai inteligentă. Acestea sunt ambiții, nu sarcini. Un model nu poate fi evaluat în raport cu o ambiție. Poate fi evaluat în raport cu o sarcină care are intrări, ieșiri, constrângeri, criterii de succes și căi de eșec. Descrierea mai restrânsă poate părea mai puțin interesantă. Este și primul moment în care munca devine construibilă.
O graniță clară a sarcinii spune ce poate vedea sistemul și ce poate schimba. Spune dacă modelul citește material sursă, generează o schiță, extrage câmpuri structurate, recomandă o acțiune sau apelează un instrument. Spune care ieșiri sunt finale, care sunt consultative și care trebuie revizuite. Spune ce refuză sistemul. Spune când modelul ar trebui să ceară mai multe dovezi în loc să completeze răspunsul. Spune ce este în afara domeniului de aplicare, pentru că în afara domeniului de aplicare este locul unde proiectele pilot ambițioase devin rapoarte de incident.
Granițele fac posibilă evaluarea. Dacă sarcina este redactează un răspuns folosind aceste surse și această politică, calitatea poate fi testată. Dacă sarcina este îmbunătățește calitatea serviciilor cu AI, orice rezultat poate fi explicat drept progres de cineva cu suficiente slide-uri. O graniță protejează și utilizatorii de escaladarea accidentală. Un instrument care începe prin redactare poate dobândi un buton care trimite. Un clasificator poate deveni un rutator. Un rutator poate deveni o decizie. Fără o graniță numită, această derivă pare adopție. Cu o graniță, devine o cerere de modificare.
Granita ar trebui formulată într-un limbaj operațional, nu doar tehnic. Responsabilul de suport ar trebui să o înțeleagă. Juridic ar trebui să o înțeleagă. Proprietarul datelor ar trebui să o înțeleagă. Inginerul ar trebui să o poată testa. Dacă promptul este singurul loc unde există granița, granița este fragilă. Prompturile sunt importante, dar nu sunt documente de politică care susțin structura. Sunt mai degrabă instrucțiuni pentru un angajat temporar extrem de talentat care nu a văzut niciodată organigrama.
Sursele nu sunt o grămadă de documente
Multe echipe descoperă în timpul creării prompturilor că nu știu care surse sunt autoritare. Au pagini de politici, PDF-uri, instrucțiuni pe email, materiale de instruire, manuale vechi, mesaje pe chat, macro-uri pentru tichete, foi de calcul și memoria unui operator pe care toată lumea îl sună pentru că știe cum funcționează lucrurile în realitate. Modelului i se cere apoi să răspundă pe baza bazei de cunoștințe. Care cunoștințe. Care bază. Expresia poate ascunde cantități eroice de lipsă de claritate.
Pregătirea surselor nu este spectaculoasă, motiv pentru care este adesea întârziată. Implică decizia privind documentul care câștigă atunci când sursele se contrazic, modul în care se verifică prospețimea, cum expiră regulile temporare, cum sunt reprezentate excepțiile, cum este exclus materialul confidențial, cum sunt păstrate versiunile surselor și cum supraviețuiesc identificatorii de citare în răspunsul modelului. Aceasta nu este birocrație. Este diferența dintre regăsire și scotocit.
IA face disciplina surselor și mai importantă, pentru că modelul poate face practicile slabe de gestionare a surselor să pară acceptabile. Poate îmbina fragmente într-o proză fluentă. Poate netezi contradicțiile. Poate produce un răspuns plauzibil din material vechi. Un rezultat de căutare cu lacune vizibile pare incomplet. Un răspuns generat cu aceleași lacune poate părea complet. Cu cât proza este mai bună, cu atât proveniența este mai importantă. Încrederea nu ar trebui să aibă voie să spele un lanț de surse slab.
O bună pregătire a surselor reduce și complexitatea promptului. Un prompt plin de avertismente despre politici contradictorii, documente vechi, câmpuri lipsă și excepții speciale este adesea un simptom al neglijenței din amonte. Dacă stratul de regăsire filtrează deja după autoritate și prospețime, promptul poate fi mai scurt. Dacă sursa poartă metadate structurate, modelul nu trebuie să le deducă din titlurile paragrafelor. Dacă excepțiile sunt reprezentate ca reguli, modelul nu trebuie să devină un detectiv cu limite de tokeni. Cea mai bună îmbunătățire a promptului este uneori un index mai bun.
Exemplele sunt piese mici de guvernanță
Exemplele sunt de obicei tratate ca instrumente de instruire, dar ele sunt și o formă de guvernanță. Un exemplu bun arată ce înseamnă calitatea într-o anumită situație. El arată cum gestionează organizația incertitudinea, dovezile lipsă, politicile conflictuale, tonul sensibil, escaladarea și refuzul. Îi spune modelului și echipei cum arată un răspuns bun, dar și cum arată un non-răspuns bun. Acest lucru contează pentru că multe sisteme serioase eșuează atunci când răspund, deși ar trebui să facă o pauză.
Construirea de exemple forțează decizii pe care discuțiile abstracte le evită. Luați douăzeci de cazuri reale. Marcați rezultatul corect. Marcați alternativele acceptabile. Marcați scurtăturile inacceptabile. Explicați de ce. Includeți cazuri limită care i-au făcut pe specialiștii experimentați să ezite. Includeți și cazuri obișnuite, pentru că sistemele care se antrenează doar pe situații dramatice învață maniere proaste. Cereți experților din domeniu să nu fie de acord și consemnați dezacordul. Acest lucru este mai lent decât să-i ceri modelului să fie atent. Produce însă și un limbaj comun pentru ceea ce înseamnă atenție.
Exemplele ar trebui să includă și cazuri negative. Nicio sursă găsită. Conflict între surse. Utilizatorul nu are autoritate. Cerere în afara scopului. Clientul cere ceva care pare simplu, dar declanșează o politică. Modelul ar trebui să învețe când să refuze, când să escaladeze, când să întrebe sau când să returneze incertitudine structurată. Dacă exemplele arată doar răspunsuri reușite, promptul va tinde spre finalizare. Finalizarea nu este întotdeauna succes. Uneori, cel mai bun răspuns este că nu există suficiente dovezi, ceea ce este greu de sărbătorit într-o demonstrație, dar util într-un sistem funcțional.
Exemplele sunt și începutul evaluării. Ele pot deveni seturi de test, cazuri de regresie, material de instruire pentru evaluatori și mostre de monitorizare. Când are loc un incident, un caz corectat poate deveni un exemplu nou. Acest lucru îi dă sistemului memorie. Fără exemple, schimbările de prompt devin schimbări de dispoziție. Cineva spune că răspunsul pare mai bun. Altcineva spune că pare mai rău. Modelul zâmbește în mijloc, netulburat de dovezi.
Forma rezultatului este o decizie operațională
Discuțiile despre prompt petrec adesea prea mult timp cu tonul și prea puțin cu forma rezultatului. Tonul contează, mai ales în comunicarea cu clienții sau publicul. Dar forma rezultatului decide dacă răspunsul poate fi verificat, direcționat, stocat, aprobat, contestat sau folosit de un alt sistem. Un paragraf poate fi plăcut. Un rezultat structurat poate fi operabil. Munca serioasă cu inteligența artificială are adesea nevoie de ambele: proză lizibilă pentru oameni și câmpuri pe care mașinile le pot verifica.
Forma rezultatului include câmpurile obligatorii, referințele la surse, gradul de încredere sau incertitudinea, motivele refuzului, indicatorii de escaladare, înregistrările afectate, acțiunile propuse și starea aprobării umane. Specifică dacă modelul poate lăsa un câmp necompletat. Specifică dacă trebuie să citeze un identificator de politică. Specifică dacă poate inventa categorii sau trebuie să aleagă dintr-o listă controlată. Specifică ce se întâmplă atunci când datele de intrare sunt ambigue. Aceste alegeri nu sunt detalii cosmetice de prompt. Sunt designul fluxului de lucru.
Rezultatul structurat îl ține și pe model în limitele sale. Dacă sistemul cere un câmp separat pentru dovezi, afirmațiile nesprijinite devin vizibile. Dacă cere un tip de acțiune dintr-o listă permisă, utilizarea creativă a instrumentelor devine mai dificilă. Dacă cere ca incertitudinea să fie explicită, evaluatorii pot face triaj. Dacă cere un motiv de refuz, cazurile blocate pot fi analizate. Promptul poate solicita aceste lucruri, dar sistemul din jur ar trebui să le valideze. A cere frumos nu este un control. Este o sugestie cu formatare.
Există și latura umană. Oamenii au nevoie de rezultate care se potrivesc cu ritmul lor de lucru. Un avocat poate avea nevoie de clauzele sursă și de notele de risc. Un agent de suport poate avea nevoie de o schiță gata de trimis clientului plus codurile interne de motiv. Un planificator poate avea nevoie de o recomandare de rută și de constrângerea care a generat-o. Un manager poate avea nevoie de motive agregate, nu de texte individuale. Dacă forma rezultatului ignoră utilizatorul, promptul poate fi corect din punct de vedere tehnic și enervant din punct de vedere operațional. Este o realizare comună, dar nu una utilă.
Autoritatea nu poate fi dedusă din disponibilitate
Un model disponibil inspiră încredere. Acest lucru este bun până când disponibilitatea este confundată cu autoritatea. Dacă modelul redactează un răspuns, cine îl poate trimite. Dacă recomandă o rambursare, cine o poate aproba. Dacă clasifică riscul, cine poate acționa pe baza clasificării. Dacă extrage un câmp, cine îl corectează. Dacă nu găsește dovezi, cine decide dacă să continue. Aceste întrebări trebuie răspunse înainte de prompt, pentru că promptul nu poate acorda autoritate instituțională.
Proiectarea autorității include roluri, praguri, cozi de revizuire, drepturi de override, căi de escaladare și înregistrări de audit. Distinge sugestia de decizie. Distinge decizia automatizată de decizia umană sprijinită de automatizare. Specifică când un om trebuie să vadă materialul sursă, nu doar textul modelului. Specifică când un apel de instrument este permis și când este blocat. Specifică cine răspunde de daune, întârzieri, corecții și comunicare. Modelul poate ajuta în cadrul acestui design. Nu ar trebui să fie el designul.
Acest lucru este deosebit de important atunci când AI este adăugată fluxurilor de lucru existente. Autoritatea existentă poate fi informală. O persoană senior aprobă excepțiile pentru că toată lumea știe să o întrebe. Un lider de echipă interpretează politica pentru că a văzut cazurile limită. O foaie de calcul poartă o regulă temporară pentru că sistemul nu poate. Când intră AI, autoritatea informală devine fragilă. Modelul poate scala vechea ambiguitate mai repede decât pot oamenii să o prindă. Munca dinaintea promptului este să facă autoritatea suficient de explicită încât scalarea să nu scaleze pur și simplu confuzia.
Merită spus că autoritatea nu este dușmanul vitezei. O autoritate clară face adesea munca mai rapidă, pentru că oamenii știu ce poate avansa fără dezbatere, ce trebuie să aștepte și cine poate decide. Autoritatea vagă pare flexibilă până când întâlnește volumul. Atunci fiecare caz dificil devine o mică criză constituțională, cu firele de chat ca jurisprudență. Acesta nu este un sistem juridic recomandat.
Evaluarea nu este o verificare de vibe
Multe iterații de prompturi sunt judecate după vibe. Această versiune sună mai bine. Aceea este mai concisă. Asta e mai puțin autoritară. Aceste judecăți pot fi utile, dar nu sunt suficiente. Operațiunile de AI au nevoie de evaluare care urmează sarcina. A folosit modelul sursa corectă. A omis câmpuri obligatorii. A refuzat când dovezile lipseau. A escaladat cazurile cu risc ridicat. A păstrat identificatorii de politică. Au intervenit oamenii. Au avut clienții mai puține întrebări suplimentare. Au văzut echipele din aval mai puțină muncă refăcută.
Evaluarea ar trebui să includă cazuri obișnuite, cazuri limită, cazuri adversariale, surse învechite, date lipsă, politici conflictuale și exemple de refuz acceptabil. Ar trebui să fie repetabilă. Ar trebui să distingă eșecul modelului de eșecul sursei, eșecul promptului, eșecul interfeței și eșecul procesului. Altfel, fiecare problemă devine o problemă de prompt, pentru că promptul este partea pe care toată lumea o poate vedea. Partea vizibilă nu este întotdeauna partea vinovată. Acest lucru este valabil în software și în întâlniri.
Evaluarea decide și când să te oprești. Fără un set de testare și criterii de lansare, munca la prompturi poate continua la nesfârșit, pentru că limbajul poate fi mereu îmbunătățit. Va exista întotdeauna un alt adjectiv, o altă instrucțiune, un alt exemplu, o altă ajustare de formatare. Întrebarea nu este dacă promptul este perfect. Întrebarea este dacă sistemul îndeplinește sarcina în limitele convenite de risc, cost și calitate. Perfecțiunea este un manager de lansare slab. Nu poartă un pager.
Munca de după prompt începe înainte de lansare
Căile de corecție ar trebui proiectate înainte ca primul utilizator din producție să raporteze o problemă. Cum semnalează un utilizator un răspuns greșit. Unde ajunge semnalul. Cine îl analizează. Se schimbă sursa. Se schimbă banca de exemple. Se schimbă promptul. Se schimbă o regulă. Se schimbă un prag. Primește un om feedback. Devine cazul corectat un test de regresie. Dacă corecția nu este proiectată, feedback-ul devine o grămadă. În grămezi, învățarea merge să doarmă o lungă siestă.
Monitorizarea ar trebui decisă și ea înainte de lansare. Urmărește nu doar latența și costul, ci și ratele de refuz, ratele de sursă lipsă, motivele de override, încărcarea de escaladare, munca refăcută în aval, temele de reclamații, citările învechite și variația în mixul de sarcini. Calitatea răspunsului modelului este doar o parte din calitatea operațională. Un sistem poate răspunde bine și totuși să ruteze prea multă muncă către oameni. Poate răspunde rapid și totuși să crească numărul de corecții. Poate reduce tichetele și totuși să creeze tichete mai dificile. Monitorizarea ar trebui să vadă munca, nu doar tokenii.
Munca dinaintea promptului nu se termină niciodată cu adevărat. Apar politici noi. Sistemele sursă se schimbă. Utilizatorii găsesc scurtături. Modelul se schimbă. Afacerea se schimbă. Un prompt care funcționa în mai poate fi greșit în septembrie, pentru că munca s-a mutat sub el. Asta nu înseamnă că totul este fragil. Înseamnă că operațiunile cu inteligență artificială au nevoie de o persoană responsabilă. Cineva trebuie să întrețină definiția sarcinii, sursele, exemplele, evaluarea, autoritatea și repararea. Altfel, promptul devine o fosilă cu gramatică impecabilă.
Lecția
Munca reală este înaintea promptului, pentru că promptarea este marginea vizibilă a unui sistem de operare mai larg. Modelul are nevoie de o sarcină pe care să o poată îndeplini, de surse în care să aibă încredere, de limite pe care să nu le depășească, de rezultate care pot fi verificate, de exemple care codifică judecata, de autoritate care le spune oamenilor și instrumentelor ce au voie să facă și de evaluare care poate distinge îmbunătățirea de o proză mai frumoasă. Fără toate acestea, promptul poartă responsabilități pe care nu le poate îndeplini.
Această perspectivă nu diminuează promptarea. O face mai valoroasă. Un prompt în interiorul unei operațiuni pregătite poate fi scurt, clar, testabil și ușor de întreținut. Poate concentra modelul în loc să compenseze ambiguitatea. Poate evolua cu exemple și dovezi. Poate fi modificat cu încredere, pentru că echipa știe ce înseamnă bine. Asta este mai bun decât misticismul promptului, care produce mai ales prompturi mai lungi și îndoieli mai tăcute.
Înainte de a te întreba cum să dai prompt modelului, întreabă-te ce muncă a făcut deja organizația pentru model. Este sarcina denumită. Sunt sursele autoritare. Sunt exemplele marcate. Este rezultatul structurat. Este autoritatea explicită. Este eșecul sigur. Este evaluarea reală. Este repararea proiectată. Dacă răspunsurile sunt slabe, începe de acolo. Cel mai util prompt din încăpere poate fi cel care îi face pe toți să recunoască faptul că promptul nu este locul de unde începe munca.