Īstais darbs sākas pirms uzvednes.
Darbnīca par uzvedņu uzlabošanu, kas sākās par vēlu
Darbnīca bija rezervēta, lai uzlabotu uzvednes. Tāds bija nosaukums kalendārā, ar jautru mazu burvju nūjiņas ikonu, ko kāds vēlāk nožēloja. Ap galdu sēdēja vadītāji, analītiķi, operatori un inženieri, un viņiem priekšā bija kopīgs dokuments. Uz ekrāna bija pašreizējā uzvedne. Tā lūdza valodas modeli izskatīt klientu pieprasījumus, noteikt atbilstošo politiku, sagatavot atbildi un atzīmēt riskus. Tā bija pieklājīga, strukturēta un daudz garāka, nekā kāds vēlējās atzīt. Tā arī nebija galvenā problēma.
Pirmais testa gadījums bija klients, kurš lūdza izņēmumu pēc kavētas piegādes. Modelis sniedza pienācīgu atbildi. Tad kāds no operāciju nodaļas teica, ka ekrānā redzamā politikas lapa vairs nav tā, ko komanda izmanto piektdienās, jo pagaidu pārvadātāja noteikums bija pagarināts divas reizes, bet nekad nav iekļauts galvenajā politikas lapā. Kāds no juridiskās nodaļas teica, ka izņēmumiem virs noteiktas summas nepieciešams apstiprinājums, bet slieksnis bija atkarīgs no produktu kategorijas. Finanšu nodaļa jautāja, kur tiek reģistrēti labas gribas kredīti. Atbalsta dienests teica, ka modeļa tonis ir labs, bet klients zvanīs vēlreiz, jo atbildē nebija minēts trūkstošais izsekošanas notikums. Uzvedne tur stāvēja, izskatīdamās nevainīga.
Nevienu no šīm problēmām neatrisinātu labāka instrukciju rindkopa. Modelis nevarēja secināt, kura politikas lapa ir autoritatīva. Tas nevarēja zināt, ka pagaidu noteikums ir kļuvis par operatīvo realitāti. Tas nevarēja izlemt, kam ir apstiprināšanas pilnvaras. Tas nevarēja redzēt, ka trūkstošais izsekošanas notikums ir patiesais nākamā kontakta iemesls. Uzvednei tika lūgts kompensēt neskaidru darbu. Tā ir izplatīta kļūda. Cilvēki ierodas pie uzvednes ar procesa neskaidrību grozu un lūdz modelim būt elegantam par to.
Īstais darbs notiek pirms uzvednes. Tas ir darbs, lai nosauktu uzdevumu, noteiktu robežas, izvēlētos avotus, nostiprinātu pilnvaras, sagatavotu piemērus, izlemtu par neveiksmju ceļiem, veidotu izvadi, mērītu kvalitāti un padarītu iespējamu labošanu. Uzvednes ir svarīgas. Slikta uzvedne var padarīt labu sagatavošanos neveiklu. Bet skaista uzvedne uz neskaidras darbības ir tikai labi uzrakstīts apjukums. Modelis var izklausīties labāk. Darbs nekļūs drošāks, lētāks vai saprotamāks pats no sevis.
Uzvedne nav procesa karte
A prompt can tell a model how to behave in a context. It cannot create the context if the organisation has not done so. It can ask for brevity, structure, humility, and citations. It can describe a role. It can specify a format. It can warn the model not to guess. These are useful. They are also small compared with the process questions that determine whether an AI system helps or merely speaks confidently near the work.
What is the task. Is it classification, extraction, summarisation, drafting, routing, recommendation, verification, or action. Which part is automated. Which part remains human. What state changes if the output is accepted. Who is affected. Which records are touched. Which policy applies. What evidence is mandatory. What happens when evidence is missing. Which mistakes are tolerable. Which mistakes create harm. These questions decide the shape of the system. A prompt that does not sit on top of clear answers becomes a polite guess wearing a nametag.
Many failed AI pilots begin with a prompt because a prompt is the most visible handle. It feels creative and immediate. You can edit it in a meeting. You can try a new version before coffee goes cold. Process design is slower. Data cleanup is slower. Authority mapping is slower. Evaluation set building is slower. Unfortunately, slow is not the same as optional. The parts skipped before the prompt return later as hallucination, rework, mistrust, policy exceptions, and a large spreadsheet called issues.
The better sequence is not glamorous. Write the work down. Walk real cases. Identify source systems. Mark which fields decide outcomes. Separate rules from judgement. Decide where humans enter. Define output contracts. Build examples. Agree on refusal. Test with the people who will live with the result. Only then does the prompt become a useful lever. Before that, it is a decorative steering wheel on a desk.
The task needs a boundary sharp enough to test
AI work often begins with verbs that are too large. Help with customer service. Support legal review. Improve planning. Assist procurement. Make reporting smarter. These are ambitions, not tasks. A model cannot be evaluated against an ambition. It can be evaluated against a task with inputs, outputs, constraints, success criteria, and failure paths. The narrower description may feel less exciting. It is also the first moment the work becomes buildable.
A sharp task boundary says what the system may see and what it may change. It says whether the model is reading source material, generating a draft, extracting structured fields, recommending an action, or calling a tool. It says which outputs are final, which are advisory, and which must be reviewed. It says what the system refuses. It says when the model should ask for more evidence rather than complete the answer. It says what is outside scope, because outside scope is where ambitious pilots go to become incident reports.
Boundaries make evaluation possible. If the task is draft a reply using these sources and this policy, quality can be tested. If the task is improve service quality with AI, every result can be explained as progress by someone with enough slides. A boundary also protects users from accidental escalation. A tool that begins by drafting may acquire a button that sends. A classifier may become a router. A router may become a decision. Without a named boundary, this drift feels like adoption. With a boundary, it becomes a change request.
Robežai jābūt formulētai darbības valodā, ne tikai tehniskā valodā. Atbalsta vadītājam tai jābūt saprotamai. Juridiskajai nodaļai tai jābūt saprotamai. Datu īpašniekam tai jābūt saprotamai. Inženierim tai jābūt pārbaudāmai. Ja robeža pastāv tikai uzvednē, tā ir trausla. Uzvednes ir svarīgas, bet tās nav nesošas politikas dokumenti. Tās drīzāk ir instrukcijas ļoti talantīgam pagaidu darbiniekam, kurš nekad nav redzējis organizācijas struktūru.
Avoti nav dokumentu kaudze
Daudzas komandas uzvedņu veidošanas laikā atklāj, ka nezina, kuri avoti ir autoritatīvi. Viņiem ir politikas lapas, PDF faili, e-pasta instrukcijas, apmācību materiāli, mantoti ceļveži, tērzēšanas ziņojumi, biļešu makro, izklājlapu izsekotāji un operatora atmiņa, pie kura visi zvana, jo viņa zina, kā tas īstenībā darbojas. Pēc tam modelim tiek lūgts atbildēt no zināšanu bāzes. Kuras zināšanas. Kura bāze. Šī frāze var slēpt ārkārtīgi daudz.
Avotu sagatavošana nav aizraujoša, tāpēc tā bieži tiek atlikta. Tā ietver lēmumus par to, kurš dokuments uzvar, kad avoti ir pretrunā, kā tiek pārbaudīta aktualitāte, kā beidzas termiņa noteikumi, kā tiek attēloti izņēmumi, kā tiek izslēgts konfidenciāls materiāls, kā tiek saglabātas avotu versijas un kā citēšanas identifikatori izdzīvo modeļa atbildē. Tas nav birokrātijas darbs. Tā ir atšķirība starp izguvi un rakņāšanos.
AI padara avotu disciplīnu svarīgāku, jo modelis var likt vājai avotu praksei izskatīties pieņemamai. Tas var sašūt fragmentus plūstošā prozā. Tas var izlīdzināt pretrunas. Tas var radīt ticamu atbildi no novecojuša materiāla. Meklēšanas rezultāts ar redzamām nepilnībām šķiet nepilnīgs. Ģenerēta atbilde ar tām pašām nepilnībām var šķist pilnīga. Jo labāka proza, jo svarīgāka ir izcelsme. Pārliecībai nevajadzētu ļaut balināt vāju avotu ķēdi.
Laba avotu sagatavošana arī samazina uzvednes sarežģītību. Uzvedne, kas pilna ar brīdinājumiem par konfliktējošām politikām, novecojušiem dokumentiem, trūkstošiem laukiem un īpašiem izņēmumiem, bieži ir augšupējas nolaidības simptoms. Ja izguves slānis jau filtrē pēc autoritātes un aktualitātes, uzvedne var būt īsāka. Ja avots nes strukturētus metadatus, modelim nav jāizsecina tie no rindkopu virsrakstiem. Ja izņēmumi ir attēloti kā noteikumi, modelim nav jākļūst par detektīvu ar žetonu ierobežojumiem. Dažkārt labākais uzvednes uzlabojums ir labāks indekss.
Piemēri ir nelielas pārvaldības daļas
Piemēri parasti tiek uzskatīti par mācību līdzekļiem, bet tie ir arī pārvaldība. Labs piemērs parāda, ko kvalitāte nozīmē konkrētā situācijā. Tas parāda, kā organizācija rīkojas ar nenoteiktību, trūkstošiem pierādījumiem, pretrunīgu politiku, jutīgu toni, eskalāciju un atteikumu. Tas modelim un komandai parāda, kā izskatās laba atbilde, bet arī kā izskatās labs neatbildēšanas veids. Tas ir svarīgi, jo daudzas nopietnas sistēmas cieš neveiksmi, atbildot tad, kad tām vajadzētu apstāties.
Piemēru veidošana piespiež pieņemt lēmumus, no kuriem abstraktas diskusijas izvairās. Ņem divdesmit reālus gadījumus. Atzīmē pareizo iznākumu. Atzīmē pieņemamus alternatīvus risinājumus. Atzīmē nepieņemamus īsceļus. Paskaidro, kāpēc. Iekļauj robežgadījumus, kas likuši pieredzējušiem darbiniekiem vilcināties. Iekļauj arī parastus gadījumus, jo sistēmas, kas trenējas tikai uz dramatiskām situācijām, apgūst sliktas manieres. Lūdz nozares ekspertus nepiekrist un pieraksti domstarpības. Tas ir lēnāk nekā lūgt modelim būt uzmanīgam. Tas arī rada kopīgu valodu uzmanīgumam.
Piemēros jāiekļauj negatīvi gadījumi. Avots nav atrasts. Avotu konflikts. Lietotājam nav pilnvaru. Pieprasījums ārpus mērķa. Klients jautā kaut ko, kas izklausās vienkārši, bet iedarbina politiku. Modelim jāiemācās, kad atteikties, eskalēt, jautāt vai atgriezt strukturētu nenoteiktību. Ja piemēri rāda tikai veiksmīgas atbildes, uzvedne slieksies uz pabeigtību. Pabeigtība ne vienmēr ir veiksme. Dažreiz labākā atbilde ir nepietiekami pierādījumi, ko ir grūti svinēt demonstrācijā, bet noderīgi strādājošā sistēmā.
Piemēri ir arī novērtēšanas sākums. Tie var kļūt par testa materiāliem, regresijas gadījumiem, recenzentu apmācību un uzraudzības paraugiem. Kad notiek incidents, labots gadījums var kļūt par jaunu piemēru. Tas sistēmai dod atmiņu. Bez piemēriem uzvednes izmaiņas kļūst par noskaņojuma izmaiņām. Kāds saka, ka atbilde šķiet labāka. Kāds cits saka, ka šķiet sliktāka. Modelis smaida pa vidu, netraucēts pierādījumiem.
Izvades forma ir operacionāls lēmums
Diskusijās par uzvednēm bieži pārāk daudz laika tiek veltīts tonim un pārāk maz izvades formai. Tonis ir svarīgs, īpaši saziņā ar klientiem vai sabiedrību. Bet izvades forma nosaka, vai atbildi var pārbaudīt, maršrutēt, glabāt, apstiprināt, apstrīdēt vai izmantot citā sistēmā. Rindkopa var būt patīkama. Strukturēta izvade var būt izmantojama. Nopietns AI darbs bieži prasa abus: lasāmu prozu cilvēkiem un laukus, ko mašīnas var pārbaudīt.
Izvades struktūrā ietilpst obligātie lauki, avotu atsauces, pārliecības vai nenoteiktības norādes, atteikuma iemesli, eskalācijas karodziņi, skartie ieraksti, ierosinātās darbības un cilvēka apstiprinājuma statuss. Tajā norādīts, vai modelis drīkst atstāt lauku tukšu. Tajā norādīts, vai modelim jāatsaucas uz politikas identifikatoru. Tajā norādīts, vai modelis drīkst izgudrot kategorijas vai arī tam jāizvēlas no kontrolēta saraksta. Tajā norādīts, kas notiek, ja ievaddati ir neskaidri. Šīs izvēles nav tikai uzvednes rotājumi. Tās ir darbplūsmas dizains.
Strukturēta izvade arī notur modeli tā robežās. Ja sistēma pieprasa atsevišķu lauku pierādījumiem, nepamatoti apgalvojumi kļūst redzami. Ja sistēma pieprasa darbības veidu no atļauto vērtību saraksta, radoša rīku izmantošana kļūst grūtāka. Ja sistēma pieprasa skaidri norādīt nenoteiktību, recenzenti var veikt šķirošanu. Ja sistēma pieprasa atteikuma iemeslu, bloķētos gadījumus var analizēt. Uzvedne var to visu pieprasīt, bet apkārtējai sistēmai tas būtu jāapstiprina. Pieklājīgs lūgums nav kontrole. Tas ir ieteikums ar formatējumu.
Ir arī cilvēciskā puse. Cilvēkiem ir vajadzīga izvade, kas atbilst viņu darba ritmam. Juristam var būt vajadzīgas avota klauzulas un riska piezīmes. Atbalsta dienesta speciālistam var būt vajadzīgs klientam gatavs uzmetums un iekšējie iemeslu kodi. Plānotājam var būt vajadzīgs maršruta ieteikums un ierobežojums, kas to noteica. Vadītājam var būt vajadzīgi apkopoti iemesli, nevis atsevišķi teksti. Ja izvades struktūra ignorē lietotāju, uzvedne var būt tehniski pareiza, bet darbībā kaitinoša. Tā ir izplatīta, bet ne lietderīga iznākuma pakāpe.
Autoritāti nevar radīt ar izpalīdzību
Izpalīdzīgs modelis iedveš uzticību. Tas ir labi, līdz izpalīdzību sajauc ar autoritāti. Ja modelis sagatavo atbildes uzmetumu, kurš drīkst to nosūtīt. Ja tas iesaka atmaksu, kurš drīkst to apstiprināt. Ja tas klasificē risku, kurš drīkst rīkoties, pamatojoties uz klasifikāciju. Ja tas izvelk lauku, kurš to labo. Ja tas nevar atrast pierādījumus, kurš izlemj, vai turpināt. Uz šiem jautājumiem ir jāatbild pirms uzvednes, jo uzvedne nevar piešķirt institucionālu autoritāti.
Autoritātes dizains ietver lomas, sliekšņus, pārskatīšanas rindas, pārrakstīšanas tiesības, eskalācijas ceļus un revīzijas ierakstus. Tas nošķir ieteikumu no lēmuma. Tas nošķir automatizētu lēmumu no cilvēka lēmuma, ko atbalsta automatizācija. Tajā norādīts, kad cilvēkam jāredz avota materiāls, nevis tikai modeļa teksts. Tajā norādīts, kad rīka izsaukums ir atļauts un kad tas ir bloķēts. Tajā norādīts, kurš atbild par kaitējumu, kavēšanos, labojumiem un saziņu. Modelis var palīdzēt šāda dizaina ietvaros. Tam nevajadzētu būt pašam dizainam.
Tas ir īpaši svarīgi, kad mākslīgais intelekts tiek pievienots esošajām darbplūsmām. Esošā autoritāte var būt neformāla. Vecākais speciālists apstiprina izņēmumus, jo visi zina, ka viņam jājautā. Komandas vadītājs interpretē politiku, jo viņa ir redzējusi robežgadījumus. Izklājlapā glabājas pagaidu noteikums, jo sistēma to nevar. Kad ienāk mākslīgais intelekts, neformālā autoritāte kļūst trausla. Modelis var pavairot veco neskaidrību ātrāk, nekā cilvēki to spēj noķert. Pirms uzvednes veicamais darbs ir padarīt autoritāti pietiekami skaidru, lai mērogošana vienkārši nepavairotu apjukumu.
Ir vērts teikt, ka autoritāte nav ātruma ienaidnieks. Skaidra autoritāte bieži padara darbu ātrāku, jo cilvēki zina, kas var virzīties bez diskusijām, kam jāapstājas un kurš var izlemt. Neskaidra autoritāte šķiet elastīga, līdz tā sastopas ar apjomu. Tad katrs sarežģīts gadījums kļūst par nelielu konstitucionālu krīzi, un tērzēšanas pavedieni kalpo par tiesu praksi. Tā nav ieteicama tiesību sistēma.
Novērtēšana nav noskaņojuma pārbaude
Daudzas uzvedņu iterācijas tiek vērtētas pēc sajūtas. Šī versija izklausās labāk. Tā versija ir kodolīgāka. Šī ir mazāk pavēloša. Šie spriedumi var būt noderīgi, bet ar tiem nepietiek. AI darbībām ir nepieciešams vērtējums, kas seko uzdevumam. Vai modelis izmantoja pareizo avotu. Vai tas izlaida obligātos laukus. Vai tas atteicās, kad pierādījumu nebija. Vai tas eskalēja augsta riska gadījumus. Vai tas saglabāja politikas identifikatorus. Vai cilvēki to pārrakstīja. Vai klienti uzdeva mazāk papildu jautājumu. Vai lejupstraumes komandas redzēja mazāk pārstrādes.
Vērtējumā jāiekļauj parastie gadījumi, robežgadījumi, nelabvēlīgi gadījumi, novecojuši avoti, trūkstoši dati, konfliktējoša politika un pieņemama atteikuma piemēri. Tam jābūt atkārtojamam. Tam jānošķir modeļa kļūme no avota kļūmes, uzvednes kļūmes, saskarnes kļūmes un procesa kļūmes. Pretējā gadījumā katra problēma kļūst par uzvednes problēmu, jo uzvedne ir daļa, ko visi var redzēt. Redzamā daļa ne vienmēr ir vainīgā daļa. Tas attiecas gan uz programmatūru, gan uz sapulcēm.
Vērtējums arī nosaka, kad apstāties. Bez testu kopas un izlaišanas kritērijiem darbs pie uzvednes var turpināties bezgalīgi, jo valodu vienmēr var uzlabot. Vienmēr būs vēl viens īpašības vārds, vēl viena instrukcija, vēl viens piemērs, vēl viena formatējuma korekcija. Jautājums nav par to, vai uzvedne ir perfekta. Jautājums ir par to, vai sistēma veic uzdevumu saskaņā ar saskaņotajiem riska, izmaksu un kvalitātes ierobežojumiem. Perfekcija ir slikts izlaišanas pārvaldnieks. Tai nav peidžera.
Darbs pēc uzvednes sākas pirms izlaišanas
Labošanas ceļi jāizstrādā pirms pirmais ražošanas lietotājs ziņo par problēmu. Kā lietotājs atzīmē nepareizu atbildi. Kur šī atzīme nonāk. Kurš to pārskata. Vai avots mainās. Vai piemēru banka mainās. Vai uzvedne mainās. Vai noteikums mainās. Vai slieksnis mainās. Vai cilvēks saņem atgriezenisko saiti. Vai labotais gadījums kļūst par regresijas testu. Ja labošana nav izstrādāta, atgriezeniskā saite kļūst par kaudzi. Kaudzēs mācīšanās dodas garā snaudā.
Uzraudzība arī jānosaka pirms izlaišanas. Sekojiet ne tikai latentumam un izmaksām, bet arī atteikumu rādītājiem, avotu trūkuma rādītājiem, pārrakstīšanas iemesliem, eskalācijas slodzei, lejupstraumes pārstrādei, sūdzību tēmām, novecojušām citācijām un uzdevumu sastāva novirzēm. Modeļa atbildes kvalitāte ir tikai viena daļa no darbības kvalitātes. Sistēma var atbildēt labi un tomēr novirzīt pārāk daudz darba cilvēkiem. Tā var atbildēt ātri un tomēr palielināt labojumu skaitu. Tā var samazināt biļešu skaitu un tomēr radīt sarežģītākas biļetes. Uzraudzībai jāredz darbs, ne tikai marķieri.
Darbs pirms uzvednes nekad īsti nebeidzas. Parādās jaunas politikas. Mainās avotsistēmas. Lietotāji atrod īsceļus. Modelis mainās. Uzņēmējdarbība mainās. Uzvedne, kas darbojās maijā, septembrī var būt nepareiza, jo darbs ir pārvietojies zem tās. Tas nenozīmē, ka viss ir trausls. Tas nozīmē, ka AI darbībai ir nepieciešama īpašumtiesība. Kādam ir jāuztur uzdevuma definīcija, avoti, piemēri, novērtēšana, pilnvaras un labošana. Pretējā gadījumā uzvedne kļūst par fosiliju ar izcilu gramatiku.
Mācība
Īstais darbs notiek pirms uzvednes, jo uzvednes izveide ir redzamā daļa lielākai darbības sistēmai. Modelim ir nepieciešams uzdevums, ko tas var veikt, avoti, kuriem tas var uzticēties, robežas, kuras tas nevar pārkāpt, rezultāti, kurus var pārbaudīt, piemēri, kas ietver spriedumu, pilnvaras, kas cilvēkiem un rīkiem norāda, ko tie drīkst darīt, un novērtēšana, kas var atšķirt uzlabojumu no skaistākas prozas. Bez tā uzvedne uzņemas atbildību, ko tā nevar izpildīt.
Šis skatījums nemazina uzvednes nozīmi. Tas padara uzvednes vērtīgākas. Uzvedne sagatavotas darbības ietvaros var būt īsa, skaidra, pārbaudāma un uzturama. Tā var fokusēt modeli, nevis kompensēt neskaidrību. Tā var attīstīties ar piemēriem un pierādījumiem. To var mainīt ar pārliecību, jo komanda zina, ko nozīmē labs rezultāts. Tas ir labāk nekā uzvedņu mistika, kas galvenokārt rada garākas uzvednes un klusākas šaubas.
Pirms jautāt, kā izveidot uzvedni modelim, jautājiet, kādu darbu organizācija jau ir paveikusi modeļa labā. Vai uzdevums ir nosaukts. Vai avoti ir autoritatīvi. Vai piemēri ir atzīmēti. Vai rezultāts ir strukturēts. Vai pilnvaras ir skaidras. Vai kļūme ir droša. Vai novērtēšana ir reāla. Vai labošana ir izstrādāta. Ja šīs atbildes ir vājas, sāciet tur. Visnoderīgākā uzvedne telpā var būt tā, kas liek visiem atzīt, ka uzvedne nav vieta, kur darbs sākas.