Skutočná práca je pred výzvou
Workshop na promptovanie, ktorý sa začal príliš neskoro
Workshop bol zarezervovaný na zlepšenie promptov. Tak to bolo v kalendári, s veselou ikonkou prútika, ktorú neskôr niekto oľutoval. Skupina manažérov, analytikov, operátorov a inžinierov sedela okolo stola so zdieľaným dokumentom. Aktuálny prompt bol na obrazovke. Žiadal jazykový model, aby preskúmal požiadavky zákazníkov, identifikoval správnu politiku, navrhol odpoveď a označil riziká. Bol zdvorilý, štruktúrovaný a oveľa dlhší, než chcel ktokoľvek priznať. Nebol však hlavným problémom.
Prvý testovací prípad bol zákazník žiadajúci o výnimku po oneskorenom doručení. Model vyprodukoval slušnú odpoveď. Potom niekto z prevádzky povedal, že zdrojová politika na obrazovke už nie je tá, ktorú tím používal v piatky, pretože dočasné pravidlo dopravcu bolo dvakrát predĺžené, ale nikdy nebolo zlúčené do hlavnej stránky politiky. Niekto z právneho oddelenia povedal, že výnimky nad určitú sumu vyžadovali schválenie, ale prah závisel od kategórie produktu. Financie sa pýtali, kde sa zaznamenávajú dobropisy. Podpora povedala, že tón modelu bol v poriadku, ale zákazník by zavolal znova, pretože odpoveď nespomínala chýbajúcu udalosť sledovania. Prompt tam sedel a vyzeral nevinne.
Žiadny z týchto problémov by nevyriešil lepší inštrukčný odsek. Model nemohol odvodiť, ktorá stránka politiky je autoritatívna. Nemohol vedieť, že dočasné pravidlo sa stalo prevádzkovou realitou. Nemohol rozhodnúť, kto má schvaľovaciu právomoc. Nevidel, že chýbajúca udalosť sledovania je skutočnou príčinou ďalšieho kontaktu. Prompt bol žiadaný, aby kompenzoval nejasnú prácu. Toto je častá chyba. Ľudia prichádzajú k promptu s košom procesnej nejednoznačnosti a žiadajú model, aby bol voči nej elegantný.
Skutočná práca je pred promptom. Je to práca pomenovania úlohy, definovania hraníc, výberu zdrojov, ustálenia autority, prípravy príkladov, rozhodovania o cestách zlyhania, tvarovania výstupu, merania kvality a umožnenia opravy. Promptovanie záleží. Zlý prompt môže pokaziť dobré nastavenie. Ale krásny prompt na nejasnej prevádzke je len dobre napísaný zmätok. Model môže znieť lepšie. Práca nebude bezpečnejšia, lacnejšia ani zrozumiteľnejšia náhodou.
Prompt nie je mapa procesu
Prompt môže modelu povedať, ako sa má správať v danom kontexte. Nedokáže však vytvoriť kontext, ak ho organizácia nevytvorila. Môže žiadať stručnosť, štruktúru, pokoru a citácie. Môže opísať rolu. Môže určiť formát. Môže model upozorniť, aby nehádal. Toto všetko je užitočné. Je to však málo v porovnaní s procesnými otázkami, ktoré rozhodujú o tom, či systém umelej inteligencie pomáha, alebo len sebavedomo rozpráva pri práci.
Aká je úloha. Je to klasifikácia, extrakcia, sumarizácia, návrh, smerovanie, odporúčanie, overenie alebo akcia. Ktorá časť je automatizovaná. Ktorá časť zostáva na človeku. Aký stav sa zmení, ak sa výstup prijme. Koho sa to týka. Ktoré záznamy sa upravia. Ktorá politika sa uplatňuje. Aké dôkazy sú povinné. Čo sa stane, keď dôkazy chýbajú. Ktoré chyby sú prijateľné. Ktoré chyby spôsobujú škodu. Tieto otázky rozhodujú o podobe systému. Prompt, ktorý nestojí na jasných odpovediach, sa stáva zdvorilým odhadom s menovkou.
Mnohé neúspešné pilotné projekty umelej inteligencie začínajú promptom, pretože prompt je najviditeľnejšia rukoväť. Pôsobí kreatívne a okamžite. Môžete ho upraviť na porade. Môžete vyskúšať novú verziu skôr, ako káva vychladne. Návrh procesu je pomalší. Čistenie údajov je pomalšie. Mapovanie právomocí je pomalšie. Budovanie vyhodnocovacej sady je pomalšie. Bohužiaľ, pomalé nie je to isté ako voliteľné. Časti vynechané pred promptom sa neskôr vrátia ako halucinácie, prepracovanie, nedôvera, výnimky z politiky a veľká tabuľka s názvom problémy.
Lepšie poradie nie je okázalé. Zapíšte si prácu. Prejdite si reálne prípady. Identifikujte zdrojové systémy. Označte, ktoré polia rozhodujú o výsledkoch. Oddeľte pravidlá od úsudku. Rozhodnite, kde vstupuje človek. Definujte výstupné kontrakty. Vytvorte príklady. Dohodnite sa na odmietnutí. Testujte s ľuďmi, ktorí budú s výsledkom žiť. Až potom sa prompt stane užitočnou pákou. Predtým je to dekoratívny volant na stole.
Úloha potrebuje hranicu dostatočne ostrú na testovanie
Práca s umelou inteligenciou často začína príliš veľkými slovesami. Pomôcť so zákazníckym servisom. Podporiť právnu kontrolu. Zlepšiť plánovanie. Pomôcť pri obstarávaní. Urobiť reporting múdrejším. Toto sú ambície, nie úlohy. Model nemožno hodnotiť podľa ambície. Možno ho hodnotiť podľa úlohy so vstupmi, výstupmi, obmedzeniami, kritériami úspechu a cestami zlyhania. Užší opis môže pôsobiť menej vzrušujúco. Je to však prvý moment, keď sa práca stáva realizovateľnou.
Ostrá hranica úlohy hovorí, čo systém môže vidieť a čo môže meniť. Hovorí, či model číta zdrojový materiál, vytvára návrh, extrahuje štruktúrované polia, odporúča akciu alebo volá nástroj. Hovorí, ktoré výstupy sú konečné, ktoré sú odporúčacie a ktoré sa musia skontrolovať. Hovorí, čo systém odmieta. Hovorí, kedy by mal model požiadať o viac dôkazov namiesto dokončenia odpovede. Hovorí, čo je mimo rozsahu, pretože mimo rozsahu je miesto, kde sa ambiciózne pilotné projekty menia na správy o incidentoch.
Hranice umožňujú vyhodnotenie. Ak je úlohou vytvoriť návrh odpovede pomocou týchto zdrojov a tejto politiky, kvalitu možno testovať. Ak je úlohou zlepšiť kvalitu služieb pomocou umelej inteligencie, každý výsledok možno vysvetliť ako pokrok, ak má človek dostatok snímok. Hranica tiež chráni používateľov pred náhodnou eskaláciou. Nástroj, ktorý začína návrhom, môže získať tlačidlo na odoslanie. Klasifikátor sa môže stať smerovačom. Smerovač sa môže stať rozhodnutím. Bez pomenovanej hranice tento posun pôsobí ako prijatie. S hranicou sa stáva žiadosťou o zmenu.
Hranica by mala byť napísaná operačným jazykom, nielen technickým. Mal by jej rozumieť vedúci podpory. Malo by jej rozumieť právne oddelenie. Mal by jej rozumieť vlastník dát. Inžinier by ju mal vedieť otestovať. Ak je hranica uložená iba v promte, je krehká. Prompty sú dôležité, ale nie sú nosnými politickými dokumentmi. Sú skôr inštrukciami pre veľmi talentovaného dočasného pracovníka, ktorý nikdy nevidel organizačnú štruktúru.
Zdroje nie sú kopa dokumentov
Mnohé tímy počas promptovania zistia, že nevedia, ktoré zdroje sú autoritatívne. Majú politické stránky, PDF, e-mailové inštrukcie, školiace materiály, staré príručky, chatové správy, ticketové makrá, tabuľkové trackery a pamäť operátorky, ktorú všetci volajú, pretože ona vie, ako to naozaj funguje. Model má potom odpovedať z vedomostnej základne. Ktorej vedomosti. Ktorej základne. Táto fráza dokáže ukrývať heroické množstvo nedostatkov.
Príprava zdrojov nie je glamour, a preto často mešká. Zahŕňa rozhodovanie o tom, ktorý dokument vyhrá, keď sa zdroje nezhodujú, ako sa kontroluje čerstvosť, ako dočasné pravidlá vypršia, ako sú výnimky reprezentované, ako je dôverný materiál vylúčený, ako sú verzie zdrojov zachované a ako identifikátory citácií prežijú odpoveď modelu. Toto nie je byrokracia. Je to rozdiel medzi vyhľadávaním a hrabaním sa.
AI robí disciplínu zdrojov dôležitejšou, pretože model dokáže, aby slabé postupy so zdrojmi vyzerali prijateľne. Dokáže spojiť fragmenty do plynulej prózy. Dokáže zahladiť rozpory. Dokáže vytvoriť vierohodnú odpoveď zo zastaraného materiálu. Výsledok vyhľadávania s viditeľnými medzerami pôsobí neúplne. Generovaná odpoveď s rovnakými medzerami môže pôsobiť úplne. Čím lepšia próza, tým dôležitejší pôvod. Dôvera by nemala byť povolená na pranie slabej reťaze zdrojov.
Dobrá príprava zdrojov tiež znižuje zložitosť promptu. Prompt plný varovaní o konfliktných politikách, zastaraných dokumentoch, chýbajúcich poliach a špeciálnych výnimkách je často príznakom zanedbania vyššie v reťazci. Ak vrstva vyhľadávania už filtruje podľa autority a čerstvosti, prompt môže byť kratší. Ak zdroj nesie štruktúrované metadáta, model ich nemusí odvodzovať z nadpisov odsekov. Ak sú výnimky reprezentované ako pravidlá, model sa nemusí stať detektívom s limitmi tokenov. Najlepšie zlepšenie promptu je niekedy lepší index.
Príklady sú malé kúsky riadenia
Príklady sa zvyčajne považujú za pomôcky na školenie, ale sú aj formou riadenia. Dobrý príklad hovorí, čo kvalita znamená v konkrétnej situácii. Ukazuje, ako organizácia zvláda neistotu, chýbajúce dôkazy, konfliktné pravidlá, citlivý tón, eskaláciu a odmietnutie. Modelu aj tímu hovorí, ako vyzerá dobrá odpoveď, ale aj to, ako vyzerá dobré neodpovedanie. Toto je dôležité, pretože mnohé vážne systémy zlyhávajú tým, že odpovedajú, keď by mali počkať.
Tvorba príkladov núti k rozhodnutiam, ktorým sa abstraktná diskusia vyhýba. Vezmite dvadsať reálnych prípadov. Označte správny výsledok. Označte prijateľné alternatívy. Označte neprijateľné skratky. Vysvetlite prečo. Zahrňte okrajové prípady, pri ktorých skúsení pracovníci zaváhali. Zahrňte aj bežné prípady, pretože systémy, ktoré sa trénujú len na drámach, sa naučia zlé správanie. Požiadajte odborníkov z danej oblasti, aby nesúhlasili, a zaznamenajte ich nesúhlas. Je to pomalšie ako požiadať model, aby bol opatrný. Zároveň to vytvára spoločný jazyk pre opatrnosť.
Príklady by mali zahŕňať aj negatívne prípady. Zdroj sa nenašiel. Konflikt zdrojov. Používateľ nemá oprávnenie. Požiadavka mimo účelu. Zákazník žiada niečo, čo znie jednoducho, ale spúšťa pravidlá. Model by sa mal naučiť, kedy odmietnuť, eskalovať, opýtať sa alebo vrátiť štruktúrovanú neistotu. Ak príklady ukazujú len úspešné odpovede, prompt sa bude prikláňať k dokončeniu. Dokončenie nie je vždy úspech. Niekedy je najlepšou odpoveďou nedostatok dôkazov, čo sa v ukážke oslavuje ťažko, ale v fungujúcom systéme je to užitočné.
Príklady sú tiež začiatkom hodnotenia. Môžu sa stať testovacími príslušenstvami, regresnými prípadmi, školením pre recenzentov a vzorkami na monitorovanie. Keď dôjde k incidentu, opravený prípad sa môže stať novým príkladom. To dáva systému pamäť. Bez príkladov sa zmeny promptov stávajú zmenami nálady. Niekto povie, že odpoveď pôsobí lepšie. Niekto iný povie, že pôsobí horšie. Model sa v strede usmieva, nerušený dôkazmi.
Tvar výstupu je prevádzkové rozhodnutie
Diskusie o promptoch často venujú príliš veľa času tónu a príliš málo tvaru výstupu. Tón je dôležitý, najmä v komunikácii so zákazníkmi alebo na verejnosti. Ale tvar výstupu rozhoduje o tom, či sa dá odpoveď skontrolovať, smerovať, uložiť, schváliť, spochybniť alebo použiť iným systémom. Odsek môže byť príjemný. Štruktúrovaný výstup môže byť prevádzkyschopný. Vážna práca s AI často potrebuje oboje: čitateľnú prózu pre ľudí a polia, ktoré môžu stroje overiť.
Výstupný tvar zahŕňa povinné polia, odkazy na zdroje, mieru istoty alebo neistoty, dôvody odmietnutia, príznaky eskalácie, dotknuté záznamy, navrhované kroky a stav schválenia človekom. Hovorí, či model môže nechať pole prázdne. Hovorí, či musí uviesť identifikátor politiky. Hovorí, či môže vymýšľať kategórie alebo musí vyberať z riadeného zoznamu. Hovorí, čo sa stane, keď je vstup nejednoznačný. Tieto voľby nie sú len kozmetikou promptu. Sú návrhom pracovného postupu.
Štruktúrovaný výstup tiež drží model v jeho kompetencii. Ak systém vyžaduje samostatné pole pre dôkazy, nepodložené tvrdenia sa stanú viditeľnými. Ak vyžaduje typ akcie z povoleného zoznamu, kreatívne používanie nástrojov sa sťaží. Ak vyžaduje explicitnú neistotu, recenzenti môžu triediť. Ak vyžaduje dôvod odmietnutia, zablokované prípady sa dajú analyzovať. Prompt môže tieto veci požadovať, ale okolitý systém by ich mal overovať. Slušná žiadosť nie je kontrola. Je to návrh s formátovaním.
Existuje aj ľudská stránka. Ľudia potrebujú výstup, ktorý zodpovedá ich pracovnému tempu. Právnik môže potrebovať klauzuly zo zdrojov a poznámky o rizikách. Pracovník podpory môže potrebovať návrh odpovede pre zákazníka plus interné kódy dôvodov. Plánovač môže potrebovať odporúčanie trasy a obmedzenie, ktoré ho viedlo. Manažér môže potrebovať súhrnné dôvody, nie jednotlivé texty. Ak výstupný tvar ignoruje používateľa, prompt môže byť technicky správny a prevádzkovo otravný. To je bežný úspech, ale nie užitočný.
Autoritu nemožno odvodiť z ústretovosti
Ústretový model vzbudzuje dôveru. To je dobré, kým sa ústretovosť nezamení za autoritu. Ak model navrhne odpoveď, kto ju môže odoslať. Ak odporučí vrátenie peňazí, kto ho môže schváliť. Ak klasifikuje riziko, kto môže konať na základe klasifikácie. Ak extrahuje pole, kto ho opraví. Ak nenájde dôkazy, kto rozhodne, či pokračovať. Tieto otázky musia byť zodpovedané pred promptom, pretože prompt nemôže udeliť inštitucionálnu autoritu.
Návrh autority zahŕňa roly, prahy, fronty na preskúmanie, práva na prepísanie, cesty eskalácie a audítorské záznamy. Rozlišuje návrh od rozhodnutia. Rozlišuje automatizované rozhodnutie od ľudského rozhodnutia podporeného automatizáciou. Hovorí, kedy musí človek vidieť zdrojový materiál, nielen text modelu. Hovorí, kedy je volanie nástroja povolené a kedy je zablokované. Hovorí, kto nesie zodpovednosť za škodu, oneskorenie, opravu a komunikáciu. Model môže pomáhať v rámci tohto návrhu. Nemal by byť tým návrhom.
Toto je obzvlášť dôležité, keď sa AI pridáva do existujúcich pracovných postupov. Existujúca autorita môže byť neformálna. Skúsený pracovník schvaľuje výnimky, pretože každý vie, že sa ho treba opýtať. Vedúci tímu interpretuje politiku, pretože videl okrajové prípady. Tabuľka nesie dočasné pravidlo, pretože systém to nedokáže. Keď vstúpi AI, neformálna autorita sa stáva krehkou. Model môže škálovať starú nejednoznačnosť rýchlejšie, než ju ľudia stihnú zachytiť. Práca pred promptom spočíva v tom, aby bola autorita dostatočne explicitná, aby škálovanie neznamenalo len škálovanie zmätku.
Stojí za to povedať, že autorita nie je nepriateľom rýchlosti. Jasná autorita často zrýchľuje prácu, pretože ľudia vedia, čo sa môže pohnúť bez diskusie, čo sa musí zastaviť a kto môže rozhodnúť. Vágna autorita pôsobí flexibilne, až kým nenarazí na objem. Potom sa každý ťažký prípad stane malou ústavnou krízou, pričom chatové vlákna slúžia ako judikatúra. Toto nie je odporúčaný právny systém.
Vyhodnotenie nie je kontrola pocitov
Mnohé iterácie promptov sa posudzujú podľa dojmu. Táto verzia znie lepšie. Táto je stručnejšia. Táto je menej direktívna. Takéto hodnotenia môžu byť užitočné, ale nestačia. Prevádzka umelej inteligencie potrebuje hodnotenie, ktoré sleduje úlohu. Použil model správny zdroj. Vynechal povinné polia. Odmietol odpovedať, keď chýbali dôkazy. Eskaloval vysoko rizikové prípady. Zachoval identifikátory politík. Zasiahli ľudia. Pýtali sa zákazníci menej doplňujúcich otázok. Mali downstream tímy menej prepracúvania.
Hodnotenie by malo zahŕňať bežné prípady, okrajové prípady, nepriateľské prípady, zastarané zdroje, chýbajúce údaje, konfliktné politiky a príklady prijateľného odmietnutia. Malo by byť opakovateľné. Malo by rozlišovať zlyhanie modelu od zlyhania zdroja, zlyhania promptu, zlyhania rozhrania a zlyhania procesu. Inak sa každý problém stane problémom promptu, pretože prompt je časť, ktorú každý vidí. Viditeľná časť nie je vždy vinná časť. Platí to v softvéri aj na stretnutiach.
Hodnotenie tiež rozhoduje o tom, kedy prestať. Bez testovacej sady a kritérií vydania môže práca na promptoch pokračovať donekonečna, pretože jazyk sa dá vždy zlepšiť. Vždy sa nájde ďalšie prídavné meno, ďalšia inštrukcia, ďalší príklad, ďalšia úprava formátovania. Otázka nie je, či je prompt dokonalý. Otázka je, či systém plní úlohu v rámci dohodnutých hraníc rizika, nákladov a kvality. Dokonalosť je zlý manažér vydaní. Nenosí pager.
Práca po prompte sa začína pred vydaním
Korekčné postupy by sa mali navrhnúť skôr, ako prvý produkčný používateľ nahlási problém. Ako používateľ označí nesprávnu odpoveď. Kam toto označenie smeruje. Kto ho posudzuje. Zmení sa zdroj. Zmení sa banka príkladov. Zmení sa prompt. Zmení sa pravidlo. Zmení sa prah. Dostane človek spätnú väzbu. Stane sa opravený prípad regresným testom. Ak korekcia nie je navrhnutá, spätná väzba sa stane kopou. V kopách sa učenie ukladá na dlhý spánok.
Monitorovanie by sa malo tiež rozhodnúť pred vydaním. Sledujte nielen latenciu a náklady, ale aj miery odmietnutí, miery chýbajúcich zdrojov, dôvody prepísaní, záťaž eskalácií, downstream prepracúvanie, témy sťažností, zastarané citácie a posun v skladbe úloh. Kvalita odpovedí modelu je len jednou časťou prevádzkovej kvality. Systém môže odpovedať dobre a napriek tomu presmerovať príliš veľa práce na ľudí. Môže odpovedať rýchlo a napriek tomu zvyšovať počet opráv. Môže znižovať počet tiketov a napriek tomu vytvárať náročnejšie tikety. Monitorovanie by malo vidieť prácu, nielen tokeny.
Práca pred promptom sa nikdy nekončí. Pribúdajú nové pravidlá. Zdrojové systémy sa menia. Používatelia nachádzajú skratky. Model sa mení. Biznis sa mení. Prompt, ktorý fungoval v máji, môže byť v septembri nesprávny, pretože práca sa pod ním posunula. To neznamená, že je všetko krehké. Znamená to, že AI operácie potrebujú vlastníctvo. Niekto musí udržiavať definíciu úlohy, zdroje, príklady, vyhodnocovanie, autoritu a opravy. Inak sa z promptu stane skamenelina s výbornou gramatikou.
Ponaučenie
Skutočná práca je pred promptom, pretože promptovanie je viditeľný okraj väčšieho operačného systému. Model potrebuje úlohu, ktorú môže vykonať, zdroje, ktorým môže dôverovať, hranice, ktoré nemôže prekročiť, výstupy, ktoré možno skontrolovať, príklady, ktoré v sebe nesú úsudok, autoritu, ktorá ľuďom a nástrojom hovorí, čo môžu robiť, a vyhodnocovanie, ktoré dokáže rozlíšiť zlepšenie od krajšej prózy. Bez toho prompt nesie zodpovednosti, ktoré nemôže splniť.
Tento pohľad neznižuje hodnotu promptovania. Robí ho cennejším. Prompt v pripravenej operácii môže byť krátky, jasný, testovateľný a udržiavateľný. Môže model sústrediť namiesto toho, aby kompenzoval nejednoznačnosť. Môže sa vyvíjať spolu s príkladmi a dôkazmi. Dá sa meniť s istotou, pretože tím vie, čo znamená dobrý výsledok. To je lepšie ako promptový mysticizmus, ktorý väčšinou prináša dlhšie prompty a tichšie pochybnosti.
Skôr než sa spýtate, ako promptovať model, spýtajte sa, akú prácu už organizácia pre model urobila. Je úloha pomenovaná. Sú zdroje autoritatívne. Sú príklady označené. Je výstup štruktúrovaný. Je autorita explicitná. Je zlyhanie bezpečné. Je vyhodnocovanie skutočné. Je oprava navrhnutá. Ak sú odpovede slabé, začnite tam. Najužitočnejší prompt v miestnosti môže byť ten, ktorý prinúti všetkých priznať, že prompt nie je miesto, kde práca začína.