Skutečná práce začíná před promptem.
Dílna na promptování, která začala příliš pozdě
Dílna byla zarezervovaná na vylepšení promptů. Tak to stálo v kalendáři, s veselou ikonkou hůlky, kterou někdo později litoval. Skupina manažerů, analytiků, operátorů a inženýrů seděla kolem stolu se sdíleným dokumentem. Aktuální prompt byl na obrazovce. Žádal jazykový model, aby přezkoumal požadavky zákazníků, určil správnou politiku, navrhl odpověď a označil rizika. Byl zdvořilý, strukturovaný a mnohem delší, než si kdokoli chtěl přiznat. Nebyl to ale hlavní problém.
První testovací případ byl zákazník žádající o výjimku po zpožděném doručení. Model vyprodukoval slušnou odpověď. Pak někdo z provozu řekl, že zdrojová politika na obrazovce už není ta, kterou tým používal v pátek, protože dočasné pravidlo dopravce bylo dvakrát prodlouženo, ale nikdy nebylo sloučeno do hlavní stránky s politikou. Někdo z právního oddělení řekl, že výjimky nad určitou částku vyžadovaly schválení, ale hranice závisela na kategorii produktu. Finance se ptaly, kam se zaznamenávají kredity za dobrou vůli. Podpora řekla, že tón modelu byl v pořádku, ale zákazník zavolá znovu, protože odpověď nezmiňovala chybějící událost sledování. Prompt tam seděl a vypadal nevinně.
Žádný z těchto problémů by nevyřešil lepší odstavec s instrukcemi. Model nemohl odvodit, která stránka s politikou je směrodatná. Nemohl vědět, že se dočasné pravidlo stalo provozní realitou. Nemohl rozhodnout, kdo má schvalovací pravomoc. Nemohl vidět, že chybějící událost sledování byla skutečnou příčinou dalšího kontaktu. Prompt byl žádán, aby kompenzoval nejasnou práci. To je častá chyba. Lidé přijdou k promptu s košíkem procesní nejednoznačnosti a žádají model, aby se k ní choval elegantně.
Skutečná práce je před promptem. Je to práce pojmenování úkolu, definování hranic, výběru zdrojů, stanovení autority, přípravy příkladů, rozhodování o cestách selhání, tvarování výstupu, měření kvality a umožnění oprav. Na promptu záleží. Špatný prompt může dobré nastavení udělat neohrabaným. Ale krásný prompt na nejasné operaci je jen dobře napsaný zmatek. Model může znít lépe. Práce nebude bezpečnější, levnější ani srozumitelnější jen tak sama od sebe.
Prompt není mapa procesu
A prompt can tell a model how to behave in a context. It cannot create the context if the organisation has not done so. It can ask for brevity, structure, humility, and citations. It can describe a role. It can specify a format. It can warn the model not to guess. These are useful. They are also small compared with the process questions that determine whether an AI system helps or merely speaks confidently near the work.
What is the task. Is it classification, extraction, summarisation, drafting, routing, recommendation, verification, or action. Which part is automated. Which part remains human. What state changes if the output is accepted. Who is affected. Which records are touched. Which policy applies. What evidence is mandatory. What happens when evidence is missing. Which mistakes are tolerable. Which mistakes create harm. These questions decide the shape of the system. A prompt that does not sit on top of clear answers becomes a polite guess wearing a nametag.
Many failed AI pilots begin with a prompt because a prompt is the most visible handle. It feels creative and immediate. You can edit it in a meeting. You can try a new version before coffee goes cold. Process design is slower. Data cleanup is slower. Authority mapping is slower. Evaluation set building is slower. Unfortunately, slow is not the same as optional. The parts skipped before the prompt return later as hallucination, rework, mistrust, policy exceptions, and a large spreadsheet called issues.
The better sequence is not glamorous. Write the work down. Walk real cases. Identify source systems. Mark which fields decide outcomes. Separate rules from judgement. Decide where humans enter. Define output contracts. Build examples. Agree on refusal. Test with the people who will live with the result. Only then does the prompt become a useful lever. Before that, it is a decorative steering wheel on a desk.
The task needs a boundary sharp enough to test
AI work often begins with verbs that are too large. Help with customer service. Support legal review. Improve planning. Assist procurement. Make reporting smarter. These are ambitions, not tasks. A model cannot be evaluated against an ambition. It can be evaluated against a task with inputs, outputs, constraints, success criteria, and failure paths. The narrower description may feel less exciting. It is also the first moment the work becomes buildable.
A sharp task boundary says what the system may see and what it may change. It says whether the model is reading source material, generating a draft, extracting structured fields, recommending an action, or calling a tool. It says which outputs are final, which are advisory, and which must be reviewed. It says what the system refuses. It says when the model should ask for more evidence rather than complete the answer. It says what is outside scope, because outside scope is where ambitious pilots go to become incident reports.
Boundaries make evaluation possible. If the task is draft a reply using these sources and this policy, quality can be tested. If the task is improve service quality with AI, every result can be explained as progress by someone with enough slides. A boundary also protects users from accidental escalation. A tool that begins by drafting may acquire a button that sends. A classifier may become a router. A router may become a decision. Without a named boundary, this drift feels like adoption. With a boundary, it becomes a change request.
Hranice by měla být popsána provozním jazykem, ne pouze technickým. Měl by jí rozumět vedoucí podpory. Mělo by jí rozumět právní oddělení. Měl by jí rozumět správce dat. Inženýr by ji měl umět otestovat. Pokud hranice žije pouze v promptu, je křehká. Prompty jsou důležité, ale nejsou nosnými politickými dokumenty. Jsou spíš jako instrukce pro velmi talentovaného dočasného pracovníka, který nikdy neviděl organizační schéma.
Zdroje nejsou hromada dokumentů
Mnoho týmů při tvorbě promptů zjistí, že neví, které zdroje jsou směrodatné. Mají stránky s politikami, PDF, e-mailové instrukce, školicí materiály, staré příručky, chatové zprávy, makra pro tickety, tabulkové přehledy a paměť operátorky, které volá každý, protože ví, jak to ve skutečnosti funguje. Model má pak odpovídat z báze znalostí. Které znalosti. Která báze. Tahle fráze dokáže skrývat heroické množství nejasností.
Příprava zdrojů není okouzlující, a proto se na ni často zapomíná. Zahrnuje rozhodování o tom, který dokument vyhrává, když si zdroje odporují, jak se kontroluje aktuálnost, jak dočasná pravidla vyprší, jak se reprezentují výjimky, jak se vylučuje důvěrný materiál, jak se uchovávají verze zdrojů a jak identifikátory citací přežijí odpověď modelu. Tohle není papírování. Je to rozdíl mezi vyhledáváním a hrabáním se v šuplíku.
AI činí disciplínu zdrojů důležitější, protože model dokáže slabé postupy se zdroji zamaskovat. Dokáže poskládat útržky do plynulé prózy. Dokáže zahladit rozpory. Dokáže z neaktuálního materiálu vytvořit věrohodnou odpověď. Výsledek vyhledávání s viditelnými mezerami působí neúplně. Generovaná odpověď se stejnými mezerami může působit úplně. Čím lepší próza, tím důležitější je původ informací. Důvěryhodnost by neměla prát špinavý řetězec zdrojů.
Dobrá příprava zdrojů také snižuje složitost promptu. Prompt plný varování před konfliktními politikami, zastaralými dokumenty, chybějícími poli a zvláštními výjimkami je často příznakem zanedbání na vyšší úrovni. Pokud vrstva vyhledávání už filtruje podle autority a aktuálnosti, prompt může být kratší. Pokud zdroj nese strukturovaná metadata, model je nemusí odvozovat z nadpisů odstavců. Pokud jsou výjimky reprezentovány jako pravidla, model se nemusí stát detektivem s omezeným počtem tokenů. Nejlepší vylepšení promptu je někdy lepší index.
Příklady jsou malé kousky správy
Příklady se obvykle berou jako tréninkové pomůcky, ale jsou také formou řízení. Dobrý příklad ukazuje, co v dané situaci znamená kvalita. Ukazuje, jak organizace zvládá nejistotu, chybějící důkazy, konfliktní pravidla, citlivý tón, eskalaci a odmítnutí. Modelu i týmu říká, jak vypadá dobrá odpověď, ale také jak vypadá dobré neodpovězení. To je důležité, protože mnoho závažných systémů selhává tím, že odpovídají, když by měly vyčkat.
Tvorba příkladů vynucuje rozhodnutí, kterým se abstraktní diskuze vyhýbá. Vezměte dvacet skutečných případů. Označte správný výsledek. Označte přijatelné alternativy. Označte nepřijatelné zkratky. Vysvětlete proč. Zahrňte okrajové případy, které přiměly zkušené pracovníky k váhání. Zahrňte i běžné případy, protože systémy, které se trénují jen na dramatu, si osvojí špatné chování. Požádejte odborníky z dané oblasti, aby nesouhlasili, a zaznamenejte jejich neshodu. Je to pomalejší než žádat model, aby byl opatrný. Vytvoří to ale také společný jazyk pro opatrnost.
Příklady by měly zahrnovat i negativní případy. Zdroj nenalezen. Konflikt zdrojů. Uživatel nemá oprávnění. Požadavek mimo účel. Zákazník se ptá na něco, co zní jednoduše, ale spouští pravidla. Model by se měl naučit, kdy odmítnout, eskalovat, zeptat se nebo vrátit strukturovanou nejistotu. Pokud příklady ukazují jen úspěšné odpovědi, bude se prompt přiklánět k dokončení odpovědi. Dokončení není vždy úspěch. Někdy je nejlepší odpovědí nedostatek důkazů, což se v demu oslavuje obtížně, ale ve fungujícím systému je to užitečné.
Příklady jsou také začátkem hodnocení. Mohou se stát testovacími případy, regresními případy, školením pro recenzenty a vzorky pro monitorování. Když dojde k incidentu, opravený případ se může stát novým příkladem. To dává systému paměť. Bez příkladů se změny promptů stávají změnami nálad. Někdo řekne, že odpověď působí lépe. Někdo jiný řekne, že působí hůře. Model se uprostřed usmívá, nedotčen důkazy.
Podoba výstupu je provozní rozhodnutí
Diskuze o promptech často věnují příliš mnoho času tónu a příliš málo podobě výstupu. Tón je důležitý, zejména v komunikaci se zákazníky nebo na veřejnosti. Ale podoba výstupu rozhoduje o tom, zda lze odpověď zkontrolovat, směrovat, uložit, schválit, zpochybnit nebo použít jiným systémem. Odstavec může být příjemný. Strukturovaný výstup může být provozuschopný. Seriózní práce s umělou inteligencí často potřebuje obojí: čitelnou prózu pro lidi a pole, která mohou stroje ověřit.
Výstupní struktura zahrnuje povinná pole, odkazy na zdroje, míru jistoty či nejistoty, důvody odmítnutí, příznaky eskalace, dotčené záznamy, navrhované kroky a stav schválení člověkem. Říká, zda model může pole ponechat prázdné. Říká, zda musí citovat identifikátor politiky. Říká, zda může vymýšlet kategorie, nebo musí vybírat z řízeného seznamu. Říká, co se stane, když je vstup nejednoznačný. Tyto volby nejsou kosmetikou promptu. Jsou návrhem pracovního postupu.
Strukturovaný výstup také drží model v jeho roli. Pokud systém vyžaduje samostatné pole pro důkazy, nepodložená tvrzení se stanou viditelnými. Pokud vyžaduje typ akce z povoleného seznamu, kreativní použití nástrojů se ztíží. Pokud vyžaduje explicitní vyjádření nejistoty, recenzenti mohou třídit. Pokud vyžaduje důvod odmítnutí, zablokované případy lze analyzovat. Prompt si o tyto věci může říct, ale okolní systém by je měl ověřovat. Slušná žádost není kontrola. Je to návrh s formátováním.
Existuje i lidská stránka. Lidé potřebují výstup, který odpovídá jejich pracovnímu rytmu. Právník může potřebovat zdrojová ustanovení a poznámky k rizikům. Pracovník podpory může potřebovat návrh připravený pro zákazníka a interní kódy důvodů. Plánovač může potřebovat doporučení trasy a omezení, které ho vedlo. Manažer může potřebovat souhrnné důvody, ne jednotlivé texty. Pokud výstupní struktura ignoruje uživatele, prompt může být technicky správný a provozně otravný. To je běžný úspěch, ale ne užitečný.
Autoritu nelze odvodit z ochoty pomáhat
Ochotný model vzbuzuje důvěru. To je dobré, dokud není ochota zaměněna za autoritu. Pokud model navrhne odpověď, kdo ji může odeslat. Pokud doporučí vrácení peněz, kdo ho může schválit. Pokud klasifikuje riziko, kdo může na základě klasifikace jednat. Pokud extrahuje pole, kdo ho opraví. Pokud nenajde důkazy, kdo rozhodne, zda pokračovat. Tyto otázky musí být zodpovězeny před promptem, protože prompt nemůže udělit institucionální autoritu.
Návrh autority zahrnuje role, prahy, fronty na přezkum, práva na přepsání, cesty eskalace a záznamy o auditu. Rozlišuje návrh od rozhodnutí. Rozlišuje automatizované rozhodnutí od lidského rozhodnutí podpořeného automatizací. Říká, kdy musí člověk vidět zdrojový materiál, ne jen text modelu. Říká, kdy je volání nástroje povoleno a kdy je zablokováno. Říká, kdo nese odpovědnost za škodu, zpoždění, opravu a komunikaci. Model může v tomto návrhu pomáhat. Neměl by být tím návrhem.
To je obzvlášť důležité, když se AI přidává do stávajících pracovních postupů. Stávající autorita může být neformální. Zkušený pracovník schvaluje výjimky, protože všichni vědí, že se ho mají zeptat. Vedoucí týmu interpretuje politiku, protože viděl okrajové případy. Tabulka nese dočasné pravidlo, protože systém to neumí. Když vstoupí AI, neformální autorita se stává křehkou. Model může starou nejednoznačnost šířit rychleji, než ji lidé stihnou zachytit. Práce před promptem spočívá v tom, aby byla autorita dostatečně explicitní, aby škálování neznamenalo jen škálování zmatku.
Stojí za to říct, že autorita není nepřítelem rychlosti. Jasná autorita často práci zrychluje, protože lidé vědí, co se může pohnout bez debaty, co se musí zastavit a kdo může rozhodnout. Vágní autorita působí flexibilně, dokud nenarazí na objem. Pak se každý obtížný případ stane malou ústavní krizí a vlákna chatu slouží jako judikatura. Toto není doporučený právní systém.
Vyhodnocení není kontrola dojmů
Mnoho iterací promptů se posuzuje podle pocitu. Tato verze zní lépe. Tato verze je stručnější. Tato je méně direktivní. Tyto soudy mohou být užitečné, ale nestačí. Provoz umělé inteligence potřebuje hodnocení, které odpovídá danému úkolu. Použil model správný zdroj. Nevynechal povinná pole. Odmítl odpověď, když chyběly důkazy. Eskaloval vysoce rizikové případy. Zachoval identifikátory politik. Přepsali lidé jeho rozhodnutí. Ptali se zákazníci na méně doplňujících otázek. Viděla navazující oddělení méně přepracování.
Hodnocení by mělo zahrnovat běžné případy, okrajové případy, nepřátelské případy, zastaralé zdroje, chybějící data, konfliktní politiky a příklady přijatelného odmítnutí. Mělo by být opakovatelné. Mělo by rozlišovat selhání modelu od selhání zdroje, selhání promptu, selhání rozhraní a selhání procesu. Jinak se každý problém stane problémem promptu, protože prompt je část, kterou každý vidí. Viditelná část není vždy viníkem. To platí v softwaru i na poradách.
Hodnocení také rozhoduje o tom, kdy přestat. Bez testovací sady a kritérií pro vydání může práce na promptech pokračovat donekonečna, protože jazyk lze vždy vylepšit. Vždy bude další přídavné jméno, další instrukce, další příklad, další úprava formátování. Otázka není, zda je prompt dokonalý. Otázka je, zda systém plní úkol v rámci dohodnutých hranic rizika, nákladů a kvality. Dokonalost je špatný manažer vydání. Nenosí pager.
Práce po promptu začíná před vydáním
Korekční postupy by měly být navrženy dříve, než první produkční uživatel nahlásí problém. Jak uživatel označí špatnou odpověď. Kam toto označení putuje. Kdo ho posuzuje. Změní se zdroj. Změní se banka příkladů. Změní se prompt. Změní se pravidlo. Změní se práh. Dostane člověk zpětnou vazbu. Stane se opravený případ regresním testem. Pokud korekce není navržena, zpětná vazba se stane hromadou. V hromadách se učení ukládá k dlouhému spánku.
Monitorování by mělo být také rozhodnuto před vydáním. Sledujte nejen latenci a náklady, ale také míru odmítání, míru chybějících zdrojů, důvody přepsání, zátěž eskalací, následné přepracování, témata stížností, zastaralé citace a posun ve skladbě úkolů. Kvalita odpovědí modelu je jen jednou částí provozní kvality. Systém může odpovídat dobře a přesto posílat příliš mnoho práce lidem. Může odpovídat rychle a přesto zvyšovat počet oprav. Může snižovat počet tiketů a přesto vytvářet obtížnější tikety. Monitorování by mělo vidět práci, ne jen tokeny.
Práce před promptem nikdy pořádně nekončí. Objevují se nové postupy. Zdrojové systémy se mění. Uživatelé nacházejí zkratky. Model se mění. Byznys se mění. Prompt, který fungoval v květnu, může být v září špatně, protože se pod ním posunula práce. To neznamená, že je vše křehké. Znamená to, že AI operace potřebují vlastnictví. Někdo musí udržovat definici úkolu, zdroje, příklady, vyhodnocování, autoritu a opravy. Jinak se z promptu stane zkamenělina s vynikající gramatikou.
Ponaučení
Skutečná práce je před promptem, protože promptování je viditelná hrana většího operačního systému. Model potřebuje úkol, který může vykonat, zdroje, kterým může důvěřovat, hranice, které nesmí překročit, výstupy, které lze zkontrolovat, příklady, které v sobě nesou úsudek, autoritu, která lidem a nástrojům říká, co smějí dělat, a vyhodnocování, které dokáže rozlišit zlepšení od hezčí prózy. Bez toho prompt nese odpovědnosti, které nemůže splnit.
Tento pohled nezlehčuje promptování. Dělá promptování hodnotnějším. Prompt uvnitř připravené operace může být krátký, jasný, testovatelný a udržovatelný. Může model zaměřit místo toho, aby kompenzoval nejednoznačnost. Může se vyvíjet s příklady a důkazy. Může být měněn s jistotou, protože tým ví, co znamená dobrý výsledek. To je lepší než promptový mysticismus, který většinou produkuje delší prompty a tišší pochybnosti.
Než se zeptáte, jak promptovat model, zeptejte se, jakou práci organizace pro model už udělala. Je úkol pojmenovaný. Jsou zdroje autoritativní. Jsou příklady označené. Je výstup strukturovaný. Je autorita explicitní. Je selhání bezpečné. Je vyhodnocování skutečné. Je oprava navržená. Pokud jsou odpovědi slabé, začněte tam. Nejužitečnější prompt v místnosti může být ten, který přiměje všechny přiznat, že prompt není místo, kde práce začíná.