Tõeline töö on enne viipa
Liiga hilja alanud promptide töötuba
Töötuba oli broneeritud promptide parandamiseks. See oli kalendris pealkirjaks, koos rõõmsa väikese võlukepikese ikooniga, mida keegi hiljem kahetses. Ümber laua istusid juhid, analüütikud, operaatorid ja insenerid, ees ühine dokument. Praegune prompt oli ekraanil. See palus keelemudelil üle vaadata kliendipäringud, tuvastada õige poliitika, koostada vastus ja märgistada riskid. See oli viisakas, struktureeritud ja palju pikem, kui keegi tahtis tunnistada. See polnud aga peamine probleem.
Esimene testjuhtum oli klient, kes küsis erandit pärast viivitatud tarneid. Mudel andis korraliku vastuse. Siis ütles keegi operatsioonide poolelt, et ekraanil olev allikpoliitika polnud enam see, mida meeskond reedeti kasutas, sest ajutine vedaja reegel oli pikendatud kaks korda, kuid polnud kunagi põhipoliitika lehega ühendatud. Keegi õigusosakonnast ütles, et teatud summast suuremad erandid nõudsid kinnitust, kuid piirmäär sõltus tootekategooriast. Finantsosakond küsis, kus hea tahte krediidid kirja pannakse. Tugi ütles, et mudeli toon oli hea, kuid klient helistaks uuesti, sest vastus ei maininud puuduvat jälgimissündmust. Prompt istus seal, näides süütu.
Ühtegi neist probleemidest poleks parem juhendilõik lahendanud. Mudel ei saanud järeldada, milline poliitikaleht on autoriteetne. See ei saanud teada, et ajutine reegel oli muutunud tegelikkuseks. See ei saanud otsustada, kellel on kinnitusõigus. See ei näinud, et puuduv jälgimissündmus oli järgmise kontakti tegelik põhjus. Prompt pidi kompenseerima ebaselget tööd. See on tavaline viga. Inimesed tulevad prompti juurde protsesside ebaselguse korviga ja paluvad mudelil olla selle suhtes elegantne.
Tegelik töö toimub enne prompti. See on ülesande nimetamise, piiride määratlemise, allikate valimise, autoriteedi kinnitamise, näidete ettevalmistamise, ebaõnnestumisteede otsustamise, väljundi kujundamise, kvaliteedi mõõtmise ja parandamise võimaldamise töö. Promptid loevad. Halb prompt võib hea seadistuse kohmakaks muuta. Kuid ilus prompt ebaselge operatsiooni peal on lihtsalt hästi kirjutatud segadus. Mudel võib kõlada paremini. Töö ei muutu ohutumaks, odavamaks ega arusaadavamaks juhuslikult.
Prompt ei ole protsessikaart
Prompt võib öelda mudelile, kuidas kontekstis käituda. Ta ei suuda konteksti luua, kui organisatsioon pole seda juba teinud. Ta võib paluda lühidust, struktuuri, alandlikkust ja viiteid. Ta võib kirjeldada rolli. Ta võib täpsustada vormingut. Ta võib hoiatada mudelit, et see ei pakuks oletusi. Need on kasulikud. Kuid need on väikesed võrreldes protsessiküsimustega, mis määravad, kas AI-süsteem aitab või lihtsalt räägib enesekindlalt töö kõrval.
Mis on ülesanne. Kas see on klassifitseerimine, ekstraheerimine, kokkuvõtte tegemine, mustandi koostamine, suunamine, soovitamine, kontrollimine või tegutsemine. Milline osa on automatiseeritud. Milline osa jääb inimesele. Milline olek muutub, kui väljund aktsepteeritakse. Keda see mõjutab. Milliseid kirjeid puudutatakse. Milline poliitika kehtib. Milline tõendusmaterjal on kohustuslik. Mis juhtub, kui tõendusmaterjal puudub. Millised vead on talutavad. Millised vead tekitavad kahju. Need küsimused otsustavad süsteemi kuju. Prompt, mis ei toetu selgetele vastustele, muutub viisakaks oletuseks, mis kannab nimesilti.
Paljud ebaõnnestunud AI-projektid algavad promtiga, sest prompt on kõige nähtavam käepide. See tundub loov ja vahetu. Saate seda koosolekul redigeerida. Saate enne kohvi jahtumist proovida uut versiooni. Protsessi kujundamine on aeglasem. Andmete puhastamine on aeglasem. Volituste kaardistamine on aeglasem. Hindamiskomplekti koostamine on aeglasem. Kahjuks ei tähenda aeglane sama, mis vabatahtlik. Osad, mis jäetakse enne prompti vahele, tulevad hiljem tagasi hallutsinatsiooni, ümbertegemise, umbusalduse, poliitika erandite ja suure probleemideks nimetatud tabelina.
Parem järjestus pole glamuurne. Kirjutage töö üles. Käige läbi reaalsed juhtumid. Tuvastage lähtesüsteemid. Märkige, millised väljad otsustavad tulemused. Eraldage reeglid otsustusest. Otsustage, kus inimesed sisse astuvad. Määratlege väljundlepingud. Looge näiteid. Leppige kokku keeldumine. Testige inimestega, kes peavad tulemusega elama. Alles siis muutub prompt kasulikuks hoovaks. Enne seda on see dekoratiivne rool laual.
Ülesanne vajab piiri, mis on piisavalt selge testimiseks
AI-töö algab sageli liiga suurte tegusõnadega. Aidake klienditeenindust. Toetage õigusülevaadet. Parandage planeerimist. Aidake hankida. Muutke aruandlus targemaks. Need on ambitsioonid, mitte ülesanded. Mudelit ei saa hinnata ambitsiooni järgi. Seda saab hinnata ülesande järgi, millel on sisendid, väljundid, piirangud, edukriteeriumid ja ebaõnnestumisteed. Kitsam kirjeldus võib tunduda vähem põnev. See on ka esimene hetk, mil töö muutub ehitatavaks.
Terav ülesande piir ütleb, mida süsteem võib näha ja mida ta võib muuta. See ütleb, kas mudel loeb lähtematerjali, koostab mustandit, ekstraheerib struktureeritud välju, soovitab tegevust või kutsub tööriista. See ütleb, millised väljundid on lõplikud, millised on nõuandvad ja millised tuleb üle vaadata. See ütleb, mida süsteem keeldub tegemast. See ütleb, millal peaks mudel küsima rohkem tõendusmaterjali, mitte lõpetama vastust. See ütleb, mis jääb ulatusest välja, sest väljaspool ulatust on koht, kus ambitsioonikad projektid muutuvad intsidentide aruanneteks.
Piirid muudavad hindamise võimalikuks. Kui ülesanne on koostada vastus nende allikate ja selle poliitika abil, saab kvaliteeti testida. Kui ülesanne on parandada teenuse kvaliteeti AI-ga, saab iga tulemust selgitada edusammudena keegi, kellel on piisavalt slaide. Piir kaitseb ka kasutajaid juhusliku eskaleerumise eest. Tööriist, mis algab mustandi koostamisega, võib omandada nupu, mis saadab. Klassifikaator võib muutuda suunajaks. Suunaja võib muutuda otsuseks. Ilma nimetatud piirita tundub see triiv kasutuselevõtuna. Piiriga muutub see muudatustaotluseks.
Piir tuleks kirjutada operatiivses keeles, mitte ainult tehnilises keeles. Tugijuht peaks sellest aru saama. Õigusosakond peaks sellest aru saama. Andmeomanik peaks sellest aru saama. Insener peaks suutma seda testida. Kui piir elab ainult promptis, on see habras. Promptid on olulised, kuid need ei ole kandvad poliitikadokumendid. Need on pigem juhised väga andekale ajutisele töötajale, kes pole kunagi organisatsiooni struktuuri näinud.
Allikad ei ole dokumentide hunnik
Paljud meeskonnad avastavad promptimise käigus, et nad ei tea, millised allikad on autoriteetsed. Neil on poliitikalehed, PDF-id, meilijuhised, koolitusmaterjalid, pärandkäsiraamatud, vestlussõnumid, piletimakrod, tabelijälgijad ja operaatri mälu, kelle poole kõik pöörduvad, sest ta teab, kuidas see tegelikult toimib. Seejärel palutakse mudelil vastata teadmusbaasi põhjal. Milline teadmus. Milline baas. See fraas võib varjata kangelaslikul määral teadmatust.
Allikate ettevalmistamine ei ole glamuurne, mistõttu jääb see sageli hiljaks. See hõlmab otsustamist, milline dokument võidab allikate vastuolu korral, kuidas värskust kontrollitakse, kuidas ajutised reeglid aeguvad, kuidas erandeid esitatakse, kuidas konfidentsiaalne materjal välistatakse, kuidas allikaversioone säilitatakse ja kuidas tsiteerimistunnused mudeli vastuses säilivad. See ei ole bürokraatia. See on vahe otsingul ja tuhnimisel.
AI muudab allikadistsipliini olulisemaks, sest mudel võib panna nõrga allikapraktika vastuvõetavana tunduma. See võib õmmelda fragmente sujuvaks proosaks. See võib siluda vastuolusid. See võib toota usutava vastuse aegunud materjalist. Otsingutulemus nähtavate lünkadega tundub puudulik. Genereeritud vastus samade lünkadega võib tunduda täielik. Mida parem proosa, seda olulisem on päritolu. Enesekindlus ei tohiks pesta puhtaks nõrka allikaahelat.
Hea allikate ettevalmistamine vähendab ka prompti keerukust. Prompt, mis on täis hoiatusi vastuoluliste poliitikate, aegunud dokumentide, puuduvate väljade ja erierandite kohta, on sageli ülesvoolu hooletuse sümptom. Kui otsingukiht filtreerib juba volituse ja värskuse järgi, võib prompt olla lühem. Kui allikas kannab struktureeritud metaandmeid, ei pea mudel neid pealkirjade põhjal tuletama. Kui erandid on esitatud reeglitena, ei pea mudelist saama tokenipiirangutega detektiiv. Parim prompti täiustus on mõnikord parem indeks.
Näited on väikesed valitsemistükid
Näiteid peetakse tavaliselt õppematerjaliks, kuid need on ka juhtimisvahend. Hea näide ütleb, mida kvaliteet antud olukorras tähendab. See näitab, kuidas organisatsioon käsitleb ebakindlust, puuduvat tõendusmaterjali, vastuolulist poliitikat, tundlikku tooni, eskalatsiooni ja keeldumist. See õpetab mudelile ja meeskonnale, milline näeb välja hea vastus, aga ka see, milline näeb välja hea mittevastus. See on oluline, sest paljud tõsised süsteemid ebaõnnestuvad seetõttu, et vastavad siis, kui peaksid peatuma.
Näidete koostamine sunnib tegema otsuseid, mida abstraktne arutelu väldib. Võtke kakskümmend reaalset juhtumit. Märkige õige tulemus. Märkige vastuvõetavad alternatiivid. Märkige vastuvõetamatud otsetee. Selgitage, miks. Lisage äärejuhtumid, mis panid kogenud töötajaid kõhklema. Lisage ka tavalised juhtumid, sest süsteemid, mis treenivad ainult draamal, õpivad halvad kombed. Paluge valdkonnaekspertidel eriarvamusele jääda ja jäädvustage see eriarvamus. See on aeglasem kui paluda mudelil olla ettevaatlik. See loob ka ühise keele ettevaatlikkuse jaoks.
Näited peaksid sisaldama negatiivseid juhtumeid. Allikat ei leitud. Allikate konflikt. Kasutajal puudub volitus. Taotlus on väljaspool eesmärki. Klient küsib midagi, mis kõlab lihtsalt, kuid käivitab poliitika. Mudel peaks õppima, millal keelduda, eskaleerida, küsida või tagastada struktureeritud ebakindlus. Kui näited näitavad ainult edukaid vastuseid, kaldub päring lõpetamise poole. Lõpetamine ei ole alati edu. Mõnikord on parim vastus see, et tõendusmaterjali pole piisavalt, mida on demos raske tähistada, kuid mis on töötavas süsteemis kasulik.
Näited on ka hindamise algus. Neist võivad saada testifiikstuurid, regressioonijuhtumid, retsensentide koolitusmaterjal ja seirevalimid. Kui juhtum juhtub, võib parandatud juhtumist saada uus näide. See annab süsteemile mälu. Ilma näideteta muutuvad päringumuudatused meeleolumuutusteks. Keegi ütleb, et vastus tundub parem. Keegi teine ütleb, et see tundub halvem. Mudel naeratab keskel, tõendusmaterjalist puutumata.
Väljundi kuju on operatiivne otsus
Päringuaruteludes kulutatakse sageli liiga palju aega toonile ja liiga vähe väljundi kujule. Toon on oluline, eriti kliendi- või avalikus suhtluses. Kuid väljundi kuju määrab, kas vastust saab kontrollida, suunata, salvestada, heaks kiita, vaidlustada või kasutada mõnes teises süsteemis. Lõik võib olla meeldiv. Struktureeritud väljund võib olla operatiivselt kasutatav. Tõsine tehisintellektitöö vajab sageli mõlemat: loetavat proosat inimestele ja välju, mida masinad saavad kontrollida.
Väljundi kuju hõlmab kohustuslikke välju, allikaviiteid, kindlust või ebakindlust, keeldumise põhjuseid, eskaleerimise lipukesi, mõjutatud kirjeid, kavandatud toiminguid ja inimese kinnituse olekut. See ütleb, kas mudel võib jätta välja tühjaks. See ütleb, kas mudel peab tsiteerima poliitika identifikaatorit. See ütleb, kas mudel võib kategooriaid välja mõelda või peab valima kontrollitud loendist. See ütleb, mis juhtub, kui sisend on mitmetähenduslik. Need valikud ei ole viiba kosmeetika. Need on töövoo kujundus.
Struktureeritud väljund hoiab ka mudelit tema rollis. Kui süsteem nõuab tõendite jaoks eraldi välja, muutuvad põhjendamata väited nähtavaks. Kui see nõuab lubatud loendist tegevuse tüüpi, muutub loominguline tööriistakasutus raskemaks. Kui see nõuab ebakindluse selgesõnalist väljendamist, saavad ülevaatajad triaaži teha. Kui see nõuab keeldumise põhjust, saab blokeeritud juhtumeid analüüsida. Viip võib neid asju nõuda, kuid ümbritsev süsteem peaks neid kinnitama. Viisakalt palumine ei ole kontroll. See on ettepanek koos vormindusega.
On ka inimlik külg. Inimesed vajavad väljundit, mis sobib nende töörütmiga. Jurist võib vajada allikalõike ja riskimärkusi. Tugiteenuse esindaja võib vajada kliendivalmis mustandit koos sisemiste põhjuste koodidega. Planeerija võib vajada marsruudi soovitust ja piirangut, mis selle tingis. Juht võib vajada koondatud põhjuseid, mitte üksikuid tekste. Kui väljundi kuju kasutajat ignoreerib, võib viip olla tehniliselt õige ja operatiivselt tüütu. See on tavaline saavutus, kuid mitte kasulik.
Abivalmidus ei anna autoriteeti
Abivalmis mudel kutsub esile usalduse. See on hea, kuni abivalmidust peetakse autoriteediks. Kui mudel koostab vastuse, kes võib selle saata. Kui see soovitab tagasimakset, kes võib selle heaks kiita. Kui see klassifitseerib riski, kes võib klassifikatsiooni alusel tegutseda. Kui see eraldab välja, kes seda parandab. Kui see ei leia tõendeid, kes otsustab, kas jätkata. Nendele küsimustele tuleb vastata enne viipa, sest viip ei saa institutsionaalset autoriteeti anda.
Autoriteedi kujundus hõlmab rolle, lävesid, ülevaatusjärjekordi, ülekirjutamise õigusi, eskaleerimisteid ja auditikirjeid. See eristab ettepanekut otsusest. See eristab automatiseeritud otsust automatiseerimisega toetatud inimese otsusest. See ütleb, millal inimene peab nägema allikmaterjali, mitte ainult mudeli teksti. See ütleb, millal tööriistakutse on lubatud ja millal blokeeritud. See ütleb, kes vastutab kahju, viivituse, paranduse ja suhtluse eest. Mudel saab selle kujunduse raames aidata. See ei tohiks olla kujundus ise.
See on eriti oluline, kui AI lisatakse olemasolevatesse töövoogudesse. Olemasolev autoriteet võib olla mitteametlik. Vanemtöötaja kiidab erandeid heaks, sest kõik teavad, et temalt tuleb küsida. Meeskonnajuht tõlgendab poliitikat, sest ta on näinud äärejuhtumeid. Arvutustabelis on ajutine reegel, sest süsteem seda ei võimalda. Kui AI siseneb, muutub mitteametlik autoriteet hapraks. Mudel võib vana mitmetähenduslikkust skaleerida kiiremini, kui inimesed seda tabada jõuavad. Eelviibatöö on muuta autoriteet piisavalt selgesõnaliseks, et skaleerimine ei skaleeriks lihtsalt segadust.
Tasub öelda, et autoriteet ei ole kiiruse vaenlane. Selge autoriteet muudab töö sageli kiiremaks, sest inimesed teavad, mis võib ilma vaidluseta liikuda, mis peab peatuma ja kes otsustada saab. Hägune autoriteet tundub paindlik, kuni see kohtub mahuga. Siis muutub iga raske juhtum väikeseks põhiseaduskriisiks, kus vestluslõimed on kohtupraktika. See ei ole soovitatav õigussüsteem.
Hindamine ei ole meeleolukontroll
Paljusid prompti iteratsioone hinnatakse tunde järgi. See versioon kõlab paremini. See versioon on lühem. See on vähem käskiv. Need hinnangud võivad olla kasulikud, kuid neist ei piisa. AI toimingud vajavad hindamist, mis järgib ülesannet. Kas mudel kasutas õiget allikat. Kas see jättis nõutud väljad täitmata. Kas see keeldus, kui tõendid puudusid. Kas see eskaleeris kõrge riskiga juhtumeid. Kas see säilitas poliitika identifikaatorid. Kas inimesed selle üle käsitsi üle vaatasid. Kas kliendid esitasid vähem järelküsimusi. Kas allavoolu meeskonnad nägid vähem ümbertegemist.
Hindamine peaks hõlmama tavalisi juhtumeid, äärejuhtumeid, vastandlikke juhtumeid, aegunud allikaid, puuduvaid andmeid, vastuolulist poliitikat ja näiteid vastuvõetavast keeldumisest. See peaks olema korratav. See peaks eristama mudeli viga allikaveast, prompti veast, liidese veast ja protsessi veast. Muidu muutub iga probleem prompti probleemiks, sest prompt on osa, mida kõik näevad. Nähtav osa ei ole alati süüdlane. See kehtib tarkvara puhul ja koosolekutel.
Hindamine otsustab ka, millal lõpetada. Ilma testikomplekti ja väljalaskekriteeriumiteta võib prompti töö jätkuda lõputult, sest keelt saab alati parandada. Alati leidub veel üks omadussõna, veel üks juhis, veel üks näide, veel üks vormindusmuudatus. Küsimus ei ole selles, kas prompt on täiuslik. Küsimus on selles, kas süsteem täidab ülesannet kokkulepitud riski, kulu ja kvaliteedi piirides. Täiuslikkus on kehv väljalaskehaldur. Sellel ei ole piiparit.
Töö pärast prompti algab enne väljalaset
Parandusteede kavandamine peaks toimuma enne, kui esimene tootmiskasutaja probleemist teatab. Kuidas kasutaja vale vastuse märgib. Kuhu see märge läheb. Kes selle üle vaatab. Kas allikas muutub. Kas näidete pank muutub. Kas prompt muutub. Kas reegel muutub. Kas läviväärtus muutub. Kas inimene saab tagasisidet. Kas parandatud juhtumist saab regressioonitest. Kui parandust ei kavandata, muutub tagasiside hunnikuks. Hunnikutes läheb õppimine pikale uinakule.
Jälgimine tuleks samuti otsustada enne väljalaset. Jälgida tuleks mitte ainult latentsust ja kulu, vaid ka keeldumismäärasid, allika puudumise määrasid, ülevaatamise põhjuseid, eskaleerimise koormust, allavoolu ümbertegemist, kaebuste teemasid, aegunud tsiteeringuid ja ülesannete jaotuse muutumist. Mudeli vastuse kvaliteet on vaid üks osa operatiivsest kvaliteedist. Süsteem võib hästi vastata ja suunata siiski liiga palju tööd inimestele. See võib vastata kiiresti ja suurendada siiski paranduste arvu. See võib vähendada piletite arvu ja luua siiski keerulisemaid pileteid. Jälgimine peaks nägema tööd, mitte ainult tokeneid.
Eeltöö ei lõpe kunagi päriselt. Lisandub uusi poliitikaid. Alliksüsteemid muutuvad. Kasutajad leiavad otseteid. Mudel muutub. Äri muutub. Prompt, mis töötas mais, võib septembris olla vale, sest töö on selle all liikunud. See ei tähenda, et kõik oleks habras. See tähendab, et AI-operatsioonid vajavad omanikku. Keegi peab haldama ülesande määratlust, allikaid, näiteid, hindamist, volitusi ja parandamist. Muidu muutub prompt suurepärase grammatikaga fossiiliks.
Õppetund
Tegelik töö toimub enne prompti, sest promptimine on suurema operatsioonisüsteemi nähtav serv. Mudel vajab ülesannet, mida ta saab täita, allikaid, mida ta saab usaldada, piire, mida ta ei tohi ületada, väljundeid, mida saab kontrollida, näiteid, mis kodeerivad otsustusvõimet, volitusi, mis ütlevad inimestele ja tööriistadele, mida nad tohib teha, ning hindamist, mis suudab eristada paranemist kenamast proosast. Ilma selleta kannab prompt kohustusi, mida ta ei suuda täita.
See vaade ei vähenda promptimist. See muudab promptimise väärtuslikumaks. Prompt ettevalmistatud operatsiooni sees võib olla lühike, selge, testitav ja hooldatav. See saab mudelit fokuseerida, mitte kompenseerida ebaselgust. See saab areneda koos näidete ja tõenditega. Seda saab enesekindlalt muuta, sest meeskond teab, mida hea tähendab. See on parem kui promptimüstika, mis toodab enamasti pikemaid prompte ja vaiksemaid kahtlusi.
Enne kui küsida, kuidas mudelit promptida, küsi, millist tööd on organisatsioon mudeli heaks juba teinud. Kas ülesanne on nimetatud. Kas allikad on autoriteetsed. Kas näited on märgistatud. Kas väljund on struktureeritud. Kas volitus on selgesõnaline. Kas ebaõnnestumine on ohutu. Kas hindamine on tõeline. Kas parandamine on kavandatud. Kui need vastused on nõrgad, alusta sealt. Kõige kasulikum prompt ruumis võib olla see, mis paneb kõik tunnistama, et prompt ei ole see, kust töö algab.