Pravi posao tek predstoji
Radionica o uputama koja je počela prekasno
Radionica je bila zakazana za poboljšanje uputa. Tako je pisalo u kalendaru, s veselom malom ikonom čarobnog štapića koju je netko kasnije požalio. Skupina menadžera, analitičara, operativaca i inženjera sjedila je za stolom s zajedničkim dokumentom. Trenutna uputa bila je na ekranu. Tražila je od jezičnog modela da pregleda zahtjeve kupaca, identificira odgovarajuću politiku, sastavi odgovor i označi rizik. Bila je pristojna, strukturirana i mnogo duža nego što je itko želio priznati. Također nije bila glavni problem.
Prvi testni slučaj bio je kupac koji je tražio iznimku nakon odgođene isporuke. Model je proizveo pristojan odgovor. Zatim je netko iz operativa rekao da izvorna politika na ekranu više nije ona koju je tim koristio petkom, jer je privremeno pravilo prijevoznika dva puta produljeno, ali nikada nije spojeno s glavnom stranicom politike. Netko iz pravnog odjela rekao je da iznimke iznad određenog iznosa zahtijevaju odobrenje, ali prag je ovisio o kategoriji proizvoda. Financije su pitale gdje se bilježe naknade za dobru volju. Podrška je rekla da je ton modela u redu, ali da će se kupac ponovno javiti jer odgovor nije spominjao događaj praćenja koji nedostaje. Uputa je sjedila tamo izgledajući nevino.
Nijedan od tih problema ne bi bio riješen boljim odlomkom s uputama. Model nije mogao zaključiti koja je stranica politike mjerodavna. Nije mogao znati da je privremeno pravilo postalo operativna stvarnost. Nije mogao odlučiti tko ima ovlast odobravanja. Nije mogao vidjeti da je događaj praćenja koji nedostaje pravi uzrok sljedećeg kontakta. Od upute se tražilo da nadoknadi nejasan rad. To je česta pogreška. Ljudi dolaze na uputu s košarom procesne dvosmislenosti i traže od modela da bude elegantan u vezi s njom.
Pravi posao je prije upute. To je posao imenovanja zadatka, definiranja granica, odabira izvora, utvrđivanja ovlasti, pripreme primjera, odlučivanja o putovima neuspjeha, oblikovanja rezultata, mjerenja kvalitete i omogućavanja ispravaka. Upute su važne. Loša uputa može dobru postavku učiniti nespretnom. Ali lijepa uputa na vrhu nejasne operacije samo je dobro napisana zbrka. Model može zvučati bolje. Posao neće biti sigurniji, jeftiniji ili razumljiviji slučajno.
Uputa nije mapa procesa
Prompt može reći modelu kako da se ponaša u nekom kontekstu. Ne može stvoriti kontekst ako ga organizacija nije stvorila. Može tražiti sažetost, strukturu, poniznost i navođenje izvora. Može opisati ulogu. Može odrediti format. Može upozoriti model da ne nagađa. To je korisno. Ali to je malo u usporedbi s procesnim pitanjima koja određuju hoće li sustav umjetne inteligencije pomoći ili će samo samouvjereno pričati pokraj posla.
Što je zadatak. Je li to klasifikacija, izdvajanje, sažimanje, izrada nacrta, usmjeravanje, preporuka, provjera ili djelovanje. Koji je dio automatiziran. Koji dio ostaje ljudski. Koje se stanje mijenja ako se izlaz prihvati. Na koga se utječe. Koji se zapisi diraju. Koja se politika primjenjuje. Koji su dokazi obvezni. Što se događa kada dokazi nedostaju. Koje su pogreške prihvatljive. Koje pogreške stvaraju štetu. Ta pitanja određuju oblik sustava. Prompt koji ne počiva na jasnim odgovorima postaje pristojno nagađanje s pločicom s imenom.
Mnogi neuspjeli piloti umjetne inteligencije počinju s promptom jer je prompt najvidljivija ručica. Djeluje kreativno i neposredno. Možete ga uređivati na sastanku. Možete isprobati novu verziju prije nego se kava ohladi. Dizajn procesa je sporiji. Čišćenje podataka je sporije. Mapiranje ovlasti je sporije. Izgradnja skupa za evaluaciju je sporija. Nažalost, sporo nije isto što i neobvezno. Dijelovi preskočeni prije prompta vraćaju se kasnije kao halucinacija, ponovni rad, nepovjerenje, iznimke od politike i velika tablica pod nazivom problemi.
Bolji slijed nije glamurozan. Zapišite posao. Prođite kroz stvarne slučajeve. Identificirajte izvorne sustave. Označite koja polja odlučuju o ishodima. Odvojite pravila od prosudbe. Odlučite gdje ulaze ljudi. Definirajte ugovore o izlazu. Izgradite primjere. Dogovorite odbijanje. Testirajte s ljudima koji će živjeti s rezultatom. Tek tada prompt postaje korisna poluga. Prije toga, on je ukrasni upravljač na stolu.
Zadatak treba granicu dovoljno oštru za testiranje
Rad s umjetnom inteligencijom često počinje s glagolima koji su preveliki. Pomoći u korisničkoj službi. Podržati pravni pregled. Poboljšati planiranje. Pomoći u nabavi. Učiniti izvještavanje pametnijim. To su ambicije, ne zadaci. Model se ne može vrednovati prema ambiciji. Može se vrednovati prema zadatku s ulazima, izlazima, ograničenjima, kriterijima uspjeha i putovima neuspjeha. Uži opis može djelovati manje uzbudljivo. To je također prvi trenutak kada posao postaje izgradljiv.
Oštra granica zadatka govori što sustav smije vidjeti i što smije mijenjati. Govori čita li model izvorni materijal, stvara li nacrt, izdvaja li strukturirana polja, preporučuje li djelovanje ili poziva alat. Govori koji su izlazi konačni, koji su savjetodavni, a koji se moraju pregledati. Govori što sustav odbija. Govori kada bi model trebao tražiti više dokaza umjesto da dovrši odgovor. Govori što je izvan opsega, jer izvan opsega je mjesto gdje ambiciozni piloti postaju izvješća o incidentima.
Granice omogućuju evaluaciju. Ako je zadatak izraditi nacrt odgovora koristeći ove izvore i ovu politiku, kvaliteta se može testirati. Ako je zadatak poboljšati kvalitetu usluge uz umjetnu inteligenciju, svaki se rezultat može objasniti kao napredak od strane nekoga s dovoljno slajdova. Granica također štiti korisnike od slučajne eskalacije. Alat koji počinje s izradom nacrta može dobiti gumb koji šalje. Klasifikator može postati usmjerivač. Usmjerivač može postati odluka. Bez imenovane granice, taj pomak djeluje kao usvajanje. S granicom, on postaje zahtjev za promjenom.
Granica bi trebala biti napisana operativnim jezikom, ne samo tehničkim. Voditelj podrške trebao bi je razumjeti. Pravna služba trebala bi je razumjeti. Vlasnik podataka trebao bi je razumjeti. Inženjer bi je trebao moći testirati. Ako je upit jedino mjesto gdje granica postoji, granica je krhka. Upiti su važni, ali nisu nosivi politički dokumenti. Oni su više poput uputa vrlo talentiranom privremenom radniku koji nikada nije vidio organizacijsku shemu.
Izvori nisu hrpa dokumenata
Mnogi timovi tijekom izrade upita otkriju da ne znaju koji su izvori mjerodavni. Imaju stranice s politikama, PDF-ove, upute u e-pošti, materijale za obuku, zastarjele priručnike, poruke u chatu, makroe za tickete, proračunske tablice i sjećanje operaterke koju svi zovu jer ona zna kako stvari zapravo funkcioniraju. Model se zatim traži da odgovara iz baze znanja. Koje znanje. Koja baza. Taj izraz može prikrivati golemu količinu nejasnoća.
Priprema izvora nije glamurozna, zbog čega često kasni. Uključuje odlučivanje koji dokument ima prednost kada se izvori sukobljavaju, kako se provjerava svježina, kako privremena pravila istječu, kako su iznimke predstavljene, kako se povjerljivi materijal isključuje, kako se verzije izvora čuvaju i kako identifikatori citata prežive modelov odgovor. To nije papirologija. To je razlika između pretraživanja i prebiranja.
AI čini disciplinu oko izvora važnijom jer model može učiniti da slabe prakse s izvorima izgledaju prihvatljivo. Može spojiti ulomke u tečnu prozu. Može premostiti proturječnosti. Može proizvesti uvjerljiv odgovor iz zastarjelog materijala. Rezultat pretraživanja s vidljivim prazninama djeluje nepotpuno. Generirani odgovor s istim prazninama može djelovati potpuno. Što je proza bolja, to je podrijetlo važnije. Povjerenje ne bi smjelo prati slab lanac izvora.
Dobra priprema izvora također smanjuje složenost upita. Upit pun upozorenja o sukobljenim politikama, zastarjelim dokumentima, nedostajućim poljima i posebnim iznimkama često je simptom zanemarivanja ranijih faza. Ako sloj pretraživanja već filtrira prema mjerodavnosti i svježini, upit može biti kraći. Ako izvor nosi strukturirane metapodatke, model ih ne mora zaključivati iz naslova odlomaka. Ako su iznimke predstavljene kao pravila, model ne mora postati detektiv s ograničenjima tokena. Najbolje poboljšanje upita ponekad je bolji indeks.
Primjeri su mali dijelovi upravljanja
Primjeri se obično tretiraju kao pomoć pri obuci, ali oni su također upravljanje. Dobar primjer govori što kvaliteta znači u određenoj situaciji. Pokazuje kako organizacija postupa s neizvjesnošću, nedostatkom dokaza, sukobljenim politikama, osjetljivim tonom, eskalacijom i odbijanjem. Modelu i timu govori kako izgleda dobar odgovor, ali i kako izgleda dobro neodgovaranje. To je važno jer mnogi ozbiljni sustavi ne uspiju upravo zato što odgovaraju kada bi trebali zastati.
Izrada primjera prisiljava na odluke koje apstraktna rasprava izbjegava. Uzmite dvadeset stvarnih slučajeva. Označite točan ishod. Označite prihvatljive alternative. Označite neprihvatljive prečace. Objasnite zašto. Uključite rubne slučajeve zbog kojih su iskusni djelatnici oklijevali. Uključite i obične slučajeve jer sustavi koji se obučavaju samo na dramatičnim situacijama nauče loše ponašanje. Zamolite stručnjake iz domene da se ne slažu i zabilježite neslaganje. To je sporije nego tražiti od modela da bude oprezan. No time se stvara i zajednički jezik za opreznost.
Primjeri bi trebali uključivati negativne slučajeve. Izvor nije pronađen. Sukob izvora. Korisnik nema ovlasti. Zahtjev izvan svrhe. Korisnik traži nešto što zvuči jednostavno, ali pokreće politiku. Model bi trebao naučiti kada odbiti, eskalirati, pitati ili vratiti strukturiranu neizvjesnost. Ako primjeri prikazuju samo uspješne odgovore, uputa će težiti dovršetku. Dovršetak nije uvijek uspjeh. Ponekad je najbolji odgovor nedovoljno dokaza, što je teško slaviti u demonstraciji, ali korisno u radnom sustavu.
Primjeri su također početak evaluacije. Mogu postati testni elementi, regresijski slučajevi, obuka recenzenata i uzorci za praćenje. Kada se dogodi incident, ispravljeni slučaj može postati novi primjer. To sustavu daje pamćenje. Bez primjera, promjene uputa postaju promjene raspoloženja. Netko kaže da odgovor djeluje bolje. Netko drugi kaže da djeluje lošije. Model se smješka u sredini, neopterećen dokazima.
Oblik izlaza operativna je odluka
Rasprave o uputama često troše previše vremena na ton, a premalo na oblik izlaza. Ton je važan, osobito u komunikaciji s kupcima ili javnošću. No oblik izlaza određuje može li se odgovor provjeriti, usmjeriti, pohraniti, odobriti, osporiti ili upotrijebiti u drugom sustavu. Odlomak može biti ugodan. Strukturirani izlaz može biti operativan. Ozbiljan rad s umjetnom inteligencijom često treba oboje: čitljivu prozu za ljude i polja koja strojevi mogu provjeriti.
Oblik izlaza uključuje obavezna polja, izvorne reference, pouzdanost ili nesigurnost, razloge odbijanja, zastavice eskalacije, zahvaćene zapise, predložene radnje i stanje ljudskog odobrenja. Određuje smije li model ostaviti polje praznim. Određuje mora li navesti identifikator politike. Određuje smije li izmišljati kategorije ili mora birati s kontroliranog popisa. Određuje što se događa kada je unos dvosmislen. Te odluke nisu kozmetika upita. One su dizajn tijeka rada.
Strukturirani izlaz također drži model u njegovim granicama. Ako sustav zahtijeva zasebno polje za dokaze, neutemeljene tvrdnje postaju vidljive. Ako zahtijeva vrstu radnje s dopuštenog popisa, kreativna upotreba alata postaje teža. Ako zahtijeva da nesigurnost bude izričita, recenzenti mogu trijažirati. Ako zahtijeva razlog odbijanja, blokirani slučajevi mogu se analizirati. Upit može zatražiti te stvari, ali okolni sustav treba ih potvrditi. Ljubazno traženje nije kontrola. To je prijedlog s oblikovanjem.
Postoji i ljudska strana. Ljudi trebaju izlaz koji odgovara njihovu radnom ritmu. Pravniku mogu trebati izvorne klauzule i bilješke o riziku. Agentu podrške može trebati nacrt spreman za kupca plus interni kodovi razloga. Planeru može trebati preporuka rute i ograničenje koje ju je uvjetovalo. Upravitelju mogu trebati zbirni razlozi, a ne pojedinačna proza. Ako oblik izlaza ignorira korisnika, upit može biti tehnički točan, a operativno iritantan. To je čest uspjeh, ali ne i koristan.
Autoritet se ne može podrazumijevati iz uslužnosti
Uslužan model potiče povjerenje. To je dobro sve dok se uslužnost ne zamijeni s autoritetom. Ako model sastavi odgovor, tko ga smije poslati. Ako preporuči povrat novca, tko ga smije odobriti. Ako klasificira rizik, tko smije djelovati na temelju klasifikacije. Ako izdvoji polje, tko ga ispravlja. Ako ne može pronaći dokaze, tko odlučuje hoće li se nastaviti. Na ta pitanja mora se odgovoriti prije upita, jer upit ne može dodijeliti institucionalni autoritet.
Dizajn autoriteta uključuje uloge, pragove, redove čekanja za pregled, prava nadjačavanja, putove eskalacije i zapise revizije. Razlikuje prijedlog od odluke. Razlikuje automatiziranu odluku od ljudske odluke potpomognute automatizacijom. Određuje kada čovjek mora vidjeti izvorni materijal, a ne samo modelovu prozu. Određuje kada je poziv alata dopušten, a kada blokiran. Određuje tko je odgovoran za štetu, kašnjenje, ispravak i komunikaciju. Model može pomoći unutar tog dizajna. Ne bi smio biti sam dizajn.
To je posebno važno kada se umjetna inteligencija dodaje postojećim tijekovima rada. Postojeći autoritet može biti neformalan. Viša osoba odobrava iznimke jer svi znaju da je treba pitati. Voditeljica tima tumači politiku jer je vidjela rubne slučajeve. Proračunska tablica nosi privremeno pravilo jer sustav to ne može. Kada umjetna inteligencija uđe, neformalni autoritet postaje krhak. Model može skalirati staru dvosmislenost brže nego što je ljudi mogu uhvatiti. Posao prije upita jest učiniti autoritet dovoljno izričitim da skaliranje ne skalira jednostavno zbrku.
Vrijedi reći da autoritet nije neprijatelj brzine. Jasan autoritet često ubrzava rad jer ljudi znaju što se može pomaknuti bez rasprave, što mora zastati i tko može odlučiti. Neodređen autoritet djeluje fleksibilno sve dok ne naiđe na opseg. Tada svaki težak slučaj postaje mala ustavna kriza, s chat nitima kao sudskom praksom. To nije preporučeni pravni sustav.
Evaluacija nije provjera dojma
Mnoge iteracije upita procjenjuju se prema dojmu. Ova verzija zvuči bolje. Ta je verzija sažetija. Ova je manje zapovjedna. Te procjene mogu biti korisne, ali nisu dovoljne. AI operacije trebaju evaluaciju koja prati zadatak. Je li model koristio pravi izvor. Jesu li nedostajala obavezna polja. Je li odbio odgovoriti kada dokazi nisu postojali. Je li eskalirao rizične slučajeve. Je li sačuvao identifikatore politika. Jesu li ljudi nadjačali model. Jesu li korisnici postavljali manje dodatnih pitanja. Jesu li nizvodni timovi vidjeli manje dorada.
Evaluacija bi trebala uključivati uobičajene slučajeve, rubne slučajeve, suparničke slučajeve, zastarjele izvore, nedostajuće podatke, sukobljene politike i primjere prihvatljivog odbijanja. Trebala bi biti ponovljiva. Trebala bi razlikovati kvar modela od kvara izvora, kvara upita, kvara sučelja i kvara procesa. Inače svaki problem postaje problem upita jer je upit dio koji svi mogu vidjeti. Vidljivi dio nije uvijek krivi dio. To vrijedi u softveru i na sastancima.
Evaluacija također odlučuje kada prestati. Bez skupa za testiranje i kriterija za objavu, rad na upitima može trajati zauvijek jer se jezik uvijek može poboljšati. Uvijek će postojati još jedan pridjev, još jedna uputa, još jedan primjer, još jedno oblikovno dotjerivanje. Pitanje nije je li upit savršen. Pitanje je obavlja li sustav zadatak unutar dogovorenih granica rizika, troškova i kvalitete. Savršenstvo je loš upravitelj objava. Ono ne nosi pozivnik.
Posao nakon upita počinje prije objave
Putovi ispravljanja trebali bi biti osmišljeni prije nego prvi korisnik u produkciji prijavi problem. Kako korisnik označava pogrešan odgovor. Kamo taj znak odlazi. Tko ga pregledava. Mijenja li se izvor. Mijenja li se banka primjera. Mijenja li se upit. Mijenja li se pravilo. Mijenja li se prag. Prima li čovjek povratnu informaciju. Postaje li ispravljeni slučaj regresijski test. Ako ispravljanje nije osmišljeno, povratne informacije postaju hrpa. Hrpe su mjesto gdje učenje odlazi na dugi drijemež.
Praćenje također treba odlučiti prije objave. Pratite ne samo latenciju i trošak, već i stope odbijanja, stope nedostajućih izvora, razloge nadjačavanja, opterećenje eskalacijom, nizvodne dorade, teme pritužbi, zastarjele citate i odstupanja u mješavini zadataka. Kvaliteta odgovora modela samo je jedan dio operativne kvalitete. Sustav može dobro odgovarati, a ipak preusmjeravati previše posla na ljude. Može odgovarati brzo, a ipak povećavati ispravke. Može smanjiti broj zahtjeva, a ipak stvarati teže zahtjeve. Praćenje bi trebalo vidjeti posao, ne samo tokene.
Rad na pripremi uputa zapravo nikad ne završava. Pojavljuju se nove politike. Izvorni sustavi se mijenjaju. Korisnici pronalaze prečace. Model se mijenja. Posao se mijenja. Uputa koja je radila u svibnju može biti pogrešna u rujnu jer se posao pomaknuo ispod nje. To ne znači da je sve krhko. To znači da upravljanje umjetnom inteligencijom treba vlasništvo. Netko mora održavati definiciju zadatka, izvore, primjere, evaluaciju, ovlasti i popravke. Inače uputa postaje fosil s izvrsnom gramatikom.
Pouka
Pravi posao događa se prije upute jer je uputa samo vidljivi rub većeg operativnog sustava. Model treba zadatak koji može izvršiti, izvore kojima može vjerovati, granice koje ne smije prijeći, rezultate koji se mogu provjeriti, primjere koji sadrže prosudbu, ovlasti koje ljudima i alatima govore što smiju raditi te evaluaciju koja može razlikovati napredak od ljepše napisane proze. Bez toga uputa nosi odgovornosti koje ne može ispuniti.
Ovakvo gledište ne umanjuje važnost uputa. Ono ih čini vrijednijima. Uputa unutar pripremljene operacije može biti kratka, jasna, provjerljiva i održiva. Može usmjeriti model umjesto da nadoknađuje dvosmislenost. Može se razvijati s primjerima i dokazima. Može se mijenjati s povjerenjem jer tim zna što znači dobro. To je bolje od mistike uputa, koja uglavnom proizvodi duže upute i tiše sumnje.
Prije nego što se zapitate kako uputiti model, zapitajte se koji je posao organizacija već obavila za model. Je li zadatak imenovan. Jesu li izvori mjerodavni. Jesu li primjeri označeni. Je li rezultat strukturiran. Jesu li ovlasti jasne. Je li neuspjeh siguran. Je li evaluacija stvarna. Je li popravak osmišljen. Ako su ti odgovori slabi, počnite tamo. Najkorisnija uputa u prostoriji može biti ona koja natjera sve da priznaju da uputa nije mjesto gdje posao počinje.