Pravo delo je pred pozivom
Delavnica o pozivih, ki se je začela prepozno
Delavnica je bila naročena za izboljšanje pozivov. Tako je bilo zapisano v koledarju, z veselo majhno ikono čarobne paličice, ki jo je nekdo kasneje obžaloval. Skupina vodij, analitikov, operaterjev in inženirjev je sedela za mizo s skupnim dokumentom. Trenutni poziv je bil na zaslonu. Od jezikovnega modela je zahteval, naj pregleda zahteve strank, določi pravilno politiko, pripravi odgovor in označi tveganja. Bil je vljuden, strukturiran in precej daljši, kot si je kdo želel priznati. Prav tako ni bil glavni problem.
Prvi testni primer je bila stranka, ki je prosila za izjemo po zamujeni dostavi. Model je pripravil spodoben odgovor. Nato je nekdo iz operacij dejal, da vir politike na zaslonu ni več tisti, ki ga je ekipa uporabljala ob petkih, ker je bilo začasno pravilo prevoznika podaljšano dvakrat, a nikoli združeno z glavno stranjo politike. Nekdo iz pravnih zadev je dejal, da izjeme nad določenim zneskom zahtevajo odobritev, vendar je prag odvisen od kategorije izdelka. Finance so vprašale, kje so zabeleženi dobropisi za dobro voljo. Podpora je dejala, da je ton modela v redu, vendar bo stranka poklicala znova, ker odgovor ni omenjal manjkajočega dogodka sledenja. Poziv je tam sedel in deloval nedolžno.
Nobene od teh težav ne bi odpravil boljši odstavek z navodili. Model ni mogel sklepati, katera stran s politiko je avtoritativna. Ni mogel vedeti, da je začasno pravilo postalo operativna resničnost. Ni mogel odločiti, kdo ima pooblastilo za odobritev. Ni mogel videti, da je manjkajoči dogodek sledenja pravi vzrok naslednjega stika. Poziv naj bi nadomestil nejasno delo. To je pogosta napaka. Ljudje pridejo k pozivu s košaro procesne dvoumnosti in prosijo model, naj bo do nje eleganten.
Pravo delo je pred pozivom. To je delo poimenovanja naloge, določitve meja, izbire virov, ureditve avtoritete, priprave primerov, odločanja o poteh neuspeha, oblikovanja izhoda, merjenja kakovosti in omogočanja popravkov. Pozivi so pomembni. Slab poziv lahko dobro zasnovo naredi okorno. Toda lep poziv na nejasnem delovanju je le lepo zapisana zmeda. Model morda zveni bolje. Delo ne bo varnejše, cenejše ali bolj razumljivo po naključju.
Poziv ni zemljevid procesa
Navodilo lahko modelu pove, kako naj se obnaša v določenem kontekstu. Ne more pa ustvariti konteksta, če ga organizacija ni vzpostavila. Lahko zahteva jedrnatost, strukturo, ponižnost in navedbe virov. Lahko opiše vlogo. Lahko določi format. Lahko model opozori, naj ne ugiba. Vse to je uporabno. A v primerjavi s procesnimi vprašanji, ki odločajo o tem, ali sistem umetne inteligence pomaga ali pa samo samozavestno govori v bližini dela, je to malenkost.
Kaj je naloga. Ali gre za klasifikacijo, izločanje, povzemanje, osnutek, usmerjanje, priporočilo, preverjanje ali dejanje. Kateri del je avtomatiziran. Kateri del ostaja človeški. Kakšno stanje se spremeni, če je rezultat sprejet. Koga to zadeva. Kateri zapisi so prizadeti. Katera politika velja. Kateri dokazi so obvezni. Kaj se zgodi, ko dokazov ni. Katere napake so sprejemljive. Katere napake povzročijo škodo. Ta vprašanja določajo obliko sistema. Navodilo, ki ne sloni na jasnih odgovorih, postane vljudno ugibanje z napisom z imenom.
Številni neuspeli pilotni projekti umetne inteligence se začnejo z navodilom, ker je navodilo najbolj viden prijem. Deluje ustvarjalno in takojšnje. Lahko ga urejate na sestanku. Lahko preizkusite novo različico, preden se kava ohladi. Načrtovanje procesov je počasnejše. Čiščenje podatkov je počasnejše. Določanje pooblastil je počasnejše. Gradnja nabora za vrednotenje je počasnejša. A počasno žal ni enako neobvezno. Deli, ki so bili izpuščeni pred navodilom, se pozneje vrnejo kot halucinacije, predelava, nezaupanje, izjeme od politik in velika preglednica z imenom težave.
Boljši vrstni red ni glamurozen. Zapišite delo. Preglejte resnične primere. Določite izvorne sisteme. Označite, katera polja odločajo o izidih. Ločite pravila od presoje. Odločite se, kje vstopijo ljudje. Določite izhodne pogodbe. Zgradite primere. Dogovorite se o zavrnitvi. Preizkusite z ljudmi, ki bodo živeli z rezultatom. Šele nato navodilo postane uporaben vzvod. Pred tem je okrasni volan na mizi.
Naloga potrebuje mejo, ki je dovolj jasna za preizkušanje
Delo z umetno inteligenco se pogosto začne z glagoli, ki so preobsežni. Pomagajte pri storitvah za stranke. Podprite pravni pregled. Izboljšajte načrtovanje. Pomagajte pri nabavi. Naredite poročanje pametnejše. To so ambicije, ne naloge. Modela ni mogoče vrednotiti glede na ambicijo. Vrednotiti ga je mogoče glede na nalogo z vhodi, izhodi, omejitvami, merili uspeha in potmi napak. Ožji opis morda deluje manj razburljivo. A to je tudi prvi trenutek, ko delo postane izvedljivo.
Jasna meja naloge pove, kaj sistem sme videti in kaj sme spremeniti. Pove, ali model bere izvorno gradivo, ustvarja osnutek, izloča strukturirana polja, priporoča dejanje ali kliče orodje. Pove, kateri izhodi so dokončni, kateri so svetovalni in katere je treba pregledati. Pove, kaj sistem zavrne. Pove, kdaj naj model zahteva več dokazov, namesto da dokonča odgovor. Pove, kaj je zunaj obsega, ker je zunaj obsega tisto, kjer ambiciozni pilotni projekti postanejo poročila o incidentih.
Meje omogočajo vrednotenje. Če je naloga pripraviti osnutek odgovora s temi viri in to politiko, je kakovost mogoče preizkusiti. Če je naloga izboljšati kakovost storitev z umetno inteligenco, lahko vsak rezultat nekdo z dovolj prosojnic razloži kot napredek. Meja uporabnike tudi ščiti pred nenamerno stopnjevanjem. Orodje, ki se začne z osnutkom, lahko dobi gumb za pošiljanje. Klasifikator lahko postane usmerjevalnik. Usmerjevalnik lahko postane odločitev. Brez imenovane meje ta premik deluje kot sprejetje. Z mejo postane zahtevek za spremembo.
Meja mora biti zapisana v operativnem jeziku, ne le v tehničnem. Vodja podpore bi jo moral razumeti. Pravna služba bi jo morala razumeti. Lastnik podatkov bi jo moral razumeti. Inženir bi jo moral znati preizkusiti. Če je poziv edino mesto, kjer meja živi, je meja krhka. Pozivi so pomembni, vendar niso nosilni politični dokumenti. Bolj so podobni navodilom zelo nadarjenemu začasnemu delavcu, ki ni nikoli videl organizacijske sheme.
Viri niso kup dokumentov
Številne ekipe med pripravo pozivov odkrijejo, da ne vedo, kateri viri so verodostojni. Imajo strani s politikami, datoteke PDF, navodila po e-pošti, gradiva za usposabljanje, zapuščene priročnike, sporočila v klepetu, makre za vstopnice, preglednice in spomin operaterke, ki jo vsi kličejo, ker ve, kako stvari v resnici delujejo. Model nato dobijo navodilo, naj odgovarja iz baze znanja. Katero znanje. Katera baza. Ta besedna zveza lahko opravlja junaško količino prikrivanja.
Priprava virov ni glamurozna, zato pogosto zamuja. Vključuje odločanje o tem, kateri dokument zmaga, ko si viri nasprotujejo, kako se preverja svežina, kako začasna pravila potečejo, kako so izjeme predstavljene, kako je zaupno gradivo izključeno, kako so različice virov ohranjene in kako identifikatorji citatov preživijo modelov odgovor. To ni papirologija. To je razlika med pridobivanjem in brskanjem.
AI naredi disciplino virov pomembnejšo, ker lahko model šibke prakse z viri prikaže kot sprejemljive. Lahko sešije drobce v tekočo prozo. Lahko zgladi protislovja. Lahko ustvari verjeten odgovor iz zastarelega gradiva. Rezultat iskanja z vidnimi vrzelmi deluje nepopoln. Ustvarjen odgovor z enakimi vrzelmi lahko deluje popoln. Boljša ko je proza, pomembnejše je poreklo. Zaupanju ne bi smeli dovoliti, da opere šibko verigo virov.
Dobra priprava virov tudi zmanjša zapletenost poziva. Poziv, poln opozoril o nasprotujočih si politikah, zastarelih dokumentih, manjkajočih poljih in posebnih izjemah, je pogosto simptom zanemarjanja v zgornjih plasteh. Če plast pridobivanja že filtrira po verodostojnosti in svežini, je poziv lahko krajši. Če vir nosi strukturirane metapodatke, modelu ni treba sklepati o njih iz naslovov odstavkov. Če so izjeme predstavljene kot pravila, modelu ni treba postati detektiv z omejitvami žetonov. Najboljša izboljšava poziva je včasih boljši indeks.
Primeri so majhni deli upravljanja
Primeri se običajno obravnavajo kot pripomočki za usposabljanje, vendar so tudi oblika upravljanja. Dober primer pove, kaj kakovost pomeni v določeni situaciji. Pokaže, kako organizacija obravnava negotovost, manjkajoče dokaze, nasprotujoče si politike, občutljiv ton, eskalacijo in zavrnitev. Modelu in ekipi sporoča, kako izgleda dober odgovor, pa tudi, kako izgleda dobra ne-odgovor. To je pomembno, ker mnogi resni sistemi odpovejo prav zato, ker odgovorijo, ko bi morali počakati.
Oblikovanje primerov sili k odločitvam, ki se jim abstraktne razprave izognejo. Vzemite dvajset resničnih primerov. Označite pravilen izid. Označite sprejemljive alternative. Označite nesprejemljive bližnjice. Pojasnite, zakaj. Vključite robne primere, zaradi katerih so izkušeni zaposleni oklevali. Vključite tudi običajne primere, ker se sistemi, ki se učijo samo na dramatičnih primerih, naučijo slabih manir. Strokovnjake za področje prosite, naj se ne strinjajo, in zabeležite nestrinjanje. To je počasneje kot prositi model, naj bo previden. Prav tako ustvari skupni jezik za previdnost.
Primeri morajo vključevati negativne primere. Vir ni bil najden. Vir je v nasprotju. Uporabnik nima pooblastil. Zahteva je zunaj namena. Stranka zahteva nekaj, kar se sliši preprosto, a sproži politiko. Model se mora naučiti, kdaj zavrniti, eskalirati, vprašati ali vrniti strukturirano negotovost. Če primeri prikazujejo samo uspešne odgovore, bo poziv težil k dokončanju. Dokončanje ni vedno uspeh. Včasih je najboljši odgovor premalo dokazov, kar je težko proslaviti v predstavitvi, a uporabno v delujočem sistemu.
Primeri so tudi začetek vrednotenja. Lahko postanejo testne naprave, regresijski primeri, gradivo za usposabljanje pregledovalcev in vzorci za spremljanje. Ko pride do incidenta, lahko popravljen primer postane nov primer. To daje sistemu spomin. Brez primerov postanejo spremembe pozivov spremembe razpoloženja. Nekdo reče, da je odgovor boljši. Nekdo drug reče, da je slabši. Model se nasmehne sredi vsega, neobremenjen z dokazi.
Oblika izhoda je operativna odločitev
Razprave o pozivih pogosto namenijo preveč časa tonu in premalo obliki izhoda. Ton je pomemben, zlasti pri komunikaciji s strankami ali javnostjo. Toda oblika izhoda odloča, ali je odgovor mogoče preveriti, usmeriti, shraniti, odobriti, izpodbijati ali uporabiti v drugem sistemu. Odstavek je lahko prijeten. Strukturiran izhod je lahko operativen. Resno delo z umetno inteligenco pogosto potrebuje oboje: berljivo prozo za ljudi in polja, ki jih lahko stroji preverijo.
Oblika izpisa vključuje obvezna polja, sklice na vire, zaupanje ali negotovost, razloge za zavrnitev, zastavice za eskalacijo, prizadete zapise, predlagana dejanja in stanje odobritve s strani človeka. Pove, ali lahko model pusti polje prazno. Pove, ali mora navesti identifikator pravilnika. Pove, ali lahko izumlja kategorije ali mora izbirati s kontroliranega seznama. Pove, kaj se zgodi, ko je vnos dvoumen. Te odločitve niso le kozmetika poziva. So načrtovanje delovnega toka.
Strukturiran izpis prav tako drži model v njegovih okvirjih. Če sistem zahteva ločeno polje za dokaze, postanejo nepodprte trditve vidne. Če zahteva vrsto dejanja s seznama dovoljenih možnosti, postane ustvarjalna uporaba orodij težja. Če zahteva, da je negotovost izrecna, lahko pregledovalci razvrščajo po prioriteti. Če zahteva razlog za zavrnitev, je mogoče analizirati blokirane primere. Poziv lahko te stvari zahteva, vendar bi jih moral okoliški sistem preverjati. Lepo prositi ni nadzor. To je predlog z oblikovanjem.
Obstaja tudi človeška plat. Ljudje potrebujejo izpis, ki ustreza njihovemu delovnemu ritmu. Pravnik morda potrebuje klavzule iz virov in opombe o tveganjih. Agent podpore morda potrebuje osnutek, pripravljen za stranko, ter notranje kode razlogov. Načrtovalec morda potrebuje priporočilo o poti in omejitev, ki ga je vodila. Vodja morda potrebuje zbirne razloge, ne posameznih besedil. Če oblika izpisa ignorira uporabnika, je poziv lahko tehnično pravilen in operativno moteč. To je pogost dosežek, a ne uporaben.
Avtoritete ni mogoče ustvariti z ustrežljivostjo
Ustrežljiv model vzbuja zaupanje. To je dobro, dokler ustrežljivost ne zamenjamo z avtoriteto. Če model pripravi osnutek odgovora, kdo ga sme poslati. Če priporoči vračilo denarja, kdo ga sme odobriti. Če razvrsti tveganje, kdo sme ukrepati na podlagi te razvrstitve. Če izlušči polje, kdo ga popravi. Če ne najde dokazov, kdo odloči, ali nadaljevati. Na ta vprašanja je treba odgovoriti pred pozivom, ker poziv ne more podeliti institucionalne avtoritete.
Načrtovanje avtoritete vključuje vloge, pragove, čakalne vrste za pregled, pravice do preglasitve, poti eskalacije in revizijske zapise. Razlikuje predlog od odločitve. Razlikuje avtomatizirano odločitev od človeške odločitve, podprte z avtomatizacijo. Pove, kdaj mora človek videti izvorno gradivo in ne le modelovo besedilo. Pove, kdaj je klic orodja dovoljen in kdaj blokiran. Pove, kdo je odgovoren za škodo, zamudo, popravek in komunikacijo. Model lahko pomaga v okviru tega načrta. Ne sme biti sam načrt.
To je še posebej pomembno, ko se UI doda obstoječim delovnim tokovom. Obstoječa avtoriteta je lahko neformalna. Višji sodelavec odobrava izjeme, ker vsi vedo, da ga je treba vprašati. Vodja ekipe razlaga pravilnik, ker je videl robne primere. Preglednica nosi začasno pravilo, ker sistem tega ne zmore. Ko vstopi UI, postane neformalna avtoriteta krhka. Model lahko širi staro dvoumnost hitreje, kot jo ljudje lahko ujamejo. Delo pred pozivom je, da avtoriteto dovolj jasno opredelimo, da širjenje ne pomeni zgolj širjenja zmede.
Vredno je povedati, da avtoriteta ni sovražnik hitrosti. Jasna avtoriteta pogosto pospeši delo, ker ljudje vedo, kaj se lahko premakne brez razprave, kaj se mora ustaviti in kdo lahko odloča. Nejasna avtoriteta se zdi prilagodljiva, dokler ne naleti na obseg. Potem vsak težaven primer postane majhna ustavna kriza, s klepetalnimi nitmi kot sodno prakso. To ni priporočljiv pravni sistem.
Vrednotenje ni preverjanje občutka
Številne iteracije pozivov se presojajo po občutku. Ta različica zveni bolje. Tista je bolj jedrnata. Ta je manj ukazovalna. Te presoje so lahko koristne, a niso dovolj. Delovanje umetne inteligence potrebuje vrednotenje, ki sledi nalogi. Ali je model uporabil pravi vir. Ali je izpustil zahtevana polja. Ali je zavrnil odgovor, ko dokazi niso bili na voljo. Ali je posredoval visoko tvegane primere. Ali je ohranil identifikatorje politik. Ali so ljudje njegove odločitve preglasili. Ali so stranke postavljale manj dodatnih vprašanj. Ali so nadaljnje ekipe opazile manj predelav.
Vrednotenje mora vključevati običajne primere, robne primere, nasprotniške primere, zastarele vire, manjkajoče podatke, nasprotujoče si politike in primere sprejemljive zavrnitve. Biti mora ponovljivo. Razlikovati mora med napako modela, napako vira, napako poziva, napako vmesnika in napako procesa. V nasprotnem primeru vsaka težava postane težava s pozivom, ker je poziv del, ki ga vsi vidijo. Vidni del ni vedno krivi del. To velja v programski opremi in na sestankih.
Vrednotenje odloča tudi o tem, kdaj prenehati. Brez testnega nabora in meril za izdajo se lahko delo na pozivu nadaljuje v nedogled, ker jezik je mogoče vedno izboljšati. Vedno bo obstajal še en pridevnik, še eno navodilo, še en primer, še ena prilagoditev oblikovanja. Vprašanje ni, ali je poziv popoln. Vprašanje je, ali sistem opravlja nalogo v dogovorjenih mejah tveganja, stroškov in kakovosti. Popolnost je slab upravitelj izdaj. Ne nosi pozivnika.
Delo po pozivu se začne pred izdajo
Poti popravkov je treba načrtovati, preden prvi uporabnik v produkciji prijavi težavo. Kako uporabnik označi napačen odgovor. Kam gre ta oznaka. Kdo jo pregleda. Ali se vir spremeni. Ali se banka primerov spremeni. Ali se poziv spremeni. Ali se pravilo spremeni. Ali se prag spremeni. Ali človek prejme povratne informacije. Ali popravljen primer postane regresijski test. Če popravki niso načrtovani, povratne informacije postanejo kup. Na kupih se učenje odpravi na dolg dremež.
Spremljanje je treba prav tako določiti pred izdajo. Ne spremljajte le zakasnitve in stroškov, temveč tudi stopnje zavrnitev, stopnje manjkajočih virov, razloge za preglasitev, obseg posredovanj, predelave v nadaljnjih ekipah, teme pritožb, zastarele navedbe in odmik v mešanici nalog. Kakovost modelovih odgovorov je le en del operativne kakovosti. Sistem lahko dobro odgovarja in kljub temu preveč dela preusmerja na ljudi. Lahko odgovarja hitro in kljub temu povečuje število popravkov. Lahko zmanjša število vstopnic in kljub temu ustvarja zahtevnejše vstopnice. Spremljanje mora videti delo, ne le žetonov.
Delo pred pripravo poziva se nikoli zares ne konča. Pojavljajo se nove politike. Izvorni sistemi se spreminjajo. Uporabniki najdejo bližnjice. Model se spreminja. Posel se spreminja. Poziv, ki je deloval maja, je lahko septembra napačen, ker se je delo pod njim premaknilo. To ne pomeni, da je vse krhko. Pomeni, da operacije umetne inteligence potrebujejo lastništvo. Nekdo mora vzdrževati opredelitev naloge, vire, primere, vrednotenje, pooblastila in popravila. V nasprotnem primeru poziv postane fosil z odlično slovnico.
Naučeno spoznanje
Pravo delo je pred pozivom, ker je poziv vidni rob večjega operacijskega sistema. Model potrebuje nalogo, ki jo lahko opravi, vire, ki jim lahko zaupa, meje, ki jih ne sme prekoračiti, rezultate, ki jih je mogoče preveriti, primere, ki vključujejo presojo, pooblastila, ki ljudem in orodjem povedo, kaj smejo storiti, ter vrednotenje, ki lahko razlikuje izboljšanje od lepše proze. Brez tega poziv nosi odgovornosti, ki jih ne more izpolniti.
Ta pogled ne zmanjšuje pomena pozivov. Zaradi njega so pozivi dragocenejši. Poziv znotraj pripravljene operacije je lahko kratek, jasen, preverljiv in vzdržljiv. Lahko usmerja model, namesto da bi nadomeščal dvoumnost. Lahko se razvija s primeri in dokazi. Lahko se spremeni z zaupanjem, ker ekipa ve, kaj pomeni dobro. To je bolje od mistike pozivov, ki večinoma ustvarja daljše pozive in tišje dvome.
Preden se vprašate, kako usmeriti model, se vprašajte, kakšno delo je organizacija že opravila za model. Ali je naloga poimenovana. Ali so viri verodostojni. Ali so primeri označeni. Ali je rezultat strukturiran. Ali so pooblastila izrecna. Ali je napaka varna. Ali je vrednotenje resnično. Ali je popravilo načrtovano. Če so ti odgovori šibki, začnite tam. Najbolj uporaben poziv v prostoru je lahko tisti, zaradi katerega vsi priznajo, da se delo ne začne pri pozivu.