Skriti stroški verjetnostnih delovnih tokov
Račun, ki ga v pilotu ni nihče videl
Pilot je bil videti poceni. To je bila prva težava. Ekipa je povezala korak z umetno inteligenco z znanim potekom dela: dohodni dokumenti so bili razvrščeni, ustvarjen je bil kratek povzetek, izbrana je bila priporočena pot, človeški pregledovalec pa jo je odobril ali spremenil. Predstavitev je bila urejena. Model je bil videti usposobljen. Račun za žetone je bil nižji od proračuna za kosilo, zaradi česar so se vsi počutili finančno zrele. Nekdo je izgovoril besedo razširljiv, in prostor je za trenutek postal nevaren.
Tri mesece pozneje se je pogovor o stroških spremenil. Račun za žetone še vedno ni bil dramatičen. Skriti stroški so bili drugje. Pregledovalci so porabili dodatne minute za preverjanje mejnih rezultatov. Pojavila so se ponovna izvajanja, ker je ista vhodna vrednost včasih prinesla dovolj drugačen odgovor. Vrste izjem so rasle. Podatkovne ekipe so preiskovale, zakaj je ena vrsta dokumentov zmedla klasifikator. Operacije so dodale vzorčenje. Pravna služba je zahtevala dokaze o spornih primerih. Vodje so spraševali, zakaj je cikel postal manj predvidljiv. Inženirji so dodajali pozive, nato zaščite, nato rezervne možnosti, nato spremljanje, nato preglednico, ki je nihče ni maral, a so jo vsi odpirali. Potek dela ni eksplodiral. Dobil je odstopanja.
To je skriti strošek verjetnostnih potekov dela. Klic modela je vidna enota porabe, vendar operativni strošek nosi negotovost okoli tega klica. Verjetnostna komponenta je lahko uporabna, zmogljiva in ekonomsko smiselna. Prav tako lahko prenese stroške na pregled, usklajevanje, dokaze, podporo, načrtovanje čakalnih vrst, analizo incidentov, merjenje kakovosti in človeško pozornost. Če ti stroški niso vključeni v načrt poteka dela, se pojavijo vseeno, običajno z manj potrpežljivosti.
Tradicionalni sistemi potekov dela niso popolni. Na svoj dolgočasen način odpovedo, zaidejo in presenetijo ljudi. Vendar imajo pogosto uporabno lastnost: ista vhodna vrednost, stanje in pravilo običajno prinesejo enak rezultat. Verjetnostni sistemi to predpostavko oslabijo. Včasih je to bistvo. Obvladajo dvoumnost, jezik, slike, neurejene dokumente in nejasne namere. Dobro. Cena je, da morajo operacije prenehati pretvarjati se, da je negotovost podrobnost predstavitve. Je prvovrsten vnos v model stroškov.
Odstopanje ni podrobnost izvedbe
Probabilistične komponente vnašajo odstopanja na več točkah. Model lahko ustvari nekoliko drugačno besedilo. Klasifikator lahko mejni primer uvrsti na eno ali drugo stran praga. Iskalnik lahko po posodobitvi indeksa vrne drugačen nabor virov. Povzemalnik lahko izpusti podrobnost, ki je bila pomembna poznejšemu pregledovalcu. Agent, ki uporablja orodja, lahko izbere drugačno zaporedje klicev. Nobeno od tega ni samodejno napačno. Gre preprosto za drugačen material kot deterministična koda. Obravnavati ga kot običajno kodo samo zato, ker ima API, je kategorična napaka z računi.
Odstopanja imajo operativne posledice. Povečujejo potrebo po vzorčenju in pregledovanju. Otežujejo reprodukcijo incidentov. Otežujejo merjenje zmogljivosti, ker lahko povprečna kakovost prikrije nestabilnost na robovih. Ustvarjajo nesoglasja med uporabniki, ki so videli različne izpise. Lahko naredijo nadaljnje sisteme krhke, kadar ti pričakujejo stabilno strukturo. Lahko spremenijo preprost dogovor o ravni storitve v pogovor o porazdelitvah verjetnosti, kar je odličen način, da odkrijete, kdo v prostoru resnično uživa v matematiki.
Prvi strošek je trenje pri odločanju. Ko se izpisi razlikujejo, ljudje porabijo čas za ugotavljanje, ali odstopanje kaj pomeni. Osnutek e-pošte, ki pove isto stvar z drugimi besedami, je lahko sprejemljiv. Medicinski povzetek, ki izpusti zdravilo, ni. Podporni klasifikator, ki eno zahtevo preusmeri drugače, je lahko v redu. Pojasnilo o upravičenosti do ugodnosti, ki spremeni svoje utemeljevanje, ni. Delovni proces potrebuje model tolerance: katero odstopanje je neškodljivo, katero zahteva pregled in katero je prepovedano.
Drugi strošek je ponovljivost. Če stranka, državljan, revizor ali inženir vpraša, zakaj je prišlo do odločitve, mora organizacija reproducirati ustrezen kontekst: različico modela, poziv, nabor za iskanje, vhod, politiko, parametre, izpise orodij in človeško dejanje. Brez tega zapisa postane preiskava gledališka predstava. Nekdo znova zažene poziv, dobi drugačen odgovor in vsi v prostoru se na težji način naučijo, da ponovni poskus ni dokaz.
Ponovni poskusi niso brezplačni samo zato, ker so avtomatizirani
Ponovni poskusi so iz notranjosti kode videti poceni. Če model da šibek odgovor, ga pokličite znova. Če je klasifikator negotov, zaprosite za drug vzorec. Če je odziv JSON neveljaven, ga popravite. Če klic orodja ne uspe, poskusite drugo pot. Stroj opravi delo, zato je nagon ta, da ponovne poskuse obravnavamo kot inženirsko lepilo. V probabilističnem delovnem procesu so ponovni poskusi politika. Odločajo o tem, koliko odstopanja sme sistem prikriti, preden ga vidi človek.
Obstajajo dobri razlogi za ponovne poskuse. Začasen izpad ne bi smel ustaviti procesa. Nepravilno oblikovan odziv je pogosto mogoče popraviti. Zahteva po drugem prehodu lahko izboljša kakovost. Toda ponovni poskusi ustvarjajo tudi stroške in dvoumnost. Kateri izpis velja za zapis. Ali obdržimo vse poskuse. Ali poznejši poskusi prepišejo prejšnje. Ali pregledovalcu pokažemo nestabilnost. Ali ponovni poskusi pristransko usmerjajo sistem k odgovorom, ki zvenijo bolj samozavestno. Ali ponovne poskuse izvajamo samo pri poceni primerih in tako po nesreči upočasnimo pomembne primere. Ali ponovne poskuse štejemo v proračune stroškov in zakasnitev. Skromni ponovni poskus ima veliko mnenj, ko ga enkrat povabite v produkcijo.
Ponovni poskusi spreminjajo tudi spodbude. Če ekipe vedo, da bo sistem poskušal znova in znova, dokler izpis ne ustreza pričakovani obliki, lahko premalo vlagajo v kakovost vhoda, načrtovanje sheme, omejitve pozivov ali deterministično predprocesiranje. Ponovni poskus postane krpa. Krpe so uporabne. Strategija gradnje, ki temelji na brisanju, je manj impresivna.
Boljši vzorec je razvrščanje razlogov za ponovni poskus. Začasna infrastrukturna napaka je ena kategorija. Popravilo oblikovanja je druga. Nizka zanesljivost je tretja. Konflikt pravilnikov je četrta. Konflikt vira je peta. Vsaka kategorija potrebuje omejitve, zapise in pravila za eskalacijo. Ponovni poskus, ki uporabniku prikriva negotovost, je treba obravnavati drugače kot ponovni poskus, ki zgolj odpravi začasno težavo z omrežjem. Strošek ni le v računski moči. Gre za strošek odločitve, katero negotovost je organizacija pripravljena prikriti.
Čakalna vrsta za izjeme je pravi arhitekturni diagram
Vsak verjetnostni potek dela sčasoma razkrije svojo pravo zasnovo skozi čakalno vrsto za izjeme. Ne skozi srečno pot. Srečna pot je tam, kjer diagrami izgledajo uporabno. Čakalna vrsta za izjeme pokaže, katere primere sistem ne razume, kateri vnosi so umazani, kateri pravilniki so v konfliktu, kateri uporabniki potrebujejo podporo, kateri pragovi so napačni in katere obljube so bile dane prezgodaj.
Če je čakalna vrsta za izjeme dobro zasnovana, postane učna površina. Primeri so razvrščeni, vzorčeni, pregledani s strani ustreznih vlog, povezani s popravki izvornih podatkov, vezani na spremembe pravilnikov in vrnjeni v vrednotenje. Če je zasnovana slabo, postane močvirje. Težki primeri ostanejo v zaostanku. Pregledovalci si izmislijo lokalne navade. Vodje vidijo le obseg. Inženirji vidijo le skupne napake. Uporabniki vidijo zamude. Model ostaja skrivnosten, ker je organizacija svoje najboljše dokaze skrila v operativno brozgo.
Strošek izjem ni le število primerov. Gre za njihovo obliko. Desetodstotna stopnja izjem je lahko obvladljiva, če so primeri hitri, nizko tvegani in enostavni za usmerjanje. Dvoodstotna stopnja izjem je lahko draga, če vsak primer zahteva pravno razlago, strokovni pregled, stik s stranko in rekonstrukcijo dokazov. Povprečna stopnja avtomatizacije je zato sumljiva metrika. Pove vam, koliko je šlo skozi stroj, ne pa, koliko stroškov je stroj nadomestil.
Zasnova izjem mora biti izrecna. Določite pasove zanesljivosti. Določite vzdržanje. Določite, kateri konflikti začasno ustavijo potek dela. Določite, katere vloge lahko rešujejo katere razrede. Določite največjo starost v čakalni vrsti. Določite vzorčni pregled sprejetih primerov, ne le zavrnjenih. Določite, kaj se popravi, ko se izjema ponovi. V nasprotnem primeru organizacija ni avtomatizirala dela. Avtomatizirala je ustvarjanje drugega, manj vidnega delovnega mesta.
Verjetnostni izhod sili nadaljnje sisteme v pogajanja
Programska oprema ima raje pogodbe. Polje je datum. Status ima dovoljene vrednosti. Znesek ima natančnost. Pravilo ima vejo. Verjetnostni izhodi pogosto pridejo kot jezik, razvrstitev, zaupanje ali delno strukturirane ugotovitve. Nadaljnji sistemi se nato pogajajo. Razčlenjujejo. Preverjajo. Popravljajo. Vprašajo znova. Preslikajo nejasne oznake v natančna stanja. Ustvarijo rezervne možnosti. Vsako pogajanje je majhen strošek. Dovolj majhnih stroškov postane arhitektura.
Strukturiran izhod pomaga, vendar ne odstrani negotovosti. Model lahko ustvari veljaven JSON in še vedno izbere napačno kategorijo. Lahko izpolni vsako polje in še vedno izpusti pogoj. Lahko navede vir in ga še vedno napačno prebere. Shema ujame napake v obliki. Ne dokazuje pomena. To je pogosta past, ker so napake v obliki vidne strojem, napake v pomenu pa ljudem. Uganite, katera se popravi prva.
Nadaljnje pogajanje spremeni tudi lastništvo. Če je primer napačno usmerjen, ker je bil izhod modela nejasen in je integracijska plast ugibala, kdo je lastnik napake. Ekipa modela. Platformna ekipa. Lastnik procesa. Pregledovalec. Podatkovna ekipa. Vsak lahko poda spoštovanja vreden argument, kar je znak, da operativni model manjka. Verjetnostni poteki dela potrebujejo lastništvo na meji, kjer negotovost postane stanje sistema.
Ena praktična metoda je ločevanje zaupanja, popolnosti in posledic. Zaupanje pove, kako verjeten je izhod. Popolnost pove, ali so zahtevani dokazi prisotni. Posledica pove, koliko škode lahko povzroči napačno dejanje. Izhod z visokim zaupanjem in manjkajočimi dokazi morda še vedno potrebuje pregled. Izhod z nizkim zaupanjem in nizko posledico je mogoče hitro usmeriti. Izhod s srednjim zaupanjem in visoko posledico morda potrebuje eskalacijo. Potek dela ne sme obravnavati vse negotovosti kot iste barve rumene.
Vrednotenje je ponavljajoč se operativni strošek
Številne ekipe obravnavajo vrednotenje kot fazo projekta. Pred zagonom sestavijo testni niz, zaženejo pozive, primerjajo izhode, morda ocenijo kakovost in razglasijo pripravljenost. Nato prispe resničnost z novimi dokumenti, novimi uporabniki, novimi robnimi primeri, novim jezikom, novo politiko in novimi različicami modelov. Testni niz začne starati. Kot sir, le manj okusen in bolj verjetno povzroči sestanek.
Verjetnostni poteki dela potrebujejo ponavljajoče se vrednotenje. To pomeni skrbno izbrane primere, nasprotniške primere, sveže vzorce iz produkcije, regresijske sklope, strokovni pregled, preverjanje pravičnosti, kjer je ustrezno, spremljanje stroškov in zakasnitve ter teste, ki se zaženejo, ko se spremenijo pozivi, modeli, indeksi iskanja, politike ali izvorni podatki. Vrednotenje ni enkratna vrata. Je operativni proračun za vedenje, ali si potek dela še vedno zasluži promet.
Ta strošek preseneti ljudi, ker ga pilotni projekt skrije. Med pilotnim projektom so strokovnjaki blizu sistema. Opazijo težave neformalno. Vhodna mešanica je omejena. Vložki so obvladljivi. V produkciji sistem postane dovolj dolgočasen, da strokovnjaki prenehajo spremljati vsak izhod, kar je natanko takrat, ko mora formalno vrednotenje prevzeti vlogo. Verjetnostni sistem brez ponavljajočega se vrednotenja je stroj, ki počasi troši zaupanje, medtem ko poroča o delovanju.
Vrednotenje mora biti tudi povezano z odločitvami. Če kakovost pade, kdo lahko ustavi. Če se zakasnitev poveča, kdo odloči, ali zmanjšati velikost modela, zmanjšati število ponovitev ali dodati zmogljivosti pregleda. Če nov model izboljša povprečno oceno, vendar poslabša kritično podskupino, kdo zavrne nadgradnjo. Če se stroški povečajo, ker se poveča število izjem, kdo je lastnik popravka. Nadzorna plošča, ki kaže upadanje brez pooblastila za ukrepanje, je le draga vremenska napoved.
Človeški pregled ima svoj račun iz teorije čakalnih vrst
Človeški pregled se pogosto doda kot pomirjujoča fraza. Človek bo ostal v zanki. Lepo. Kateri človek, s kakšno čakalno vrsto, s kakšnim kontekstom, s kakšno avtoriteto, s kakšnim ciljnim časom, s kakšno potjo eskalacije, s kakšnim modelom utrujenosti in s kakšno varnostno mrežo, ko sistem v petek ob 16:45 pošlje preveč mejnih primerov. Zanka ima logistiko. Logistika ima stroške. Stroški imajo prikupno navado, da se pojavijo po diapozitivu o arhitekturi.
Zmogljivost pregleda ni linearna. Majhno povečanje negotovih primerov lahko povzroči veliko povečanje čakalnega časa, ko je ekipa za pregled blizu svoje zmogljivosti. Teorija čakalnih vrst je kruta, a poštena. Če prihodi postanejo bolj spremenljivi in čas storitve bolj spremenljiv, lahko zamude hitro narastejo. Verjetnostni poteki dela pogosto povečajo oboje: bolj neenakomerno zahtevnost primerov in bolj spremenljiv čas pregleda. Organizacija morda verjame, da je avtomatizirala osemdeset odstotkov dela, medtem ko preostalih dvajset odstotkov tiho nadzoruje dogovor o ravni storitve.
Kakovost pregleda je odvisna tudi od konteksta. Če pregledovalci vidijo samo končni odgovor, morajo rekonstruirati, zakaj se je pojavil. Če vidijo vire, zaupanje, politike, prejšnje poskuse in znane negotovosti, lahko delujejo hitreje in bolje. Če jih merimo samo po pretočnosti, se bodo naučili stroju preveč zaupati ali pa se mu premalo upirati. Človeški pregled ni čarobno topilo, ki ga zlijemo čez negotovost. Je usposobljeno delo, ki potrebuje načrtovanje.
Skriti strošek je pozornost. Ljudje ne morejo v nedogled pregledovati neskončne dvoumnosti. Utrujenost spreminja merila. Pojavijo se lokalne navade. Nekateri pregledovalci postanejo strogi, drugi pragmatični, tretji resignirani. Potek dela začne dajati različne rezultate glede na to, kdo je dobil primer. Nato verjetnostni sistem okrivijo za nedoslednost, ki jo je organizacija okrepila z zasnovo pregleda. Stroj je zagotovil varianco. Ljudje so zagotovili dinamiko čakalnih vrst. Lep duet, če je cilj revizijska bolečina.
Obračun stroškov mora vključevati negotovost
Uporaben model stroškov za verjetnostne poteke dela vključuje več kot samo klice modela. Vključuje pripravo vhodnih podatkov, pridobivanje, ponovne poskuse, validacijo, čas pregleda, obravnavo izjem, vrednotenje, shranjevanje dokazov, analizo incidentov, spremljanje, podporo uporabnikom, vzdrževanje pozivov in politik, popravljanje podatkov ter popravila v nadaljevanju. Vključuje tudi opcijskost: strošek zamenjave modela, ponudnika, poziva, indeksa ali poteka dela, ko trenutna postavitev ni več ustrezna.
To ne pomeni, da so verjetnostni delovni tokovi slabi. Pomeni, da so resnični. Mnogi so vredni svoje cene. Sistem, ki zmanjša ponavljajoče branje in hkrati izpostavi tvegane primere, je lahko odličen. Klasifikator, ki bolje kot pravila obvlada neurejen jezik, lahko prihrani čas. Povzemalnik, ki strokovnjakom ponudi dober prvi osnutek, lahko izboljša storitev. Bistvo ni v tem, da se verjetnosti izogibamo. Bistvo je, da prenehamo skrivati njen operativni proračun v koledarjih drugih ljudi.
Ena uporabna metoda obračunavanja je cena po razredu primerov. Primeri, ki gredo naravnost skozi, imajo stroške modela, validacije in vzorčenja. Primeri s pomočjo dodajo čas pregledovalca. Izjemni primeri dodajo stroške triaže, strokovnega pregleda in dokazov. Sporni primeri dodajo stroške reprodukcije, komunikacije in morebitne odprave napak. Primeri izboljšav dodajo stroške vzdrževanja podatkov ali pozivov. To spremeni stopnjo avtomatizacije v bogatejšo sliko: ne le, koliko primerov se je dotaknila umetna inteligenca, ampak kako je negotovost spremenila delo in tveganje.
Druga metoda je spremljanje proračuna variance. Kolikšna variacija rezultatov je sprejemljiva za to nalogo. Kako pogosto se lahko ponovni zagoni razlikujejo. Koliko izjem na dan lahko čakalna vrsta absorbira. Koliko časa za pregled na primer je predvidenega. Koliko dokazov je treba shraniti. Kako hitro je treba reproducirati sporne rezultate. Te številke negotovosti ne odstranijo. Naredijo jo obvladljivo.
Determinizem ima še vedno svojo vlogo
Vzpon verjetnostnih sistemov ne naredi determinističnega inženirstva staromodnega. Naredi deterministične meje bolj dragocene. Uporabite deterministično razčlenjevanje, kjer je struktura na voljo. Uporabite izrecna pravila, kjer je politika jasna. Uporabite stabilno pridobivanje, kjer morajo biti viri ponovljivi. Uporabite sheme, validatorje, končna stanja, različice pozivov, fiksne nize za vrednotenje in zabeležene parametre. Verjetnost uporabite za del naloge, ki resnično potrebuje presojo pri dvoumnosti, ne za del, ki je potreboval le nekoga, da napiše dolgočasno kodo.
To ni čistost. To je nadzor stroškov. Vsaka deterministična meja odstrani eno mesto, kjer lahko variacija uide. Delovni tok, ki uporablja model za branje neurejenega besedila, nato deterministično validacijo za preverjanje obveznih polj, nato pravila za uporabo znane politike in nato človeški pregled za negotovost z visokimi posledicami, bo običajno lažje upravljati kot delovni tok, ki od modela zahteva, da naredi vse, nato pa se čudi, ko vse vključuje več mnenj.
Determinizem izboljša tudi dokaze. Če je pravilo sproženo, zabeležite pravilo. Če je razčlenjevalnik izluščil polje, zabeležite lokacijo vira. Če je pridobivanje razvrstilo dokumente, zabeležite različico indeksa in rezultate. Če je model ustvaril povzetek, zabeležite poziv, nabor virov, različico modela in odločitev pregledovalca. Cilj ni spremeniti vsakega delovnega toka v sodno dvorano. Cilj je omogočiti odgovore na poznejša vprašanja brez sklica celotne inženirske ekipe na sestanek, imenovan hitra sinhronizacija.
Meja med determinističnim in verjetnostnim delom mora biti izrecna v diagramih in proračunih. Kateri korak se lahko spreminja. Kateri korak se ne sme. Kateri korak je mogoče ponoviti. Kateri korak je treba natančno ponoviti. Kateri korak je mogoče pojasniti statistično. Kateri korak potrebuje zapis. Če ekipa te meje ne more narisati, ne more pošteno oceniti stroškov.
Sporočilo
Skriti stroški verjetnostnih delovnih tokov niso razlog, da se jim izognemo. So razlog, da jih pošteno upoštevamo. Strošek se pojavi pri ponovnih poskusih, pregledih, izjemah, dokazih, vrednotenju, čakalnih vrstah, podpori in počasnejšem delu odločanja o tem, kakšno odstopanje je sprejemljivo. Če delovni tok prihrani čas na srečni poti, a ga vrne pri spornih primerih in operativni megli, je bil poslovni načrt napisan le do polovice.
Dobre verjetnostne operacije začnejo z obravnavo negotovosti kot materiala. Poimenujte, kje vstopi. Omejite, kje lahko niha. Zabeležite dovolj konteksta za ponovitev odločitev. Oblikujte čakalne vrste za izjeme kot učne površine. Dajte pregledovalcem pooblastila in čas. Vrednotite sproti. Ohranite deterministične meje, kjer znižujejo stroške. Določite ceno izstopa in sprememb. Večina tega ni glamurozna. To je znak, da bi lahko preživelo produkcijo.
Klic modela je lahka postavka. Pravo vprašanje je, kaj mora organizacija storiti pred in po tem klicu, da je izhod mogoče zaupati, izpodbijati, popraviti in izboljšati. Verjetnost lahko naredi delovne tokove zmogljivejše. Lahko jih naredi tudi manj predvidljive. Razlika ni čarovnija. Je operacija, ki ostaja prostor, kjer impresivne predstavitve postanejo bodisi uporabne bodisi drage.