Optimizacija deluje le, če je vprašanje iskreno.
Popolna čakalna vrsta, ki je ni maral nihče
Nadzorna plošča je izgledala odlično. Povprečni čas obravnave se je skrajšal. Čakalna vrsta se je skrajšala. Model je preproste primere usmerjal k avtomatizaciji, srednje zahtevne k manj izkušenim sodelavcem, težke pa k specialistom le, ko je zaupanje padlo pod urejeno mejo. Poročilo je uporabljalo zelene puščice s samozavestjo vrtnega centra spomladi. Na papirju je bilo poslovanje optimizirano.
Potem so prišle pritožbe. Sprva ne dramatične. Ljudje so klicali dvakrat, ker je prvi odgovor zaprl napačno zadevo. Specialisti so primere prejeli pozneje in bolj zamotane. Manj izkušeni sodelavci so se naučili slediti predlagani poti, ker jih je nestrinjanje upočasnjevalo. Nekaj strank z nenavadnimi okoliščinami se je znašlo potisnjenih skozi najučinkovitejšo pot, ki je bila učinkovita predvsem zato, ker jih ni opazila. Čakalna vrsta je bila boljša. Storitev je bila slabša. To je pogost čudež.
Sistem se v tehničnem smislu ni obnašal narobe. Optimiziral je vprašanje, ki ga je dobil: zmanjšati čas obravnave ob ohranjanju zaprtja nad pragom, izmerjenim z istim delovnim tokom. Vprašanje je zvenelo razumno. Bilo je tudi nepošteno, ne zato, ker bi kdo lagal, ampak zato, ker se je metrika pretvarjala, da predstavlja kakovost storitve, medtem ko je tiho izključevala ponovno obravnavo, zamude pri eskalaciji, stres strank, učenje sodelavcev in stroške napak. Optimizator ni izdal organizacije. Razkril je njeno vprašanje.
Optimizacija ni moralni akter. Je zvest stroj. Iskal bo, razvrščal, uravnaval, obrezoval in izboljševal glede na cilj, omejitve, podatke in povratno zanko, ki jih prejme. Če te stvari dobro opisujejo resnični problem, je optimizacija lahko sijajna. Če opisujejo priročen približek, oblečen v oblačila resničnega problema, postane optimizacija drag način, da z boljšimi grafi postanemo bolj napačni.
Metrika je ročaj, ne predmet
Vsaka optimizacija potrebuje ročaj. Ne morete optimizirati vsega neposredno. Izberete merljive količine: zakasnitev, natančnost, prepustnost, izkoriščenost, priklic, gorivo, čakalni čas, osip, stroške, čas okrevanja, emisije, stopnjo napak. Ti ročaji so nujni. Nevarni pa so tudi zato, ker ljudje hitro pozabijo, da ročaj ni predmet. Povprečni čas obravnave ni storitev. Razmerje klikov ni zaupanje. Zaupanje modela ni institucionalno zaupanje. Zasedenost postelj ni oskrba. Število je lahko uporabno in še vedno premajhno za stvar, ki jo predstavlja.
Metrike postanejo nepoštene, ko organizacija preneha poimenovati, kaj izpuščajo. Metrika čakalne vrste izpušča ponovno delo. Metrika stroškov izpušča krhkost. Metrika kakovosti izpušča robne primere. Metrika pravičnosti izpušča podskupino, ki je za povzetek premajhna. Metrika energije izpušča nadure ljudi. Metrika zadovoljstva izpušča ljudi, ki so odnehali. Nobena metrika ni popolna. Poštena pove, kje se konča.
To ni argument proti merjenju. Je argument za odraslo merjenje. Nemerjen sistem zdrsne v folkloro. Slabo merjen sistem z dokazi trešči v zid. Disciplina je v tem, da vsako metriko povežemo z odločitvijo, ki jo sme usmerjati. Metrika zakasnitve lahko uglasi vmesnik. Ne bi smela odločati o tem, ali visoko tvegan primer preskoči pregled. Metrika konverzije lahko izboljša stran. Ne bi smela opravičevati zavajajočih privzetih nastavitev. Napovedana ocena tveganja lahko usmerja pozornost. Ne bi smela postati samodejna kazen.
Ko z metrikami ravnamo kot z ročaji, ekipe ostanejo radovedne. Ko z metrikami ravnamo kot z resničnostjo, ekipe postanejo poslušne. Optimizator bo vedno poslušen. Ljudje se mu ne bi smeli pridružiti prehitro.
Cilj je mesto, kjer se politika skriva v aritmetiki
Ciljna funkcija je videti tehnična. Minimiziraj to. Maksimiziraj ono. Uteži te člene. Kaznuj te napake. V praksi je to mesto, kjer organizacija izbere, kaj šteje. Koliko zakasnitve je sprejemljive za zmanjšanje napak. Koliko stroškov je sprejemljivih za ohranitev pregleda. Koliko priklica je vrednih dodatnih lažno pozitivnih rezultatov. Koliko energije je vredne nižje zakasnitve. Koliko neugodja lahko nosi ena skupina, da se povprečje izboljša. To niso samo inženirska vprašanja. Postanejo inženirska, ko so zapisana v kodo.
Nič ni narobe z zapisovanjem vrednot v kodo. Sistemi to že počnejo. Težava je pretvarjanje, da je zapisovanje nevtralno, ker uporablja številke. Shema uteži lahko skrije prioritete učinkoviteje kot govor. Prag lahko premakne avtoriteto brez sestanka. Kazen lahko odloči, čigav problem šteje manj. Ko je optimizacija resna, mora biti ciljna funkcija pregledna. Ni treba, da vsak deležnik bere kodo, vendar morajo biti izbrani kompromisi izraženi v preprostem jeziku.
Eden praktičnih testov je vprašanje, kakšno vedenje bi cilj nagrajeval, če bi ga zasledovali preveč dobro. Optimizator poti se lahko nauči ustvarjati tesen urnik, ki se sesuje ob majhnih zamudah. Model goljufij se lahko nauči imeti raje primere, ki jih je lahko dokazati. Priporočilnik za prodajo se lahko nauči pritiskati na ljudi, ki so že ranljivi. Presejalnik za zaposlovanje se lahko nauči reproducirati stare definicije ustreznosti. Če je pretirana različica cilja grda, običajna različica verjetno potrebuje močnejše omejitve.
Tu omejitve ščitijo cilj pred njim samim. Ne presegaj delovnega časa. Ne uporabljaj zaščitenih atributov ali proxyjev. Ne skrivaj negotovosti. Ne zaključi primera brez dokazov. Ne optimiziraj stroškov pod prag odpornosti. Ne usmerjaj odločitev z velikimi posledicami brez smiselnega pregleda. Omejitve niso birokracija. So način, kako organizacija optimizatorju pove, katere bližnjice dejansko niso izboljšave.
Proxyji so uporabni lažnivci
Proxy je merljiv nadomestek za nekaj, kar je težje izmeriti. Povsod so, ker so pravi izidi pogosto zakasnjeni, dvoumni ali dragi za opazovanje. Bolnišnica lahko uporabi ponovni sprejem kot en signal kakovosti. Podporna ekipa lahko uporabi rešitev ob prvem stiku. Modelna ekipa lahko uporabi točnost na merilih uspešnosti. Javna služba lahko uporabi čas obdelave. To niso neumne mere. So delne mere. Težave se začnejo, ko delno postane popolno.
Posredniki lažejo na predvidljive načine. Nagrajujejo tisto, kar je zabeleženo. Prezrejo tisto, kar se zgodi po koncu merilnega obdobja. Oblikujejo človeško vedenje. Postanejo cilji. Odražajo stare predpostavke o procesih. Dajejo prednost pogostim primerom. Namerjene škode naredijo nevidne. Laž ni vedno zlonamerna. Je naravna izguba pri stiskanju, ki nastane, ko se neurejena resničnost spremeni v stolpec v podatkovni bazi. Zelo uporabno, zelo nevarno, kakor oster nož in večina dnevnih redov sestankov.
Sistemi umetne inteligence povečujejo težave s posredniki, ker lahko optimizirajo bolj temeljito kot človek. Človeška ekipa lahko metrični kazalnik izigra nerodno. Model lahko odkrije majhne pravilnosti, vrzeli v delovnih postopkih ali družbene vzorce, ki izboljšajo posrednika, hkrati pa škodujejo namenu. To se lahko zgodi brez namere, da bi kdo povzročil škodo. Optimizacija najde gradiente. Če gradient kaže stran od pravega cilja, bo sistem sledil z impresivnimi manirami.
Odgovor ni prepoved posrednikov. Odgovor je spremljanje veljavnosti posrednikov. Ali posrednik še vedno korelira z izidom. Ali se obnaša različno med skupinami. Ali njegova optimizacija ustvarja predelavo. Ali spreminja vedenje uporabnikov. Ali spregleda zakasnjeno škodo. Ali ostaja smiseln po spremembi delovnih postopkov. Posredniki potrebujejo datume izteka, pregled in spremljevalne ukrepe. V nasprotnem primeru postanejo mali monarhi z oznakami podatkov.
Omejitve niso naknadna misel
Pri šibkih optimizacijskih projektih se omejitve pojavijo po prvem neprijetnem rezultatu. Sistem najde cenejši načrt, nato nekdo opazi, da uničuje odpornost. Najde hitrejšo pot, nato nekdo opazi, da preobremeni eno ekipo. Najde kandidata z višjo oceno, nato nekdo opazi, da je signal pravno ali etično sporen. Najde odgovor, nato nekdo vpraša, ali bi bilo treba odgovor sploh dovoliti. Tako omejitve postanejo pohištvo za opravičevanje.
Pri resni optimizaciji omejitve pridejo skupaj z vprašanjem. Nekatere opredeljujejo fizične možnosti. Nekatere opredeljujejo zakon. Nekatere opredeljujejo varnost. Nekatere opredeljujejo dostojanstvo storitve. Nekatere opredeljujejo institucionalne obljube. Nekatere opredeljujejo, kakšni dokazi so potrebni pred ukrepanjem. Nekatere opredeljujejo, kje se mora avtomatizacija ustaviti. Nabor omejitev ni nadloga ob cilju. Je meja, ki cilj naredi smiseln.
Težji del je odločitev, katere omejitve so resnično trde. Ekipe pogosto označijo želje kot pravila in pravila kot želje, odvisno od tega, kdo je v prostoru. Trda omejitev, ki je dejansko pogajalska, lahko naredi problem po nepotrebnem nerešljiv. Mehka omejitev, ki bi morala biti trda, lahko optimizatorju omogoči, da kupi dobičke z nesprejemljivo škodo. To najprej ni problem reševalnika. Je problem organizacijske jasnosti z matematičnimi posledicami.
Omejitve potrebujejo tudi lastnike. Če se spremeni pravna omejitev, kdo jo posodobi. Če je omejitev zmogljivosti napačna, kdo to opazi. Če omejitev pravičnosti povzroči nepričakovan kompromis, kdo se odloči. Če omejitev varnosti blokira preveč primerov, kdo preuči, ali je težava resnična ali pa je omejitev slabo zapisana. Omejitev brez lastnika postane fosil. Fosil v optimizatorju je še vedno izvedljiv, kar ni pomirjujoče.
Poštena vprašanja vključujejo negotovost
Optimizacija je pogosto predstavljena, kot da so vsi vnosi dejstva. Povpraševanje je napovedano. Čas potovanja je ocenjen. Zahtevnost primera je predvidena. Zanesljivost modela je umerjena. Stroški so predpostavljeni. Razpoložljivost osebja je vnesena. Nato optimizator pripravi načrt s sumljivo urejenostjo. V resnici je veliko vnosov negotovih, vrednost načrta pa je odvisna od tega, kako se negotovost obravnava.
Pošteno optimizacijsko vprašanje sprašuje, kaj se zgodi, če je napoved napačna. Kaj, če povpraševanje naraste za deset odstotkov. Kaj, če dobavitelj zamuja. Kaj, če je zanesljivost modela slabo umerjena za eno skupino. Kaj, če se razpoložljivost osebja zmanjša. Kaj, če vir podatkov zaostaja. Kaj, če se spremeni politika. Robustna optimizacija, analiza scenarijev, preverjanje občutljivosti, varnostne rezerve in rezervni načrti niso okrasni dodatki. To je način, kako sistem prizna, da jutri ni podpisalo načrta.
Negotovost bi morala vplivati na ukrepanje. Načrt je lahko sprejemljiv, če je slabša stran majhna in popravljiva. Lahko zahteva pregled, če je slabša stran huda. Lahko potrebuje večjo varnostno rezervo, če ena skupina nosi večino tveganja. Lahko potrebuje človeško presojo, če so podatki skopi. Lahko zahteva zavrnitev, če je negotovost zunaj preizkušenega obsega sistema. En sam optimalen načrt v enem samem urejenem scenariju je včasih pravljica za vodstvo.
AI to še povečuje, ker prediktivne komponente pogosto napajajo optimizacijo. Napoved povpraševanja napaja kadrovanje. Ocena tveganja napaja usmerjanje. Zanesljivost pridobivanja napaja povzemanje. Če se negotovost izgubi med komponentami, optimizator prejme čistejši svet, kot ga organizacija dejansko ima. Načrt je lahko optimalen za domišljijo. Incident se bo zgodil v produkciji.
Optimizacija spreminja ljudi
Ljudje se prilagodijo optimiziranim sistemom. Osebje se nauči, kaj ima model usmerjanja raje. Vodje se naučijo, katera metrika postane zelena. Uporabniki se naučijo, kateri odgovori so deležni hitrejše obravnave. Dobavitelji se naučijo, kje so kazni šibke. Ekipe se naučijo, katere omejitve se izvajajo in katere so zgolj ceremonialne. Vsaka optimizacija, ki vstopi v delovni proces, postane del spodbud znotraj tega delovnega procesa.
Zato merjenje zgolj uspešnosti sistema ni dovolj. Opazujte človeško vedenje. Ali pregledovalci manj pogosto zavračajo rezultate, ker je model boljši, ali zato, ker je zavrnitev kaznovana. Ali ekipe hitreje zaključujejo primere, ker se je potek dela izboljšal, ali zato, ker se težki primeri prelagajo. Ali so stranke zadovoljnejše, ali so nezadovoljne stranke prenehale poskušati. Ali strokovnjaki prejemajo manj primerov, ker se je triaža izboljšala, ali zato, ker so težki primeri napačno razvrščeni. Optimizacija lahko hkrati izboljša metriko in slabo usposablja organizacijo.
Dobro načrtovanje pričakuje prilagajanje. Omogoča, da so nesoglasja vidna. Ščiti koristno zavrnitev. Spremlja ponovno obravnavo in škodo v nadaljevanju. Preverja, ali ekipe pod pritiskom sledijo predvidenim kontrolam. Opazi, ko metrika postane cilj in začne propadati. Operaterjem daje možnost, da povedo, da sistem olajšuje napačno stvar. Ljudje, ki so najbližje delu, pogosto opazijo odmik metrike, preden to prizna nadzorna plošča.
Tu obstaja kulturna cena. Pošten program optimizacije mora dopuščati slabe novice. Če se vsak dvom o metriki obravnava kot odpor, bo organizacija obdržala metriko in izgubila resnico. Optimizator bo še naprej izboljševal odobreno številko. Ljudje bodo gradili obvoze. Graf bo ostal zelen. Tako sistemi postanejo smešni, ne da bi bili videti pokvarjeni.
Ko optimizator reče, da je nemogoče
Optimizator, ki reče, da je nemogoče, ni negativen. Morda je najkoristnejša oseba v prostoru, čeprav ni oseba in mu ni mar za kavo. Nemogoče lahko pomeni, da so omejitve v nasprotju. Lahko pomeni, da zahteva po virih presega zmogljivost. Lahko pomeni, da obljubljene ravni storitve ni mogoče doseči z obstoječim številom zaposlenih. Lahko pomeni, da cilj politike ne more sobivati s proračunskim ciljem. Lahko pomeni, da želeni pogoj pravičnosti spremeni mejo stroškov. To so informacije za vodstvo.
Organizacije pogosto ne marajo neizvedljivosti, ker odpravlja udobje dvoumnosti. Pred optimizacijo lahko vsi verjamejo, da bo načrt deloval, če se bodo ljudje dovolj potrudili. Ko reševalnik dokaže, da omejitve niso združljive, postane izbira jasna: sprostite omejitev, dodajte vire, spremenite cilj, zmanjšajte obseg, sprejmite zamudo ali nehajte pretvarjati. Optimizator ni ustvaril konflikta. Nehala je subvencionirati nejasnost.
Vmesnik okoli neizvedljivosti je pomemben. Ne sme zgolj povedati, da rešitve ni. Pokazati mora, katere omejitve so zavezujoče, katere predpostavke poganjajo konflikt, katere sprostitve bi omogočile izvedljivost in katere sprostitve so prepovedane. To ljudem omogoča pošteno pogajanje. Morda se rok lahko premakne. Morda nadure niso sprejemljive. Morda je nižja raven storitve poštena. Morda želene avtomatizacije ne bi smeli zagnati. Ni rešitve je začetek, ne skomigni z rameni.
To je še en razlog, zakaj mora biti vprašanje pošteno. Če model skriva mehke preference kot trde omejitve, bo ustvaril nepotrebno nemogočnost. Če skriva trde obveznosti kot mehke kazni, bo ustvaril nesprejemljive načrte. Razlika ni tehnična podrobnost. Je meja med pogajanjem in škodo.
Upravljanje je vzdrževanje vprašanja
Upravljanje optimizacije si pogosto predstavljamo kot odobritev modela in nato prejemanje poročil. V resnici je vzdrževanje vprašanja. Ali cilj še vedno predstavlja namen. Ali omejitve še vedno ustrezajo zakonu, varnosti, zmogljivosti in institucionalnim obljubam. Ali nadomestni kazalniki še vedno napovedujejo tisto, kar trdijo, da napovedujejo. Ali uteži še vedno odražajo sprejemljive kompromise. Ali rezultati še vedno ustrezajo zgodbi metrike. Ali imajo prizadeti ljudje pot do izpodbijanja.
Vzdrževanje potrebuje ritem. Pregled po zagonu. Pregled po spremembi pravilnika. Pregled po spremembi podatkov. Pregled po nenavadnih vzorcih pritožb. Pregled, ko optimizator odkrije novo skrajnost. Pregled, ko ekipe začnejo delovati mimo sistema. Pregled, ko se metrika izboljša prehitro, kar je pogosto znak težave. Številke, ki hitro postanejo popolne, so bodisi čudovite bodisi so se naučile, kje merilni trak spi.
Upravljanje potrebuje tudi zapise. Katero vprašanje je bilo zastavljeno. Kdo ga je odobril. Katere alternative so bile zavrnjene. Katere omejitve so bile trde. Kateri kompromisi so bili sprejeti. Kateri izidi so bili spremljani. Katere pritožbe so spremenile formulacijo. To ni birokracija zaradi birokracije. Organizaciji omogoča, da si zapomni, zakaj sistem optimizira to, kar optimizira, in prihodnjim ljudem daje priložnost, da popravijo včerajšnjo samozavest.
Optimizacijski sistemi bi morali imeti pot za premor. Ne le zasilno zaustavitev ob tehnični napaki, temveč tudi upravljavski premor, ko vprašanju ni več mogoče zaupati. Če se predelava poveča, če ena skupina nosi nepričakovano škodo, če se vedenje zaposlenih spremeni, če negotovost naraste ali če se nadomestni kazalnik oddalji od namena, je treba sistem upočasniti, omejiti ali vrniti nazaj. Gumb za premor ni priznanje, da je optimizacija spodletela. Je dokaz, da ima organizacija še vedno nadzor.
Uporabna disciplina
Optimizacija je eno najuporabnejših orodij v inženirstvu umetne inteligence. Lahko razporeja redke vire, zmanjšuje odpadke, izboljšuje urnike, podpira odločitve, uravnoveša omejitve in razkriva nemogoče obljube. Zmore delo, ki je za ljudi preobsežno, prehitro ali preveč zapleteno, da bi ga opravili brez pomoči. Zasluži si spoštovanje. Zasluži si tudi sum, in to točno tiste vrste, v kateri bi morali inženirji uživati: natančen, preverljiv in povezan s posledicami.
Disciplina ni v tem, da se sprašujemo, ali optimizacija na splošno deluje. Deluje. Disciplina je v tem, da se vprašamo, ali vprašanje sploh zasluži optimizacijo. Kaj je pravi namen. Katera metrika je le nadomestni kazalnik. Katere omejitve so nesprejemljive. Kateri kompromisi so sprejemljivi. Katere negotovosti so pomembne. Kateri ljudje se bodo prilagodili. Kateri dokazi bodo pokazali odmik. Katera pot organizaciji omogoča, da spremeni mnenje.
Čakalna vrsta v uvodni zgodbi bi se lahko izboljšala. Odgovor ni bil opustiti optimizacijo in se vrniti k folklori. Odgovor je bil popraviti vprašanje: vključiti predelavo, zamudo pri strokovnem pregledu, izid za stranko, učenje zaposlenih, visoko tvegane izjeme in stroške napačne zaključitve. Sistem bi postal manj popolno zelen. Postal bi bolj uporaben. To je pogosto cena: manj lepih puščic, manj jeznih ljudi.
Optimizacija deluje le, če je vprašanje iskreno. Stroj bo vprašanje vzel resno. Organizacija bi morala storiti enako.