Az optimalizálás csak akkor működik, ha a kérdés őszinte.
A tökéletes sor, amit senki sem szeretett
Az irányítópult remekül nézett ki. Az átlagos kezelési idő csökkent. A sor hossza csökkent. A modell az egyszerű eseteket az automatizálásra irányította, a közepeseket az újabb munkatársakhoz, a nehéz eseteket pedig csak akkor a szakemberekhez, amikor a megbízhatóság egy takaros küszöb alá esett. A jelentés zöld nyilakat használt egy tavaszi kertészet magabiztosságával. Papíron a működés optimalizálva volt.
Aztán jöttek a panaszok. Először nem drámai panaszok. Az emberek kétszer hívtak, mert az első válasz rossz ügyet zárt le. A szakemberek később és rendetlenebbül kapták meg az eseteket. Az újabb munkatársak megtanulták követni a javasolt útvonalat, mert az ellenkezés lassította őket. Néhány szokatlan körülmények között élő ügyfél azt tapasztalta, hogy a leghatékonyabb úton terelték őket, ami főleg azért volt hatékony, mert nem vette észre őket. A sor jobb lett. A szolgáltatás rosszabb. Ez egy gyakori csoda.
A rendszer technikai értelemben nem viselkedett rosszul. Optimalizálta a feltett kérdést: csökkentse a kezelési időt, miközben a lezárási arányt egy, ugyanazon munkafolyamat által mért küszöb felett tartja. A kérdés ésszerűnek hangzott. De becsületes sem volt, nem azért, mert valaki hazudott, hanem mert a mérőszám úgy tett, mintha a szolgáltatás minőségét képviselné, miközben csendben kihagyta az újramunkálást, az eszkalációs késedelmet, az ügyfél stresszét, a munkatársak tanulását és a tévedés költségét. Az optimalizáló nem árulta el a szervezetet. Felfedte a szervezet kérdését.
Az optimalizálás nem erkölcsi ágens. Hűséges gép. Keres, rangsorol, hangol, ritkít és javít a kapott cél, korlátok, adatok és visszacsatolási hurok szerint. Ha ezek jól írják le a valódi problémát, az optimalizálás zseniális lehet. Ha egy kényelmes helyettesítőt írnak le, amely a valódi probléma ruháját viseli, az optimalizálás drága módja annak, hogy jobb grafikonokkal nagyobbat tévedjünk.
A mérőszám fogantyú, nem maga a tárgy
Minden optimalizáláshoz kell egy fogantyú. Nem lehet mindent közvetlenül optimalizálni. Mérhető mennyiségeket választasz: késleltetés, pontosság, átbocsátóképesség, kihasználtság, visszahívás, üzemanyag, várakozási idő, lemorzsolódás, költség, helyreállítási idő, kibocsátás, hibaarány. Ezek a fogantyúk szükségesek. De veszélyesek is, mert az emberek gyorsan elfelejtik, hogy a fogantyú nem maga a tárgy. Az átlagos kezelési idő nem szolgáltatás. Az átkattintási arány nem bizalom. A modell megbízhatósága nem intézményi bizalom. Az ágykihasználtság nem gondozás. Egy szám hasznos lehet, és mégis túl kicsi ahhoz, amit képvisel.
A mérőszámok akkor válnak tisztességtelenné, ha a szervezet nem mondja meg, mit hagy ki belőlük. A sorban állási mérőszám kihagyja az újramunkálást. A költségmérőszám kihagyja a törékenységet. A minőségi mérőszám kihagyja a szélsőséges eseteket. A méltányossági mérőszám kihagy egy olyan alcsoportot, amely túl kicsi ahhoz, hogy szerepeljen az összegzésben. Az energia-mérőszám kihagyja a túlórát. Az elégedettségi mérőszám kihagyja azokat, akik feladták. Egyetlen mérőszám sem teljes. A tisztességes mérőszám megmondja, hol ér véget.
Ez nem érv a mérés ellen. Ez érv az érett mérés mellett. A nem mért rendszer folklórrá válik. A rosszul mért rendszer bizonyítékokkal a falnak hajt. A fegyelem abban áll, hogy minden mérőszámot ahhoz a döntéshez kötünk, amelynek az irányítására jogosult. A késleltetési mérőszám hangolhatja a felületet. De nem döntheti el, hogy egy magas kockázatú eset kimarad-e a felülvizsgálatból. A konverziós mérőszám javíthat egy oldalt. De nem igazolhat félrevezető alapértelmezéseket. Egy előre jelzett kockázati pontszám irányíthatja a figyelmet. De nem válhat automatikus büntetéssé.
Amikor a mérőszámokat fogantyúként kezelik, a csapatok kíváncsiak maradnak. Amikor a mérőszámokat valóságként kezelik, a csapatok engedelmesekké válnak. Az optimalizáló mindig engedelmes lesz. Az embereknek nem szabad túl gyorsan csatlakozniuk hozzá.
A célfüggvény az, ahol a politika az aritmetikában bújik meg
A célfüggvény technikainak tűnik. Minimalizáld ezt. Maximalizáld azt. Súlyozd ezeket a tagokat. Büntesd azokat a hibákat. A gyakorlatban ez az, ahol a szervezet eldönti, mi számít. Mennyi késleltetés elfogadható a hiba csökkentéséért cserébe. Mennyi költség elfogadható a felülvizsgálat megőrzéséért. Mennyi visszahívás éri meg a plusz hamis pozitívokat. Mennyi energia éri meg az alacsonyabb késleltetést. Mekkora kényelmetlenséget viselhet el egy csoport azért, hogy az átlag javuljon. Ezek nem csak mérnöki kérdések. Azzá válnak, amint kódolják őket.
Nincs semmi baj az értékek kódolásával. A rendszerek már most is ezt teszik. A probléma az, ha úgy teszünk, mintha a kódolás semleges lenne, mert számokat használ. Egy súlyozási séma hatékonyabban rejtheti el a prioritásokat, mint egy beszéd. Egy küszöbérték áthelyezheti a hatalmat értekezlet nélkül. Egy büntetés eldöntheti, hogy kinek a problémája számít kevesebbet. Amikor az optimalizálás komoly, a célfüggvénynek felülvizsgálhatónak kell lennie. Nem minden érintettnek kell kódot olvasnia, de a választott kompromisszumoknak egyszerű nyelven kifejezhetőknek kell lenniük.
Egy gyakorlati teszt az, ha megkérdezzük, milyen viselkedést jutalmazna a cél, ha túl jól hajtanák végre. Egy útvonal-optimalizáló megtanulhat szoros menetrendeket készíteni, amelyek kis késéseknél összeomlanak. Egy csalásmodell megtanulhatja előnyben részesíteni azokat az eseteket, amelyeket könnyű bizonyítani. Egy értékesítési ajánló megtanulhat nyomást gyakorolni azokra, akik már amúgy is kiszolgáltatottak. Egy felvételi szűrő megtanulhatja reprodukálni a régi illeszkedés-definíciókat. Ha a cél túlzó változata csúnyán néz ki, a hétköznapi változatnak valószínűleg erősebb korlátokra van szüksége.
Itt védik a korlátok a célt önmagától. Ne lépd túl a munkaidőt. Ne használj védett attribútumokat vagy azok helyettesítőit. Ne rejtsd el a bizonytalanságot. Ne zárj le egy esetet bizonyíték nélkül. Ne optimalizáld a költséget egy ellenálló képességi szint alá. Ne irányíts nagy következményekkel járó döntéseket értelmes felülvizsgálat nélkül. A korlátok nem bürokrácia. Így mondja meg a szervezet az optimalizálónak, hogy melyik gyorsítótár nem valódi javulás.
A helyettesítő mutatók hasznos hazudozók
A helyettesítő mutató egy mérhető helyettesítő valami nehezebben mérhető dologra. Mindenhol ott vannak, mert a valódi eredmények gyakran késleltetettek, kétértelműek vagy drágák megfigyelni. Egy kórház használhatja az újrafelvételt a minőség egyik jelzőjeként. Egy támogató csapat használhatja az első érintkezésre történő megoldást. Egy modellcsapat használhatja a benchmark pontosságot. Egy közszolgáltatás használhatja a feldolgozási időt. Ezek nem hülye mérőszámok. Részleges mérőszámok. A baj akkor kezdődik, amikor a részlegesből teljes lesz.
A proxyk kiszámítható módon hazudnak. Azt jutalmazzák, amit rögzítenek. Figyelmen kívül hagyják, ami a mérési időablakon túl történik. Alakítják az emberi viselkedést. Célpontokká válnak. A régi folyamatfeltételezéseket tükrözik. A gyakori eseteket részesítik előnyben. A nem mért károkat láthatatlanná teszik. A hazugság nem mindig rosszindulatú. Ez a természetes tömörítési veszteség, ami akkor következik be, amikor a rendezetlen valóság egy adatbázis oszlopává válik. Nagyon hasznos, nagyon veszélyes, mint egy éles kés és a legtöbb értekezleti napirend.
Az AI-rendszerek felerősítik a proxyproblémákat, mert alaposabban tudnak optimalizálni, mint egy ember. Egy emberi csapat esetlenül tudja kijátszani a mutatót. Egy modell felfedezhet apró szabályszerűségeket, munkafolyamat-kiskapukat vagy társadalmi mintázatokat, amelyek javítják a proxyt, miközben károsítják a célt. Ez megtörténhet anélkül, hogy bárki szándékosan kárt okozna. Az optimalizálás megtalálja a gradienseket. Ha a gradiens a valódi céltól elfelé mutat, a rendszer lenyűgöző modorral fogja követni.
A válasz nem a proxyk betiltása. Hanem a proxy érvényességének figyelemmel kísérése. A proxy még mindig korrelál-e az eredménnyel. Másként viselkedik-e a különböző csoportoknál. Az optimalizálása átdolgozást okoz-e. Megváltoztatja-e a felhasználói viselkedést. Figyelmen kívül hagyja-e a késleltetett károkat. Értelmes marad-e a munkafolyamat megváltozása után. A proxyknak lejárati időre, felülvizsgálatra és kísérő mérőszámokra van szükségük. Ellenkező esetben kis zsarnokokká válnak adatcímkékkel.
A korlátok nem utólagos gondolatok
A gyenge optimalizációs projektekben a korlátok az első kellemetlen eredmény után jelennek meg. A rendszer olcsóbb tervet talál, majd valaki észreveszi, hogy az tönkreteszi a rugalmasságot. Gyorsabb útvonalat talál, majd valaki észreveszi, hogy az túlterhel egy csapatot. Magasabb pontszámú jelöltet talál, majd valaki észreveszi, hogy a jelzés jogilag vagy etikailag gyanús. Választ talál, majd valaki megkérdezi, hogy a választ egyáltalán meg kellett volna-e engedni. Így válnak a korlátok bocsánatkérő bútorokká.
A komoly optimalizációban a korlátok a kérdéssel együtt érkeznek. Egyesek a fizikai lehetőségeket határozzák meg. Egyesek a törvényt. Egyesek a biztonságot. Egyesek a szolgáltatás méltóságát. Egyesek az intézményi ígéreteket. Egyesek azt, hogy milyen bizonyíték szükséges a cselekvés előtt. Egyesek azt, hogy hol kell megállnia az automatizálásnak. A korlátozások halmaza nem kellemetlenség a cél körül. Ez az a határ, amely értelmet ad a célnak.
A nehéz rész annak eldöntése, hogy mely korlátok valóban kemények. A csapatok gyakran preferenciákként címkézik a szabályokat és szabályokként a preferenciákat, attól függően, hogy ki van a szobában. Egy kemény korlát, amely valójában tárgyalható, szükségtelenül lehetetlenné teheti a problémát. Egy puha korlát, amelynek keménynek kellene lennie, lehetővé teheti az optimalizáló számára, hogy elfogadhatatlan kárral vásároljon nyereséget. Ez nem elsősorban megoldóprobléma. Ez egy szervezeti tisztasági probléma matematikai következményekkel.
A kényszereknek is kell gazdája. Ha egy jogi kényszer megváltozik, ki frissíti. Ha egy kapacitáskényszer hibás, ki veszi észre. Ha egy méltányossági kényszer váratlan kompromisszumot eredményez, ki dönt. Ha egy biztonsági kényszer túl sok esetet blokkol, ki vizsgálja meg, hogy a probléma valós-e, vagy a kényszer rosszul van megfogalmazva. A gazda nélküli kényszer kövületté válik. A kövület az optimalizálóban még mindig futtatható, ami nem megnyugtató.
Az őszinte kérdések tartalmazzák a bizonytalanságot
Az optimalizálást gyakran úgy mutatják be, mintha minden bemenet tény lenne. A kereslet előrejelzett. Az utazási idő becsült. Az ügy összetettsége előre jelzett. A modell megbízhatósága kalibrált. A költségek feltételezettek. A munkatársak rendelkezésre állása rögzített. Ezután az optimalizáló gyanúsan pontos tervet készít. A valóságban sok bemenet bizonytalan, és a terv értéke attól függ, hogyan kezeljük a bizonytalanságot.
Egy őszinte optimalizálási kérdés azt kérdezi, mi történik, ha a előrejelzés hibás. Mi van, ha a kereslet tíz százalékkal nő. Mi van, ha a beszállító késik. Mi van, ha a modell megbízhatósága rosszul kalibrált egy csoport esetében. Mi van, ha a munkatársak rendelkezésre állása csökken. Mi van, ha az adatforrás késik. Mi van, ha egy szabályzat megváltozik. A robusztus optimalizálás, a forgatókönyv-elemzés, az érzékenységvizsgálat, a tartalékok és a tartaléktervek nem díszítőelemek. Így ismeri el a rendszer, hogy a holnap nem írta alá a tervet.
A bizonytalanságnak hatnia kell a cselekvésre. Egy terv elfogadható lehet, ha a kockázat kicsi és visszafordítható. Felülvizsgálatot igényelhet, ha a kockázat súlyos. Szélesebb biztonsági tartalékra lehet szükség, ha egy csoport viseli a kockázat nagy részét. Emberi ítéletre lehet szükség, ha az adat vékony. Elutasításra lehet szükség, ha a bizonytalanság kívül esik a rendszer tesztelt hatókörén. Egyetlen optimális terv egyetlen rendezett forgatókönyv szerint néha csak mese a vezetőknek.
Az AI ezt még fontosabbá teszi, mert a prediktív összetevők gyakran táplálják az optimalizálást. A keresleti előrejelzés táplálja a létszámtervezést. A kockázati pontszám táplálja az útvonaltervezést. A visszakeresési megbízhatóság táplálja az összefoglalást. Ha a bizonytalanság elveszik az összetevők között, az optimalizáló tisztább világot kap, mint amilyen a szervezet valójában. A terv optimális lehet a fantáziára. Az incidens az éles környezetben fog bekövetkezni.
Az optimalizálás megváltoztatja az embereket
Az emberek alkalmazkodnak az optimalizált rendszerekhez. A munkatársak megtanulják, mit preferál az útvonaltervező modell. A vezetők megtanulják, melyik mutató vált zöldre. A felhasználók megtanulják, melyik válaszok kapnak gyorsabb kezelést. A beszállítók megtanulják, hol gyengék a büntetések. A csapatok megtanulják, melyik kényszereket tartják be, és melyek pusztán ceremoniálisak. Minden optimalizálás, amely bekerül egy munkafolyamatba, az adott munkafolyamat ösztönzőinek részévé válik.
Ezért nem elég csak a rendszer teljesítményét mérni. Figyeljük az emberi viselkedést. A felülvizsgálók azért hagynak jóvá kevesebbet, mert a modell jobb lett, vagy azért, mert a felülbírálás büntetést von maga után? A csapatok azért zárnak le gyorsabban eseteket, mert javult a munkafolyamat, vagy azért, mert a nehéz eseteket áttolják másokra? Az ügyfelek azért elégedettebbek, vagy a csalódott ügyfelek egyszerűen feladták? A szakértők azért kapnak kevesebb esetet, mert javult a triázs, vagy azért, mert a nehéz eseteket rosszul sorolják be? Az optimalizálás javíthatja a mutatót, miközben rossz irányba neveli a szervezetet.
A jó tervezés számít az alkalmazkodásra. Láthatóvá teszi a nézeteltérést. Védi a hasznos felülbírálást. Figyeli az újramunkálást és a későbbi károkat. Ellenőrzi, hogy a nyomás alatt lévő csapatok betartják-e az előírt kontrollokat. Észreveszi, amikor egy mutató célértékké válik, és romlásnak indul. Lehetőséget ad a kezelőknek, hogy jelezzék: a rendszer a rossz dolgot teszi könnyűvé. A munkához legközelebb állók gyakran hamarabb észlelik a mutató torzulását, mint ahogy az irányítópult elismerné.
Ennek kulturális ára van. A becsületes optimalizációs programnak el kell viselnie a rossz híreket. Ha minden, a mutatót megkérdőjelező észrevételt ellenállásként kezelnek, a szervezet megtartja a mutatót, de elveszíti az igazságot. Az optimalizáló tovább javítja a jóváhagyott számot. Az emberek kerülőutakat építenek. A dián továbbra is zöld minden. Így válnak a rendszerek nevetségessé anélkül, hogy hibásnak tűnnének.
Amikor az optimalizáló azt mondja: lehetetlen
Az az optimalizáló, amelyik azt mondja, lehetetlen, nem negatív. Ő lehet a legfontosabb személy a teremben, még akkor is, ha nem személy, és nem érdekli a kávé. A lehetetlen jelentheti azt, hogy a feltételek ütköznek. Jelentheti, hogy az erőforrásigény meghaladja a kapacitást. Jelentheti, hogy az ígért szolgáltatási szint nem teljesíthető a jelenlegi létszámmal. Jelentheti, hogy egy szakpolitikai cél nem fér meg egy költségvetési céllal. Jelentheti, hogy a kívánt méltányossági feltétel megváltoztatja a költséghatárt. Ez vezetői információ.
A szervezetek gyakran nem szeretik a megoldhatatlanságot, mert elveszi a kétértelműség kényelmét. Az optimalizálás előtt mindenki hiheti, hogy a terv működni fog, ha elég keményen dolgoznak. Miután a megoldó bizonyítja, hogy a feltételek nem illenek össze, a választás egyértelművé válik: lazítsunk egy feltételen, adjunk hozzá erőforrásokat, változtassuk meg a célfüggvényt, csökkentsük a kört, fogadjuk el a késést, vagy hagyjuk abba a színlelést. Az optimalizáló nem teremtette a konfliktust. Csak megszüntette a homály támogatását.
A megoldhatatlanság körüli felület számít. Nem elég annyit mondani, hogy nincs megoldás. Meg kell mutatnia, mely feltételek kötnek, mely feltevések okozzák a konfliktust, mely lazítások teremtenének megoldhatóságot, és mely lazítások tiltottak. Ez lehetővé teszi, hogy az emberek becsületesen tárgyaljanak. Lehet, hogy a határidő tolható. Lehet, hogy a túlóra elfogadhatatlan. Lehet, hogy az alacsonyabb szolgáltatási szint a becsületes. Lehet, hogy a kívánt automatizálásnak nem szabad elindulnia. A nincs megoldás kezdet, nem vállrándítás.
Ez egy újabb ok, amiért a kérdésnek becsületesnek kell lennie. Ha a modell a puha preferenciákat kemény feltételként rejti el, szükségtelen lehetetlenséget fog produkálni. Ha a kemény kötelezettségeket puha büntetésként rejti el, elfogadhatatlan terveket fog produkálni. A különbség nem technikai részletkérdés. Ez a határ a tárgyalás és a kár között.
Az irányítás a kérdés karbantartása
Az optimalizációs irányítást gyakran úgy képzelik el, hogy jóváhagyják a modellt, majd jelentéseket kapnak. A valóságban ez a kérdés karbantartása. A célfüggvény még mindig a célt képviseli? A feltételek még mindig megfelelnek a jognak, a biztonságnak, a kapacitásnak és az intézményi ígéreteknek? A proxyk még mindig azt jósolják, amit állítanak? A súlyok még mindig az elfogadható kompromisszumokat tükrözik? Az eredmények még mindig illenek a mutató történetéhez? Az érintetteknek van módjuk a megkérdőjelezésre?
Ennek a karbantartásnak ritmusra van szüksége. Áttekintés az indulás után. Áttekintés szabályváltozás után. Áttekintés adatváltozás után. Áttekintés szokatlan panaszminták után. Áttekintés, amikor az optimalizáló új szélsőértéket talál. Áttekintés, amikor a csapatok elkezdik megkerülni a rendszert. Áttekintés, amikor a mutató túl gyorsan javul, ami gyakran gyanús jel. Azok a számok, amelyek gyorsan tökéletesek lesznek, vagy csodálatosak, vagy megtanulták, hol alszik a mérőszalag.
A kormányzáshoz feljegyzések is kellenek. Melyik kérdést tették fel. Ki hagyta jóvá. Melyik alternatívákat utasították el. Melyik korlátok voltak kötelezőek. Melyik kompromisszumokat fogadták el. Melyik eredményeket figyelték. Melyik panaszok változtatták meg a megfogalmazást. Ez nem öncélú bürokrácia. Ez teszi lehetővé, hogy a szervezet emlékezzen arra, miért optimalizálja azt, amit optimalizál, és esélyt ad a jövőbeli embereknek, hogy kijavítsák a tegnapi magabiztosságot.
Az optimalizációs rendszereknek legyen szüneteltetési útvonaluk. Nem csak vészleállítás műszaki hiba esetén, hanem kormányzási szünet, amikor a kérdésben már nem bíznak. Ha nő az újramunka, ha egy csoport váratlan kárt szenved, ha a munkatársak viselkedése megváltozik, ha nő a bizonytalanság, vagy ha a helyettesítő mutató elszakad a céltól, a rendszert lassítani, korlátozni vagy visszaállítani kell. A szünet gomb nem beismerése annak, hogy az optimalizáció kudarcot vallott. Ez annak a bizonyítéka, hogy a szervezet továbbra is irányít.
A hasznos fegyelem
Az optimalizáció az AI-mérnöki munka egyik leghasznosabb eszköze. Képes szűkös erőforrásokat elosztani, csökkenteni a pazarlást, javítani az ütemezéseket, támogatni a döntéseket, egyensúlyban tartani a korlátokat, és felfedni a lehetetlen ígéreteket. Képes olyan munkát elvégezni, amelyet az emberek túl nagynak, túl gyorsnak vagy túl bonyolultnak találnak ahhoz, hogy segítség nélkül elvégezzék. Megérdemli a tiszteletet. Megérdemli a gyanakvást is, pontosan azt a fajtát, amelyet a mérnököknek élvezniük kell: precíz, tesztelhető és következményekhez kötött.
A fegyelem nem az, hogy megkérdezzük, működik-e az optimalizáció általában. Működik. A fegyelem az, hogy megkérdezzük, megérdemli-e a kérdés az optimalizációt. Mi a valódi cél. Melyik mutató csak helyettesítő. Melyik korlátok nem tárgyalhatók. Melyik kompromisszumok elfogadhatók. Melyik bizonytalanságok számítanak. Melyik emberek fognak alkalmazkodni. Melyik bizonyítékok mutatják majd az eltérést. Melyik út teszi lehetővé a szervezet számára, hogy meggondolja magát.
A nyitó történetben szereplő sor javítható lett volna. A válasz nem az volt, hogy elhagyjuk az optimalizációt és visszatérünk a beidegződésekhez. A válasz a kérdés megjavítása volt: vegyük bele az újramunkát, a szakértői felülvizsgálat késedelmét, az ügyfélkimenetet, a munkatársak tanulását, a magas kockázatú kivételeket és a hibás lezárás költségét. A rendszer kevésbé lett volna tökéletesen zöld. Hasznosabb lett volna. Ez gyakran az alkufolyamat: kevesebb szép nyíl, kevesebb dühös ember.
Az optimalizálás csak akkor működik, ha a kérdés őszinte. A gép komolyan veszi a kérdést. A szervezetnek is ezt kell tennie.