Dôvera je operačný model, nie slogan
Deň, keď zlyhala snímka o dôvere
Na stretnutí bola snímka so slovom dôvera veľmi veľkým písmom. Toto je zvyčajne prvý varovný signál. Nie preto, že by dôvera bola nedôležitá, ale preto, že dôležité veci sa málokedy zlepšia, keď sa zväčšia na štyridsaťosem bodov a umiestnia nad stockovú fotografiu rúk. Regionálna servisná organizácia práve dokončila náročný automatizačný projekt. Pilot fungoval, dashboard bol uprataný, dodávateľ bol zdvorilý, balík riadenia mal veľa farieb a všetci chceli rovnaký záver: používatelia budú systému dôverovať, pretože vedenie rozhodlo, že dôvera je hodnota.
Potom sa pracovníčka prípadov spýtala malú otázku. Ak systém odporučí inú cestu, než akú by som si zvolila ja, čo presne mám povolené prepísať, kto vidí toto prepísanie a čo sa stane, ak mám pravdu? V miestnosti nastalo ticho, aké nastáva, keď praktický človek prepichne abstraktné podstatné meno. Existovali politiky o zodpovednom používaní. Existovali školiacie snímky o ľudskom dohľade. Existoval kódex správania. Čo ešte neexistovalo, bol prevádzkový model.
Toto je rozdiel, na ktorom záleží. Dôvera nie je pocit, ktorý nasleduje po upokojujúcom oznámení. Dôvera je výsledkom fungujúceho usporiadania. Ľudia dôverujú systému, keď vidia, kde sídli právomoc, keď výnimky majú cestu, keď sa dôkazy uchovávajú, keď je možná oprava, keď stimuly netrestajú dobrý úsudok a keď organizácia dokáže vysvetliť rozhodnutia bez toho, aby musela zostaviť malé múzeum snímok obrazovky. Dôveru tvoria postupy, rozhrania, záznamy a návyky. Menej romantické, užitočnejšie.
Toto platí obzvlášť pri práci podporovanej AI. Systém môže klasifikovať, zoraďovať, sumarizovať, navrhovať, odporúčať, smerovať alebo spúšťať. Človek môže kontrolovať, schvaľovať, odmietať, upravovať, eskalovať alebo ignorovať. Niekde medzi týmito slovesami organizácia buď navrhne dôveryhodný pracovný postup, alebo dúfa, že skúsení profesionáli budú improvizovať. Skúsení profesionáli improvizujú. Preto prežívajú v zlých systémoch. To nie je dôkaz, že si systém zaslúži dôveru.
Dôvera nie je viera s číslom obstarávania
Organizácie často pristupujú k dôvere ako ku komunikačnému problému. Ak ľudia váhajú, inštinkt hovorí vysvetľovať dôraznejšie. Pošlite e-mail. Pridajte FAQ. Usporiadajte stretnutie. Pripomeňte všetkým, že systém je len asistent, čo je fráza, ktorá už niesla viac manažérskej úzkosti, než si väčšina asistentov zaslúži. Komunikácia pomáha, ale len vtedy, keď opisuje skutočné prevádzkové práva. Ak je odpoveďou na každú praktickú obavu fráza dôverujte procesu, proces sa pravdepodobne skrýva.
Dôveryhodný operačný model odpovedá na bežné otázky skôr, než sa z nich stanú emocionálne. Kto vlastní rozhodnutie. Ktoré časti sú automatizované. Ktoré časti sú poradné. Ktoré údaje sú povolené. Ktoré údaje sú vylúčené. Ktoré predpoklady sú viditeľné. Ktoré prahové hodnoty možno meniť lokálne. Ktoré zmeny si vyžadujú schválenie. Ktoré výnimky sa musia zaznamenávať. Ktoré výnimky sú očakávané. Ktoré zlyhania pozastavia pracovný postup. Ktoré zlyhania len niekoho upozornia. Ktoré metriky nám hovoria, že sa pracovný postup vzďaľuje od svojho účelu.
Tieto otázky znejú sucho, pretože sú suché. Dobre. Suché otázky predchádzajú mokrým incidentom. Problém s dôverou na úrovni sloganov je, že mení praktickú neistotu na morálnu záťaž. Sestra, ktorá váha, sa stáva odporcom. Úradník, ktorý žiada o dôkazy, sa stáva rizikovo averzným. Inžinier, ktorý chce možnosť prehratia, sa stáva problémovým. V skutočnosti títo ľudia často robia organizácii láskavosť. Pýtajú sa, kde končí operačný model a začína divadlo.
Dôvera má aj časový rozmer. Systém môže byť dôveryhodný pri spustení a nedôveryhodný o šesť mesiacov neskôr, pretože sa zmenili údaje, zmenila sa politika, model bol aktualizovaný, pracovná záťaž vzrástla alebo ľudia, ktorí rozumeli výnimkovej ceste, prešli do iného tímu. Dôvera nie je certifikát umiestnený na poličke. Je bližšie k plánu údržby. Ak ju ignorujete, stroje ešte chvíľu bežia, a takto sa stroje pomstia.
Kontrolný zásobník je miesto, kde sa dôvera stáva nudnou
Prvá vrstva je účel. Pracovný postup by mal pomenovať prácu, ktorú môže vykonávať. Nie vznešený odsek o transformácii, ale ohraničený účel: triediť tieto žiadosti, sumarizovať tieto dokumenty, odhaľovať tieto anomálie, zoraďovať tieto prípady na kontrolu, navrhovať tieto odpovede na schválenie. Ak je účel vágny, každá neskoršia kontrola sa stane hmlistou. Ľudia nemôžu posúdiť, či sa systém správal správne, ak nikto nevie povedať, čo znamená správne.
Druhá vrstva je autorita údajov. Dôvera rýchlo zlyhá, keď nikto nevie, ktoré zdroje sa použili, ktorý zdroj vyhráva pri konflikte a kto môže opraviť nesprávny záznam. Systémy umelej inteligencie to zhoršujú, pretože vytvárajú odvodený materiál: výťahy, vloženia, súhrny, funkcie, protokoly a vyrovnávacie pamäte. Ak tieto odvodeniny nesú prevádzkovú váhu, potrebujú aj pravidlá. Súhrn môže byť nesprávny. Vloženie môže zastarať. Vyrovnávacia pamäť môže zachovať včerajšiu chybu s pôsobivou sebadôverou. Počítače sú veľmi lojálne k nesprávnej veci, pokiaľ sa ich neopýtame opatrne.
Tretia vrstva je autorita rozhodovania. Skóre modelu nie je to isté ako rozhodnutie. Odporúčanie nie je to isté ako schválenie. Poradie vo fronte nie je to isté ako spravodlivosť, nech vyzerá front akokoľvek pohodlne. Operačný model by mal povedať, ktorá rola je zodpovedná za konečný akt, aké informácie táto rola dostáva, kedy môže nesúhlasiť a čo systém robí s nesúhlasom. Ľudský dohľad, ktorý nemôže nič zmeniť, je dekorácia s prihlásením.
Štvrtá vrstva sú dôkazy. Organizácia potrebuje viac než len protokoly, viac než len informačné panely a oveľa viac než to, že si niekto pamätá, že demo vyzeralo solídne. Dôkazy by mali spájať zdroj, verziu, politiku, model, výzvu alebo dotaz, výsledok, ľudskú činnosť a následný efekt. Nemusia byť divadelné. Musia byť dostatočne trvanlivé, aby sa neskoršia kontrola nestala archeológiou s termínom.
Oprava je časť, ktorú si ľudia všimnú
Mnohé programy dôvery vynakladajú príliš veľa energie na predchádzanie viditeľným nezhodám a príliš málo na to, aby ich dobre zvládali. Toto je naopak. Ľudia nepotrebujú, aby bol systém dokonalý, kým mu začnú dôverovať. Potrebujú, aby bol systém úprimný o svojich obmedzeniach a schopný opravy. Vlak môže meškať a napriek tomu sa mu dá dôverovať, ak sú meškania vysvetlené, lístky sa uznajú a cestovný poriadok sa zlepší. Vlak, ktorý trvá na tom, že ide načas, kým všetci stoja v daždi, si zvolil inú cestu.
Oprava sa začína detekciou. Používatelia potrebujú spôsob, ako povedať, že výstup je nesprávny, neúplný, nespravodlivý, zastaraný, nebezpečný alebo mimo účel. Táto cesta musí byť blízko práce. Ak hlásenie problému vyžaduje samostatný portál, tri polia, ktorým nikto nerozumie, a kategóriu s názvom rôzny podnet, organizácia si postavila filter na sťažnosti a nazvala ho spätnou väzbou. Veľmi efektívne, ak je cieľom učiť sa pomaly.
Potom prichádza triedenie. Nie každý problém si zaslúži rovnakú reakciu. Niektoré chyby sú neškodné a lokálne. Niektoré poukazujú na problémy s kvalitou údajov. Niektoré odhaľujú nejednoznačnosť politiky. Niektoré ukazujú posun modelu. Niektoré odhaľujú, že sa od pracovného postupu žiada práca, na ktorú nebol navrhnutý. Niektoré sú skutočnou ujmou a vyžadujú okamžité zastavenie, ľudský kontakt a zodpovednosť. Prevádzkový model by mal tieto cesty oddeliť pred prvým incidentom, pretože počas incidentu sa z každého zrazu stane filozof.
Oprava potrebuje aj pamäť. Opravený prípad by nemal zmiznúť v systéme tiketov, ktorý nemá žiadny vzťah k pracovnému postupu. Oprava by mala zmeniť zdrojový záznam, pravidlo, výzvu, prah, školiace materiály, príručku alebo otázku monitorovania, ak je to vhodné. Systém, ktorý sa ospravedlní, ale nepoučí sa, nie je dôveryhodný. Je to zákaznícky servis s amnéziou.
Stimuly rozhodujú o tom, či model prežije kontakt s realitou
Dôveru často podkopávajú stimuly, ktoré sú v rozpore s príbehom o správe. Organizácia tvrdí, že ľudia zostávajú zodpovední, ale meria tímy tak prísne podľa priepustnosti, že sa z kontroly stane len pečiatka. Tvrdí, že prepísania sú vítané, ale audituje mieru prepísaní, akoby bol vysoký nesúhlas automaticky zlý. Tvrdí, že kvalita záleží, ale odmeňuje len uzavretie prípadu. Tvrdí, že používatelia by mali hlásiť problémy, ale správy o problémoch považuje za dôkaz slabej adopcie. Ľudia čítajú tieto signály rýchlo. Možno necitujú politiku, ale rozumejú hre.
Seriózny operačný model zosúlaďuje stimuly so správaním, ktoré chce dosiahnuť. Ak sa od ľudí očakáva, že budú kontrolovať, dajte im čas, informácie a právomoc. Ak sú prepísania súčasťou kontrolného systému, odlišujte užitočnú nezhodu od nedbanlivého odmietnutia. Ak hlásenie chýb zlepšuje systém, netrestajte tím, ktorý hlási najviac. Ak je pracovný postup príliš neistý na plnú automatizáciu, nenazývajte každú eskaláciu neefektívnosťou. Realita sa nestane deterministickejšou len preto, že to štvrťročný cieľ potrebuje.
Tu sa dôvera stáva manažérskou prácou, nie technickou prácou. Model môže zobraziť skóre spoľahlivosti. Rozhranie môže ukázať zdroje. Protokoly môžu uchovávať záznamy. Nič z toho nie je dôležité, ak organizácia ľuďom ticho naznačuje, že najbezpečnejším kariérnym krokom je súhlasiť so strojom. V takom prípade si stroj dôveru nezískal. Získal si spoločenskú moc prostredníctvom riadenia výkonnosti. Nie je to to isté, hoci má na chvíľu vynikajúce metriky prijatia.
Existuje zdravší vzorec. Považujte nezhodu za signál. Pýtajte sa, prečo ľudia prepísali rozhodnutia. Porovnajte prepísania s výsledkami. Hľadajte tímy, ktoré nikdy nesúhlasia, a pýtajte sa, či je systém skutočne vynikajúci, alebo tím prestal veriť, že nezhoda je vítaná. Preskúmajte okrajové prípady otvorene. Dajte operátorom cestu, ako zlepšiť pracovný postup. Dôvera rastie, keď ľudia vidia, že dobrý úsudok mení systém namiesto toho, aby sa strácal v manažérskej hmle.
Rozhrania učia ľudí, čomu organizácia verí
Rozhranie je súčasťou prevádzkového modelu. Hovorí ľuďom, čo je dôležité, čo je voliteľné a čo organizácia očakáva, že si všimnú. Ak je skóre modelu veľké a zdroj je skrytý, rozhranie hovorí, že dôvera je dôležitejšia ako dôkazy. Ak je tlačidlo schválenia zelené a cesta k námietke je tri kliky hlboko, rozhranie hovorí, že rýchlosť je dôležitejšia ako úsudok. Ak sú vysvetlenia všeobecné, rozhranie hovorí, že používateľ sa má cítiť informovaný, nie byť informovaný.
Dôveryhodné rozhranie ukazuje správne trenie. Jednoduché úkony by malo uľahčiť a závažné úkony primerane spomaliť. Malo by rozlišovať medzi návrhom a rozhodnutím. Malo by ukazovať zdroj, aktuálnosť, neistotu a kontext politiky tam, kde ovplyvňujú prácu. Malo by normalizovať nesúhlas. Malo by sa vyhýbať dekoratívnej vysvetliteľnosti, tomu druhu, keď sa pod rozhodnutím objaví odsek, ktorý hovorí, že systém zvážil relevantné faktory. Relevantné faktory, áno, voňavá sviečka strojovej zodpovednosti.
Dobré trenie nie je byrokracia. Je to kontrola umiestnená tam, kde chyba má následky. Nízkorizikové sumarizovanie môže prebiehať rýchlo. Vysokorizikové odporúčanie o oprávnenosti by sa malo spomaliť, ukázať dôkazy, pomenovať politiku a vyžiadať si explicitný ľudský úkon. Hromadná akcia by mala vyžadovať vzorkovanie alebo kontrolu prahu. Prepísanie by malo žiadať o dôvod, nie preto, že organizácia miluje textové polia, ale preto, že dôvody sa stávajú dôkazom, ktorý zlepšuje pracovný postup.
Rozhranie by malo tiež podporovať spätnú kontrolu. Používateľ by mal vedieť otvoriť minulé rozhodnutie a vidieť, čo systém vtedy videl, nielen najnovšiu verziu záznamu. Ak sa zdroj zmenil, povedzte to. Ak sa zmenil prah politiky, zachovajte starý. Ak sa zmenila verzia modelu, pomenujte ju. Dôvera sa narúša, keď sa včerajšie rozhodnutie posudzuje podľa dnešného neviditeľného kontextu. To nie je zodpovednosť. To je cestovanie v čase s tabuľkou.
Dodávatelia môžu pomôcť, ale nemôžu vlastniť vašu dôveru
Väčšina organizácií sa bude spoliehať na dodávateľov pri častiach technologického zásobníka. To je normálne. Dôvera nevyžaduje robiť všetko samostatne. Vyžaduje však pochopenie, ktoré časti modelu dôvery sú externé, ktoré dôkazy môže organizácia preskúmať, ktoré kontroly môže vykonávať a čo sa stane, keď sa vzťah zmení. Outsourcing infraštruktúry je bežný. Outsourcing schopnosti vysvetliť sa nie je práve skvelý inštitucionálny koníček.
Zmluvy tu majú svoj význam, ale zmluvy nestačia. Prevádzkový model by mal overiť, čo zmluva sľubuje. Dokáže organizácia exportovať rozhodovacie záznamy. Dokáže skontrolovať zmeny modelu. Dokáže riadiť uchovávanie údajov. Dokáže vidieť prístup subdodávateľov. Dokáže rotovať kľúče. Dokáže vypnúť funkciu. Dokáže fungovať počas incidentu u dodávateľa. Dokáže predložiť dôkazy regulátorovi, občanovi, pacientovi, zamestnancovi alebo zákazníkovi bez toho, aby čakala na lístok na podporu, ktorý to sám zistí.
Toto nie je podozrievavosť voči dodávateľom. Je to dospelé riadenie závislostí. Dobrý dodávateľ by mal privítať jasné prevádzkové hranice, pretože zabránia neskoršiemu zmätku. Vágny zákazník nie je z dlhodobého hľadiska jednoduchšie obslúžiteľný. Len odkladá stretnutie, na ktorom sa všetci dozvedia, že dôvera znamenala päť rôznych vecí. Veľmi európske v tom zmysle, že budú zápisnice, káva a žiadne rozhodnutie až do druhého stretnutia.
To isté platí interne. Platformové tímy, právne tímy, dátové tímy a prevádzkové tímy sú si navzájom dodávateľmi. Dôvera sa narúša, keď každý tím považuje svoju časť za hotovú a presúva neistotu ďalej. Dátový tím dodá dataset bez ciest na opravu. Modelový tím dodá skóre bez návrhu eskalácie. Prevádzkový tím dodá pracovný postup bez dôkazov. Právny tím dodá znenie politiky bez prevádzkových testov. Každý môže byť individuálne kompetentný a spoločne vágny.
Slučka, nie spustenie
Model dôveryhodnosti prevádzky musí tvoriť slučku, pretože práca sa mení. Prichádzajú nové prípady. Používatelia nachádzajú okrajové podmienky. Kvalita údajov sa mení. Útočníci sa prispôsobujú. Predpisy sa posúvajú. Rozpočty sa utierajú. Tímy sa reštrukturalizujú. Systém, ktorý bol vhodný v januári, môže byť v júni nedostatočný a softvér má dar prinútiť jún prísť skôr. Preskúmanie pri spustení je nevyhnutné, ale nestačí. Organizácia potrebuje rytmus na opätovné overovanie, či si pracovný postup stále zaslúži dôveru.
Slučka sa začína pozorovaním. Sledujte nielen presnosť, ale aj nezhody, chýbajúce údaje, zastarané zdroje, mieru odvolaní, dôvody prepísania, správanie frontov, latenciu, nezvyčajné koncentrácie vplyvu a zmeny v správaní používateľov. Presnosť je užitočné číslo, ale môže skrývať príbeh. Pracovný postup môže byť v priemere presný a škodlivý na okrajoch. Okraje sú miesta, kde sa skutočné inštitúcie stretávajú so skutočnými ľuďmi.
Potom interpretácia. Metriky potrebujú vlastníkov, ktorí rozumejú práci, nielen dashboardu. Ak miera prepísaní stúpa, môže to znamenať, že model je horší, údaje sú zastarané, politika sa zmenila, používatelia sú lepšie vyškolení, pracovná záťaž je iná alebo je rozhranie mätúce. Správna reakcia nie je vždy pretrénovanie. Niekedy je to objasnenie politiky, oprava zdrojových údajov, zmena prahov, zlepšenie vzorkovania alebo odstránenie pracovného postupu z úlohy, ktorá mu nikdy nemala byť zverená.
Potom zmena. Prevádzkový model by mal definovať, kto môže upravovať prahy, pozastaviť automatizáciu, aktualizovať pravidlá zdrojov, revidovať usmernenia, eskalovať incidenty a komunikovať zmeny. Zmena bez právomoci sa stáva divadlom. Právomoc bez dôkazov sa stáva improvizáciou. Slučka ich spája.
Čo by lídri mali prestať hovoriť
Lídri by mali prestať hovoriť „verte nám“, keď myslia, že sme ešte nenavrhli prevádzkové práva. Mali by prestať hovoriť, že ľudia sú v slučke, keď ľudia nemôžu zmeniť výsledok. Mali by prestať hovoriť „transparentné“, keď dôkazová cesta je snímka obrazovky z dashboardu. Mali by prestať hovoriť „zodpovedná AI“, keď rozpočet neobsahuje žiadny čas na opravu, preskúmanie ani školenie. Slová môžu byť ambiciózne, ale prevádzka nakoniec vyúčtuje každé prídavné meno.
Lepší jazyk je konkrétny. Tento pracovný postup je poradný. Táto rola vlastní konečné rozhodnutie. Tieto zdroje sa používajú. Tieto zdroje sú vylúčené. Toto je cesta na prepísanie. Tieto prípady pozastavia automatizáciu. Tieto udalosti sa zaznamenávajú. Tieto metriky sa preskúmavajú každý mesiac. Tieto práva zostávajú inštitúcii. Tieto zlyhania si vyžadujú kontakt s dotknutými ľuďmi. Takto sa systém mení, keď majú používatelia pravdu a automatizácia sa mýli.
Tento jazyk nie je taký lesklý ako kampaň na budovanie dôvery. Je tiež oveľa ťažšie ho predstierať. Dáva používateľom čo testovať. Dáva manažérom čo financovať. Dáva audítorom čo kontrolovať. Dáva inžinierom cieľ. Dáva právnym tímom prevádzkový povrch. Dáva dotknutým ľuďom cestu, ako namietať. Dôvera sa stáva menej počasím a viac infraštruktúrou.
Nepohodlná pravda je, že dôvera môže na začiatku znížiť rýchlosť. Žiada tímy, aby definovali roly, písali záznamy, testovali cesty zlyhania a vyhradili si čas na preskúmanie. Táto rýchlosť sa však často neskôr vráti, pretože organizácia trávi menej času vysvetľovaním chaosu. Systém s jasnými operáciami dôvery sa môže pohybovať rýchlejšie pod tlakom, pretože ľudia vedia, čo môžu robiť. Najpomalší systém nie je ten opatrný. Je to ten vágny, ktorý objaví svoj model riadenia počas hovoru o incidente.
Ponaučenie
Dôvera je prevádzkový model, nie slogan. Je to usporiadanie účelu, dátovej autority, rozhodovacích práv, dôkazov, opráv, stimulov, rozhraní, hraníc dodávateľov a slučiek učenia. Je to to, čo ľuďom umožňuje spoliehať sa na systém bez toho, aby sa vzdali úsudku. Je to to, čo organizácii umožňuje používať automatizáciu bez toho, aby predstierala, že automatizácia nahradila zodpovednosť.
Praktický test je jednoduchý. Keď systém zlyhá, dokáže organizácia vidieť problém, povedať, kto ho vlastní, zastaviť ho, ak je to potrebné, opraviť ho, zapamätať si opravu a zlepšiť pracovný postup bez toho, aby obviňovala najbližšieho človeka, že si to všimol? Ak áno, dôvera má kde žiť. Ak nie, organizácia má veľké slovo na snímke a budúce stretnutie v chladnejšej miestnosti.