Od pilotnih projektov z umetno inteligenco do odgovornega poslovanja
Pilot, ki je kar naprej zmagoval
Pilot je bil uspešen tako, kot piloti pogosto so. Prostor je bil majhen, uporabniki prijazni, primeri izbrani, ekipa dobavitelja pozorna, model se je obnašel dovolj dobro, na zadnjem prosojnici pa je bil odstotek, ob katerem so se vsi nagnili naprej. Asistent je skrajšal čas priprave osnutkov. Klasifikator je našel več ustreznih primerov. Iskalno orodje je prikazalo dokumente, za katere so ljudje pozabili, da obstajajo. Zaključek je bil očiten: razširiti.
Potem je pilot srečal ponedeljek. Ponedeljek je imel manjkajoče podatke, utrujeno osebje, robne primere, stare politike, zmedene uporabnike, pritisk čakalne vrste, počasno omrežje, vodjo, ki je do poldneva zahteval poročilo, in en primer, ki ni ustrezal nobeni kategoriji, ki jo je pilot uporabljal. Ponedeljek je tisti, ko programska oprema preneha biti možnost in postane odgovornost. Prav tako je tisti, ko mnogi umetnointeligenčni piloti tiho izgubijo čar, ki so ga imeli v prostoru.
Vrzel med pilotom in delovanjem ni predvsem kakovost modela. Je lastništvo. Pri pilotu so izjeme zanimive. Pri delovanju imajo izjeme stranke, paciente, državljane, sodelavce, račune in roke. Pri pilotu projektna ekipa pozorno spremlja. Pri delovanju morajo sistem spremljati ljudje, ki imajo drugo delo. Pri pilotu uspeh pomeni, da si ideja zasluži pozornost. Pri delovanju uspeh pomeni, da se organizacija nanj lahko zanese, ne da bi se pretvarjala, da je resničnost postala lažja.
Odgovorno delovanje je odrasla oblika umetnointeligenčnega pilota. Opredeljuje, kdo je lastnik delovnega toka, katera dejanja sistem sme podpirati, kateri dokazi so potrebni, kako se odkrijejo napake, kdaj se sistem ustavi, kako se ljudje pritožijo, kako se odobrijo spremembe in kako se meri vrednost, ko novost zbledi. Manj razburljivo kot pilot, seveda. Prav tako manj verjetno, da bo ustvarilo čudovito financirano zmešnjavo.
Pilot je lahko nepopoln
Dober pilot je namenoma nepopoln. Preizkuša vprašanje. Ali lahko ta model dovolj dobro razvrsti te dokumente, da se nadaljuje. Ali lahko ta asistent skrajša čas priprave osnutkov. Ali lahko ta vzorec iskanja prikaže ustrezne dokaze. Ali lahko ta pristop načrtovanja izboljša urnik. Pilot mora biti omejen, dovolj hiter za učenje in iskren glede pogojev, v katerih je potekal. Ne sme se pretvarjati, da je operativni model z manj sestanki.
Težava se začne, ko se dokazi iz pilotnega projekta povzdignejo prek svoje pristojnosti. Izbrani nabor primerov postane dokaz kakovosti proizvodnje. Prijazni uporabniki postanejo dokaz sprejetja. Prihranek časa v nadzorovanem delovnem toku postane poslovni argument za neurejen oddelek. Integracija, ki jo podpira dobavitelj, postane dokaz, da lahko notranje ekipe delujejo samostojno. Nadzorna plošča, ki jo projektna ekipa spremlja dnevno, postane dokaz, da nadzor obstaja. Pilotni projekt ni lagal. Organizacija je preveč interpretirala.
Pilotni projekti se pogosto izogibajo najtežjim vprašanjem, ker tako pilotni projekti napredujejo hitro. Kdo je lastnik modela po zagonu. Kdo posodablja poziv. Kdo obravnava pritožbo. Kaj se zgodi, ko podatki manjkajo. Kaj se zgodi, ko model zavrne. Kateri primeri nikoli ne smejo biti avtomatizirani. Kako se zazna odmik. Kako se sistem ustavi. Kakšna je pot vračanja. Kateri proračun plača vzdrževanje. Ta vprašanja lahko počakajo med raziskovanjem. Med delovanjem ne morejo čakati.
Ni sramote, če je pilotni projekt nepopoln. Sramota je, če ga razglasimo za pripravljenega, ker je bil očarljiv. Pilotni projekt si zasluži naslednjo fazo, ko prinese spoznanja, ne ko prinese navdušenje. Navdušenje je v nadzorovanem prostoru poceni ustvariti. Delovanje zahteva drugo valuto.
Dovoljena uporaba je prva operativna odločitev
Pred razširitvijo sistema umetne inteligence opredelite dovoljeno uporabo. Ne v ohlapnem jeziku, kot sta izboljšanje produktivnosti ali podpora pri odločanju. Poimenujte dejanje. Osnutek notranjih zapiskov. Povzetek dokazov za pregled. Razvrščanje primerov za obravnavo. Predlog poti. Odobritev transakcije z nizkim tveganjem. Zavrnitev zahteve. Pošiljanje sporočila. Vsak glagol nosi drugačno posledico. Delovanje ne more upravljati meglice.
Dovoljena uporaba mora vključevati meje. Kateri viri podatkov se lahko uporabljajo. Kateri primeri so izven obsega. Kateri prag zaupanja ali dokazov je zahtevan. Katera dejanja zahtevajo odobritev človeka. Katera dejanja so samo svetovalna. Kateri izhodi lahko zapustijo organizacijo. Kateri uporabniki jih lahko vidijo. Katere odločitve zahtevajo ohranjen zapis. Meja ni pravni okras. Je zemljevid, ki ga operaterji uporabijo, ko sistem naleti na primer, ki ga pilotni projekt ni povabil.
To je še posebej pomembno, ker se sistemi umetne inteligence pogosto širijo zaradi udobja. Orodje, ki pripravlja osnutke notranjih povzetkov, začne pripravljati odgovore strankam. Klasifikator, ki se uporablja za razvrščanje, začne vplivati na upravičenost. Iskalni pomočnik, ki ga uporabljajo strokovnjaki, začne odgovarjati začetnikom. Model, ki je bil ovrednoten v angleščini, se uporablja na prevedenem gradivu. Nihče nujno ne napove nove uporabe. Sistem preprosto postane uporaben na novem mestu. Uporabnost ni enaka pooblaščenosti.
Odgovorno delovanje zahteva register obsega, ki se dejansko uporablja. Povezati mora uporabo, posledico, dokaze, lastnika, kontrole, spremljanje in pregled. Ko nekdo vpraša, ali sistem lahko podpira novo dejanje, mora odgovor priti prek registra in procesa sprememb, ne prek pogovora na hodniku z rokom.
Lastništvo mora preživeti projektno ekipo
Pilote pogosto nosi posebna skupina ljudi, ki razume kontekst, si zapomni izjeme in hitro odgovarja na vprašanja, ker projekt še vedno diši po koledarju. Delovanje se na to ne more zanašati. Ljudje se menjajo. Dobavitelji odhajajo. Sponzorji gredo naprej. Navdušeni analitik napreduje, kar je lepo, dokler vsi ne ugotovijo, da je bila knjižnica pozivov večinoma v njegovi glavi.
Operativno lastništvo potrebuje vloge, ne heroje. Lastnik poslovanja je lastnik namena in sprejemljivega tveganja. Lastnik podatkov je lastnik kakovosti virov, popravkov in izvora. Tehnični lastnik je lastnik uvajanja, zmogljivosti, varnosti in integracije. Lastnik modela je lastnik vrednotenja, spremljanja in sprememb. Lastnik delovanja je lastnik priročnikov, podpore, odzivanja na incidente in povratnih informacij uporabnikov. Lastnik upravljanja je lastnik dokazov, pregledov in skladnosti z dovoljeno uporabo. V majhnih organizacijah lahko ena oseba opravlja več vlog. Vloge morajo vseeno imeti imena.
Lastništvo potrebuje tudi pooblastila. Ni dovolj, da nekoga postavimo za odgovornega, hkrati pa mu odvzamemo možnost, da začasno ustavi delovni tok, zahteva dokaze, zavrne spremembo, nameni čas za vzdrževanje ali stopnjuje tveganje. To ni lastništvo. To je okrasno skladišče krivde. Odgovorno delovanje zahteva pooblastila, enaka odgovornosti.
Proračun je del lastništva. Piloti imajo pogosto posebno financiranje. Delovanje potrebuje vzdrževalno financiranje: spremljanje, ponovno usposabljanje ali ponovno vrednotenje, podporo, usposabljanje uporabnikov, odpravljanje napak v podatkih, varnostni pregled, vaje za incidente in redno upravljanje. Če poslovni načrt financira le zagon, to ni poslovni načrt za delovanje. To je zabava ob zagonu z računi, skritimi pod prtom.
Proizvodni podatki niso pilotni podatki z več vrsticami
Proizvodni podatki imajo svoje muhe. Prihajajo zamujeni, nepopolni, podvojeni, prevedeni, ročno popravljeni, napačno razvrščeni, preimenovani s strani odborov, oblikovani z vzpodbudami in občasno vneseni s strani nekoga, ki ima slab dan. Pilotni nabori podatkov so pogosto čistejši, ker jih je nekdo izbral, očistil ali se zanje vsaj nekaj tednov zavzemal. Razlika je pomembnejša, kot ekipe pričakujejo.
Lastništvo podatkov pri operativnem delovanju mora vključevati svežino, izvor, pravice do popravkov, manjkajoče vrednosti, odmik, dostop, hrambo in izpeljane podatke. Sistemi umetne inteligence ustvarjajo izpeljano gradivo: vdelave, povzetke, ocene, oznake, značilnice, predpomnilnike in povratne informacije. To lahko vpliva na prihodnje odločitve. Če tega nihče ne upravlja, operacija pridobi drugo podatkovno okolje, ki je manj vidno od prvega in včasih vplivnejše. Zelo učinkovito, če je cilj presenečenje.
Operativno spremljanje bi zato moralo spremljati več kot le točnost modela. Spremljajte svežino virov, manjkajoča polja, nenavadne porazdelitve, pokritost pridobivanja, podvojitve, jezikovne premike, vedenje uporabnikov, razloge za preglasitve, izide pritožb, zakasnitve in stroške. Model je lahko še vedno tehnično brezhiben, medtem ko so podatki okoli njega izgubili pomen, ki so ga imeli med pilotnim projektom. Sistem ne ve, da je pilotnega projekta konec. Samo prejema vnose.
Pomembne so tudi poti popravkov. Ko uporabnik opazi, da je vir napačen, ali je vir mogoče popraviti. Ali se izpeljani podatki posodobijo. Ali zapis o odločitvi prikazuje staro stanje. Ali popravljen primer pouči model ali delovni postopek. Če popravek spremeni le vidni zapis, skrite značilnice pa ostanejo zastarele, operacija postane muzej starih napak s svežim slojem barve.
Spremljanje bi moralo vedeti, kaj pomeni dejanje
Številni načrti za spremljanje umetne inteligence se začnejo s tehničnimi merami: razpoložljivostjo, zakasnitvijo, stopnjo napak, porabo žetonov, oceno modela, metriko odmika. Te so nujne, a nezadostne. Odgovorno delovanje spremlja dejanje, ki ga sistem podpira. Če sistem usmerja primere, spremljajte napačne usmeritve, učinke na čakalne vrste, preobremenjenost strokovnjakov, zakasnjeno eskalacijo in preglasitve uporabnikov. Če pripravlja osnutke odgovorov, spremljajte trud za popravke, zmedenost strank, kršitve politik in ponavljajoča se urejanja. Če priporoča odločitve, spremljajte pritožbe, razveljavitve, izide v podskupinah in vrzeli v dokazih.
Vprašanje spremljanja ni le, ali model deluje. Je, ali delovni postopek še vedno zasluži zaupanje. Model lahko ostane stabilen, medtem ko se politika spremeni. Zakasnitev je lahko odlična, medtem ko kakovost dokazov upada. Točnost je lahko v povprečju visoka, medtem ko ena vrsta primerov propade. Stroški lahko padejo, medtem ko se predelava drugje poveča. Spremljanje, ki vidi le komponento, bo spregledalo napake, ki živijo v operaciji.
Operativno spremljanje potrebuje tudi pragove in lastnike. Kdo je obveščen, ko svežina vira odpove. Kaj se zgodi, če se stopnja preglasitev poveča. Katera raven odmika sproži pregled. Kateri vzorec pritožb začasno ustavi avtomatizacijo. Katero povečanje stroškov zahteva pregled arhitekture. Katera resnost incidenta zahteva obveščanje prizadetih oseb. Nadzorna plošča brez pravil za odzivanje je slika s številkami.
Najboljši zanki spremljanja vključujeta uporabnike. Uporabniki vedo, kdaj sistem olajšuje napačno stvar, kdaj je razlaga neuporabna, kdaj se pojavi nova vrsta primera ali kdaj se delovni postopek izkorišča. Povratne informacije naj bodo blizu dela. Obravnavajte jih kot operativni signal, ne kot mnenje. Ljudje, ki so najbližje delu, so pogosto prvi zaznavalci odmika, čeprav redko dobijo ta naziv.
Odziv na incident ni izbira, tudi če je model pameten
Incidenti z umetno inteligenco niso vedno eksplozije. Lahko so tihi: napačni povzetki, ki se teden dni ponavljajo, iskalno kazalo, ki izpušča vrsto dokumentov, klasifikator, ki se za eno regijo oddalji od cilja, posodobitev poziva, ki spremeni ton v reguliranih odgovorih, model, ki zavrača premalo, model, ki zavrača preveč, čakalna vrsta, ki se polni z robnimi primeri, za katere ni lastnika. Tihi incidenti so še vedno incidenti, če prizadenejo ljudi ali obveznosti.
Operativna pripravljenost vključuje priročnike za incidente. Kaj se šteje za incident z umetno inteligenco. Kdo ga lahko razglasi. Kako se sistem ustavi. Kateri dokazi se ohranijo. Katere odločitve potrebujejo pregled. Kateri uporabniki so obveščeni. Do katerega dobaviteljevega dostopa je treba imeti pooblastilo in kako je omejen. Kako se izvede povrnitev v prejšnje stanje. Kako se stopi v stik s prizadetimi. Kako se incident zaključi. Če je odgovor bomo zbrali ekipo, je ekipa že zamudila.
Priročnike je treba vaditi. Načrt obnovitve, ki še nikoli ni obnovil, je dokument upanja. Povrnitev modela, ki je nihče ni preizkusil, je okrasni izhod v sili. Postopek pritožbe, ki ne more priklicati ustreznega zapisa odločitve, je gledališče. Vaje razkrijejo dolgočasne težave, preden postanejo javne: manjkajoča pooblastila, nejasni lastniki, zastarela dokumentacija, nadzorne plošče, do katerih nihče ne more, in ena ključna oseba na dopustu na Frizijskih otokih z odličnimi mejami.
Pregled po incidentu naj se osredotoči na učenje sistema. Katero nevarnost smo spregledali. Kateri signal je bil prezrt. Kateri nadzor je odpovedal. Kateri človeški obvod je preprečil, da bi bilo slabše. Katera metrika je prikrila težavo. Kateri zapis odločitve je bil nepopoln. Kakšna sprememba je potrebna. Kriviti najbližjega operaterja je čustveno učinkovito in operativno šibko. Incidenti so dragi učitelji. Vsaj preberite lekcijo.
Upravljanje sprememb je tam, kjer piloti postanejo resni
Sistemi umetne inteligence se pogosto spreminjajo. Modeli se posodabljajo. Pozivi se premikajo. Viri za iskanje se širijo. Politike se spreminjajo. Uporabniki se prilagajajo. Podatkovne cevovode se spreminjajo. Dobaviteljeve komponente se razvijajo. Pilot lahko spremembe absorbira s tesno pozornostjo. Operacije potrebujejo upravljanje sprememb. Ne birokratsko močvirje, ampak disciplinirano pot, ki vpraša, na kaj sprememba vpliva in kako bo organizacija vedela, če gre narobe.
Vsaka pomembna sprememba mora navesti prizadeto uporabo, dokaze, teste, umik, komunikacijo in lastnika. Sprememba poziva za tveganje z nizkim tveganjem lahko zahteva hiter pregled in vzorčenje. Sprememba modela za priporočila o upravičenosti lahko zahteva ocenjevalne dele, senčni zagon, odobritev, združljivost zapisa odločitve in merila za umik. Nov vir podatkov lahko zahteva pregled izvora, oceno zasebnosti in spremljanje svežine. Sorazmernost je pomembna. Prav tako ni pretvarjanje, da so vse spremembe majhne, ker je bilo urejanje besedila videti majhno.
Upravljanje različic je ključno. Odločitve bi morale vedeti, kateri model, poziv, vir podatkov, pravilnik, prag in vmesnik so jih oblikovali. Brez upravljanja različic organizacija ne more pojasniti, zakaj se je en primer obnašal drugače kot drugi. Ne more čisto preiskati odstopanja. Ne more se z zaupanjem umakniti. Upravljanje različic ni glamurozno delo. Je nit, ki operacijam omogoča, da pulover razpletejo, ne da bi trdile, da je pulover šal.
Upravljanje sprememb preprečuje tudi širjenje obsega. Če želi ekipa sistem uporabiti za novo dejanje, bi morala pot spremembe vprašati, ali obstoječa ocena, nadzori, dokazi in lastništvo še vedno veljajo. Pogosto ne veljajo. To ne pomeni nikoli. Pomeni ne po naključju.
Vrednost je treba meriti po aplavzu
Pilotski projekti pogosto merijo vrednost tam, kjer jo je najlažje videti: prihranjen čas, izboljšana natančnost, najdeni dokumenti, ustvarjeni osnutki, zadovoljni uporabniki. Operacije morajo meriti vrednost po aplavzu. Ali se je predelava zmanjšala. Ali se je kakovost izboljšala pri težkih primerih. Ali je obremenitev osebja postala vzdržna. Ali so uporabniki prejeli jasnejše storitve. Ali so se pritožbe spremenile. Ali so se stroški premaknili ali le prenesli. Ali je sistem zmanjšal tveganje ali ga skril. Ali so odločitve postale lažje razložljive.
Prihranjen čas je še posebej zahrbten. Če orodje prihrani deset minut pri osnutku, a doda osem minut preverjanja, dve minuti popravkov in kasneje ponovno odprt primer, vrednost ni deset minut. Če prihrani čas strokovnjakov s prenosom dela na mlajše osebje, je vrednost lahko iluzija kadrovanja. Če pospeši lahke primere, medtem ko poslabša robne primere, se lahko povprečje izboljša, operacija pa postane manj poštena. Vrednost potrebuje pogled na celoten potek dela.
Vrednost vključuje tudi preprečeno škodo. Zavrnitev, ki prepreči slabo odločitev, ima vrednost. Opozorilo za spremljanje, ki ujame odstopanje, ima vrednost. Zapis odločitve, ki hitro razreši pritožbo, ima vrednost. Pot umika, ki omeji incident, ima vrednost. Te koristi je težje umestiti na pilotni diapozitiv, ker so videti kot stvari, ki se niso zgodile. Operacije bi jih morale vseeno upoštevati. Resni sistemi pogosto dokažejo svojo vrednost s tem, da naredijo dolgočasne tedne bolj verjetne.
Finančno lastništvo bi moralo odražati celotno sliko. Če avtomatizacija eni ekipi prihrani čas in drugi ustvari obremenitev s pregledovanjem, bi moral poslovni načrt prikazati oboje. Če vzdrževanje preprečuje prihodnje incidente, proračun ne bi smel obravnavati vzdrževanja kot neobveznega okrasa. Odgovorno delovanje zahteva računovodstvo, ki sledi delu, ne le kodi projekta.
Operativni pregled
Preden pilot preide v operativno uporabo, opravite operativni pregled. Dnevni red naj bo praktičen. Katera natančna uporaba je odobrena. Kdo je lastnik posamezne plasti. Kateri viri podatkov so v obsegu. Katere odločitve potrebujejo zapise. Kateri izhodi so svetovalni. Kateri primeri so izključeni. Kateri nadzori ustavijo nevarna dejanja. Katere metrike so pomembne. Kateri pragovi sprožijo pregled. Katere osebe so usposobljene. Kateri priročniki obstajajo. Kateri umik je bil preizkušen. Kateri proračun financira vzdrževanje.
Ta pregled naj vključuje ljudi, ki so blizu delu. Operaterje, podporno osebje, strokovnjake za področje, lastnike tveganj, lastnike podatkov, varnost, pravno službo in po potrebi predstavnike prizadetih uporabnikov. Cilj ni ustvariti množico. Cilj je preprečiti, da bi pilotska ekipa lastno pozornost zamenjala za operativni model. Ljudje, ki bodo živeli s sistemom, poznajo vprašanja, ki jih pilotska ekipa ni vedela zastaviti.
Pregled naj sme reči ni pripravljeno. Ne kot kazen, ampak kot uporabno stanje. Morda manjka pot za popravljanje podatkov. Morda so zapisi dokazov nepopolni. Morda je človeški pregled prepočasen. Morda je dovoljena uporaba nejasna. Morda spremljanje vidi napačne stvari. Morda vrednostni primer spregleda predelavo. Ni pripravljeno je ceneje pred zagonom kot po nastanku institucionalne odvisnosti.
Ko pregled reče pripravljeno, naj reče, za kaj. Pripravljeno za svetovalno uporabo v enem delovnem toku. Pripravljeno za omejeno produkcijo z vzorčenjem. Pripravljeno za avtomatizirano delovanje pod pragom posledic. Pripravljeno za širšo uvedbo po dveh mesecih spremljanja. Pripravljenost ni medalja. Je pogoj, vezan na uporabo.
Nauček
Prehod od pilotov z umetno inteligenco k odgovornemu delovanju ni tehnični korak uvajanja. Je prenos odgovornosti. Vprašanje se spremeni iz ali to deluje v ali to lahko obvladujemo, ko deluje, ko odpove, ko se spremeni, ko se ljudje nanj zanesejo in ko nas nekdo prosi, da ga pojasnimo. To je veliko boljše vprašanje in veliko manj priročno.
Piloti ostajajo dragoceni. Organizacijam omogočajo hitro in poceni učenje. Razkrijejo obljube. Zmanjšajo abstraktno razpravo. Ekipam pomagajo odkriti, kaj bi model, delovni tok ali vmesnik lahko počel. Toda pilot ni dokaz operativne odgovornosti. Je povabilo k njenemu oblikovanju.
Odgovorno delovanje potrebuje dovoljeno uporabo, lastništvo, nadzor nad podatki, spremljanje, odzivanje na incidente, upravljanje sprememb, evidence, povratne informacije uporabnikov, proračun in merjenje vrednosti, ki spremlja celoten delovni proces. Potrebuje ljudi, ki lahko ustavijo, popravijo, pojasnijo in izboljšajo. Potrebuje upravljanje, ki deluje, ko nihče ne ploska.
Ponedeljek bo prišel. Vedno pride. Vprašanje je, ali bo sistem umetne inteligence v ponedeljek prispel kot uspešen pilot z oboževalci ali kot odgovorno delovanje z nalogo, ki jo mora opraviti.