From AI-pilootprojektideni vastutustundlike toiminguteni
Piloot, mis võitis edasi
Piloot oli edukas nii, nagu piloodid sageli on. Ruum oli väike, kasutajad sõbralikud, juhtumid valitud, müüjameeskond tähelepanelik, mudel käitus piisavalt hästi ja lõpuslaidi protsent pani kõik ettepoole nõjatuma. Abiline vähendas koostamiseks kuluvat aega. Klassifikaator leidis rohkem asjakohaseid juhtumeid. Otsingutööriist tõi välja dokumendid, mille olemasolu inimesed olid unustanud. Järeldus oli ilmne: skaleerida.
Siis kohtus piloot esmaspäevaga. Esmaspäeval olid puuduvad andmed, väsinud töötajad, äärejuhtumid, vanad poliitikad, segaduses kasutajad, järjekorrasurve, aeglane võrk, juht, kes küsis keskpäevaks aruannet, ja üks juhtum, mis ei sobinud ühtegi kategooriasse, mida piloot oli kasutanud. Esmaspäev on see, kus tarkvara lakkab olemast võimalus ja saab vastutuseks. See on ka see, kus paljud AI-piloodid kaotavad vaikselt selle võlu, mis neil ruumis oli.
Lõhe piloodi ja operatsiooni vahel ei ole peamiselt mudeli kvaliteet. See on omandus. Piloodis on erandid huvitavad. Operatsioonis on erandite küljes kliendid, patsiendid, kodanikud, kolleegid, arved ja tähtajad. Piloodis jälgib projektimeeskond tähelepanelikult. Operatsioonis peavad süsteemi jälgima inimesed, kellel on muud tööd teha. Piloodis tähendab edu seda, et idee väärib tähelepanu. Operatsioonis tähendab edu seda, et organisatsioon saab sellele loota, ilma et ta teeskleks, et reaalsus on muutunud lihtsamaks.
Vastutusrikkad operatsioonid on AI-piloodi täiskasvanud vorm. Need määratlevad, kes omab töövoogu, milliseid toiminguid süsteem tohib toetada, millist tõendusmaterjali nõutakse, kuidas tõrkeid tuvastatakse, millal süsteem peatub, kuidas inimesed edasi kaevavad, kuidas muudatusi heaks kiidetakse ja kuidas väärtust mõõdetakse pärast seda, kui uudsus on kadunud. Vähem põnev kui piloot, kindlasti. Ka vähem tõenäoline, et see loob kaunilt rahastatud segaduse.
Piloot tohib olla puudulik
Hea piloot on teadlikult puudulik. See testib küsimust. Kas see mudel suudab neid dokumente piisavalt hästi klassifitseerida, et jätkata. Kas see abiline suudab koostamise aega vähendada. Kas see otsingumuster suudab asjakohaseid tõendeid esile tuua. Kas see planeerimisviis suudab ajakava parandada. Piloot peaks olema piiratud, piisavalt kiire, et sellest õppida, ja aus tingimuste suhtes, milles see töötas. See ei tohiks teeselda, et on operatiivmudel vähemate koosolekutega.
Probleem algab sellest, kui pilootprojekti tõendeid tõstetakse üle nende pädevuse. Valitud juhtumite kogum muutub tootmiskvaliteedi tõendiks. Sõbralikud kasutajad muutuvad kasutuselevõtu tõendiks. Kontrollitud töövoos säästetud aeg muutub äriplaaniks segasele osakonnale. Müüja toetatud integratsioon muutub tõendiks, et sisemised meeskonnad suudavad seda käitada. Juhtpaneel, mida projektimeeskond iga päev vaatab, muutub tõendiks, et monitooring on olemas. Pilootprojekt ei valetanud. Organisatsioon tõlgendas üle.
Pilootprojektid väldivad sageli kõige raskemaid küsimusi, sest nii liiguvad pilootprojektid kiiresti. Kes omab mudelit pärast käivitamist. Kes uuendab prompti. Kes tegeleb apellatsiooniga. Mis juhtub, kui andmed puuduvad. Mis juhtub, kui mudel keeldub. Milliseid juhtumeid ei tohi kunagi automatiseerida. Kuidas tuvastatakse triivi. Kuidas süsteem peatatakse. Mis on tagasipööramise tee. Milline eelarve katab hoolduse. Need küsimused võivad oodata avastamisfaasis. Need ei saa oodata operatiivfaasis.
Pilootprojekti mittetäielikkuses pole häbi. Häbi on selles, kui seda nimetatakse valmis olevaks, sest see oli võluv. Pilootprojekt teenib järgmise faasi, kui see toodab õppimist, mitte kui see toodab entusiasmi. Entusiasmi on kontrollitud ruumis lihtne tekitada. Operatiivtegevus nõuab teistsugust vääringut.
Lubatud kasutus on esimene operatiivne otsus
Enne AI-süsteemi skaleerimist määratlege lubatud kasutus. Mitte ebamäärases keeles nagu parandada tootlikkust või toetada otsuste tegemist. Nimetage tegevus. Koostage sisemiste märkmete mustand. Tehke ülevaate jaoks tõenditest kokkuvõte. Järjestage juhtumeid tähelepanu järgi. Soovitage marsruut. Kinnitage väikese riskiga tehing. Keelduge taotlusest. Saatke sõnum. Igal tegusõnal on erinev tagajärg. Operatiivtegevus ei saa juhtida udu.
Lubatud kasutus peaks sisaldama piire. Milliseid andmeallikaid võib kasutada. Millised juhtumid on ulatusest väljas. Milline usaldus- või tõenduslävi on nõutav. Millised toimingud nõuavad inimese kinnitust. Millised toimingud on ainult nõuandvad. Millised väljundid võivad organisatsioonist lahkuda. Millised kasutajad võivad neid näha. Milliste otsuste kohta tuleb säilitada arvestus. Piir ei ole juriidiline ilustus. See on kaart, mida operaatorid kasutavad, kui süsteem kohtab juhtumit, mida pilootprojekt ei kutsunud.
See on eriti oluline, sest AI-süsteemid kipuvad laienema mugavuse kaudu. Tööriist, mis koostab sisemiste kokkuvõtete mustandeid, hakkab koostama kliendivastuseid. Triaažiks kasutatav klassifikaator hakkab mõjutama abikõlblikkust. Ekspertide kasutatav otsinguassistent hakkab vastama algajatele. Mudelit, mida hinnati inglise keeles, kasutatakse tõlgitud materjali peal. Keegi ei teata tingimata uuest kasutusest. See lihtsalt muutub uues kohas abistavaks. Abistav ei ole sama mis volitatud.
Vastutustundlik operatiivtegevus nõuab ulatusregistrit, mida tegelikult kasutatakse. See peaks ühendama kasutuse, tagajärje, tõendid, omaniku, kontrollid, monitooringu ja ülevaate. Kui keegi küsib, kas süsteem saab toetada uut tegevust, peaks vastus tulema registri ja muudatusprotsessi kaudu, mitte koridori vestlusest tähtajaga.
Omand peab üle elama projektimeeskonna
Piloote veab sageli eriline inimrühm, kes mõistab konteksti, mäletab erandeid ja vastab kiiresti küsimustele, sest kalendris on veel projektilõhn. Toimingud ei saa sellele loota. Inimesed vahetuvad. Tarnijad lahkuvad. Sponsorid liiguvad edasi. Entusiastlik analüütik saab edutamise, mis on tore, kuni kõik mõistavad, et viipade raamatukogu oli enamasti tema peas.
Toimimise omand vajab rolle, mitte kangelasi. Äriomanik omab eesmärki ja aktsepteeritavat riski. Andmeomanik omab allika kvaliteeti, parandamist ja päritolu. Tehniline omanik omab juurutamist, jõudlust, turvet ja integratsiooni. Mudeli omanik omab hindamist, seiret ja muudatusi. Toimimise omanik omab tööjuhendeid, tuge, intsidentidele reageerimist ja kasutajate tagasisidet. Valitsemise omanik omab tõendust, läbivaatust ja lubatud kasutuse järgimist. Väikestes organisatsioonides võib üks inimene pidada mitut rolli. Rollid vajavad siiski nimesid.
Omand vajab ka volitusi. Ei piisa, kui keegi määratakse vastutavaks, kuid talle keelatakse töövoo peatamine, tõenduse nõudmine, muudatuse tagasilükkamine, hooldusaja eraldamine või riski edastamine. See ei ole omand. See on dekoratiivne süüdistuste hoidla. Vastutustundlik toimimine nõuab volitusi, mis on võrdsed vastutusega.
Eelarve on osa omandist. Pilootidel on sageli erirahastus. Toimingud vajavad hooldusrahastust: seiret, ümberõpet või uuesti hindamist, tuge, kasutajakoolitust, andmekvaliteedi parandusi, turbeülevaadet, intsidentide harjutusi ja perioodilist valitsemist. Kui äriplaan rahastab ainult käivitamist, ei ole see toimimise äriplaan. See on avamispidu, mille arved on laudlina alla peidetud.
Tootmisandmed ei ole piloodi andmed rohkemate ridadega
Tootmisandmetel on tuju. Need saabuvad hilja, on puudulikud, dubleeritud, tõlgitud, käsitsi parandatud, valesti klassifitseeritud, komiteede poolt ümber nimetatud, stiimulite kujundatud ja mõnikord sisestatud kellegi poolt, kellel on halb päev. Piloodi andmestikud on sageli puhtamad, sest keegi valis need välja, puhastas või vähemalt hoolitses nende eest mõne nädala. Erinevus on olulisem, kui meeskonnad ootavad.
Andmeomandus operatsioonides peab hõlmama värskust, päritolu, parandusõigusi, puuduvaid andmeid, triivi, juurdepääsu, säilitust ja tuletatud andmeid. AI-süsteemid loovad tuletatud materjali: manused, kokkuvõtted, skoorid, sildid, tunnused, vahemälud ja tagasiside. Need võivad mõjutada tulevasi otsuseid. Kui keegi neid ei oma, tekib operatsioonile teine andmevald, mis on esimesest vähem nähtav ja mõnikord mõjukam. Väga tõhus, kui eesmärk on üllatus.
Operatiivne monitooring peaks seega jälgima enamat kui ainult mudeli täpsust. Jälgida tuleks allikate värskust, puuduvaid välju, ebatavalisi jaotusi, hõive katvust, duplikaate, keele nihkeid, kasutajakäitumist, ülekirjutamise põhjuseid, edasikaebuste tulemusi, latentsust ja kulusid. Mudel võib olla tehniliselt korras, samal ajal kui selle ümber olevad andmed on lakanud tähendamast seda, mida nad pilootfaasis tähendasid. Süsteem ei tea, et pilootfaas on läbi. See lihtsalt saab sisendeid.
Ka parandusteed on olulised. Kui kasutaja märkab, et allikas on vale, kas allikat saab parandada. Kas tuletatud andmed uuenevad. Kas otsuse protokoll näitab vana olekut. Kas parandatud juhtum õpetab mudelit või töövoogu. Kui parandus muudab ainult nähtavat kirjet, samal ajal kui varjatud tunnused jäävad aegunuks, muutub operatsioon vanade vigade muuseumiks värske värvikihiga.
Monitooring peaks teadma, mida tegevus tähendab
Paljud AI-monitooringu plaanid algavad tehniliste mõõdikutega: tööaeg, latentsus, veamäär, tokenite kasutus, mudeli skoor, triivimõõdik. Need on vajalikud, kuid mitte piisavad. Vastutustundlikud operatsioonid jälgivad tegevust, mida süsteem toetab. Kui süsteem suunab juhtumeid, jälgige valesuunamisi, järjekorra mõjusid, spetsialistide ülekoormust, edasilükatud eskaleerimist ja kasutajate ülekirjutusi. Kui see koostab vastuseid, jälgige parandustöö mahtu, kliendi segadust, poliitikarikkumisi ja korduvaid muudatusi. Kui see soovitab otsuseid, jälgige edasikaebusi, ümberpööramisi, alarühmade tulemusi ja tõenduslünki.
Monitooringu küsimus ei ole ainult see, kas mudel töötab. See on see, kas töövoog väärib endiselt usaldust. Mudel võib jääda stabiilseks, samal ajal kui poliitika muutub. Latentsus võib olla suurepärane, samal ajal kui tõendite kvaliteet langeb. Täpsus võib olla keskmiselt kõrge, samal ajal kui üks juhtumitüüp kukub kokku. Kulud võivad langeda, samal ajal kui ümbertöö kasvab mujal. Monitooring, mis näeb ainult komponenti, jääb märkamata tõrkeid, mis elavad operatsioonis.
Operatiivne monitooring vajab ka lävesid ja omanikke. Keda teavitatakse, kui allika värskus ebaõnnestub. Mis juhtub, kui ülekirjutamise määr tõuseb. Milline triivimäär käivitab ülevaate. Milline edasikaebuste muster peatab automatiseerimise. Milline kulude kasv nõuab arhitektuuri ülevaadet. Milline intsidendi raskusaste nõuab mõjutatud inimeste teavitamist. Juhtpaneel ilma reageerimisreegliteta on maal numbritega.
Parimad monitooringu ahelad hõlmavad kasutajaid. Kasutajad teavad, millal süsteem muudab vale asja lihtsaks, millal selgitus on kasutu, millal ilmub uus juhtumitüüp või millal töövoogu mängitakse. Tehke tagasiside tööle lähedaseks. Käsitlege seda operatiivse signaalina, mitte meeleoluna. Inimesed, kes on tööle kõige lähemal, on sageli esimesed triivi tuvastajad, kuigi nad harva seda tiitlit saavad.
Intsidentidele reageerimine pole vabatahtlik lihtsalt sellepärast, et mudel on nutikas
AI intsidendid pole alati plahvatused. Need võivad olla vaiksed: nädal aega korratud valed kokkuvõtted, otsinguregistrist puuduv dokumendiklass, ühe piirkonna klassifikaatori triiv, reageerimise muutus reguleeritud vastustes pärast viiba uuendust, mudel, mis keeldub liiga vähe, mudel, mis keeldub liiga palju, järjekord, mis täitub äärejuhtumitega, mida keegi ei oma. Vaiksed intsidendid on siiski intsidendid, kui need mõjutavad inimesi või kohustusi.
Operatiivne valmisolek hõlmab intsidentide tegevuskavasid. Mis loetakse AI intsidendiks. Kes saab selle välja kuulutada. Kuidas süsteem peatatakse. Millised tõendid säilitatakse. Millised otsused vajavad ülevaatamist. Milliseid kasutajaid teavitatakse. Millist tarnija juurdepääsu vajatakse ja kuidas seda piiratakse. Kuidas tagasipööramine toimub. Kuidas mõjutatud inimestega ühendust võetakse. Kuidas intsident lõpetatakse. Kui vastus on, et paneme meeskonna kokku, on meeskond juba hiljaks jäänud.
Tegevuskavasid tuleks harjutada. Taasteplaan, mida pole kunagi taastatud, on lootuse dokument. Mudeli tagasipööramine, mida keegi pole proovinud, on dekoratiivne evakuatsiooniväljapääs. Apellatsiooniprotsess, mis ei suuda asjakohast otsuserecordsit kätte saada, on teater. Harjutused toovad esile igavad probleemid enne, kui neist saavad avalikud probleemid: puuduvad õigused, ebaselged omanikud, aegunud dokumentatsioon, armatuurlauad, kellelegi kättesaamatud, ja üks oluline inimene puhkusel Friisimaal suurepäraste piiridega.
Pärast intsidenti toimuv ülevaatus peaks keskenduma süsteemi õppimisele. Millisest ohust me mööda vaatasime. Millist signaali eirati. Milline kontroll ebaõnnestus. Milline inimeste töölahendus hoidis olukorda halvenemast. Milline mõõdik varjas probleemi. Milline otsuserecords oli puudulik. Milline muudatus on vajalik. Lähima operaatori süüdistamine on emotsionaalselt tõhus ja operatiivselt nõrk. Intsidendid on kallid õpetajad. Lugege vähemalt õppetund läbi.
Muudatuste haldamine on koht, kus pilootid muutuvad tõsiseks
AI süsteemid muutuvad sageli. Mudelid uuenevad. Viibad nihkuvad. Otsinguallikad laienevad. Poliitikad liiguvad. Kasutajad kohanevad. Andmetorud muutuvad. Tarnija komponendid arenevad. Piloot suudab muutusi vastu võtta tähelepaneliku järelevalvega. Operatsioonid vajavad muudatuste haldust. Mitte bürokraatlikku sood, vaid distsiplineeritud rada, mis küsib, mida muudatus mõjutab ja kuidas organisatsioon teada saab, kui see valesti läheb.
Iga oluline muudatus peaks nimetama mõjutatud kasutusjuhu, tõendusmaterjali, testid, tagasipööramise, suhtluse ja vastutaja. Kiire ülevaade ja valimipõhine kontroll võivad piisata madala riskiga mustandi muudatusest. Sobivussoovituste mudelimuudatus võib vajada hindamislõike, varilookäivitust, kinnitust, otsusearhiivi ühilduvust ja tagasipööramiskriteeriume. Uus andmeallikas võib vajada päritolu ülevaadet, privaatsushinnangut ja värskuse jälgimist. Proportsionaalsus on oluline. Samuti ei tohi teeselda, et kõik muudatused on väikesed, sest tekstimuudatus tundus väike.
Versioonihaldus on kriitiline. Otsused peaksid teadma, milline mudel, viip, andmeallikas, poliitika, lävend ja liideseversioon neid kujundasid. Ilma versioonihalduseta ei suuda organisatsioon selgitada, miks üks juhtum käitus teisiti kui teine. Ta ei suuda hälvet puhtalt uurida. Ta ei suuda enesekindlalt tagasi pöörata. Versioonihaldus pole glamuurne töö. See on lõng, mis laseb operatsioonidel kampsuni lahti harutada, väitmata, et kampsun on sall.
Muudatuste haldus hoiab ära ka ulatuse laienemise. Kui meeskond soovib süsteemi kasutada uue tegevuse jaoks, peaks muudatuse tee küsima, kas olemasolev hindamine, kontrollid, tõendusmaterjal ja vastutus kehtivad endiselt. Tihti ei kehti. See ei tähenda mitte kunagi. See tähendab mitte kogemata.
Väärtust tuleb mõõta pärast aplausi
Pilootprojektid mõõdavad väärtust seal, kus seda on kõige lihtsam näha: säästetud aeg, paranenud täpsus, leitud dokumendid, toodetud mustandid, rahulolevad kasutajad. Operatsioonid peavad mõõtma väärtust pärast aplausi. Kas ümbertegemine vähenes. Kas kvaliteet paranes rasketel juhtudel. Kas töötajate koormus muutus jätkusuutlikuks. Kas kasutajad said selgemat teenust. Kas apellatsioonid muutusid. Kas kulud liikusid või ainult nihkusid. Kas süsteem vähendas riski või peitis seda. Kas otsuseid oli lihtsam selgitada.
Säästetud aeg on eriti petlik. Kui tööriist säästab mustandi koostamisel kümme minutit, kuid lisab kaheksa minutit kontrolli, kaks minutit parandusi ja hiljem uuesti avatud juhtumi, pole väärtus kümme minutit. Kui see säästab spetsialistide aega, lükates töö noorematele töötajatele, võib väärtus olla personali illusioon. Kui see kiirendab lihtsaid juhtumeid, halvendades samal ajal äärejuhtumeid, võib keskmine paraneda ja operatsioon muutuda vähem õiglaseks. Väärtus vajab terviklikku töövoogu hõlmavat vaadet.
Väärtus hõlmab ka välditud kahju. Keeldumine, mis hoiab ära halva otsuse, omab väärtust. Jälgimishoiatus, mis tabab hälbe, omab väärtust. Otsusearhiiv, mis lahendab apellatsiooni kiiresti, omab väärtust. Tagasipööramistee, mis piirab intsidenti, omab väärtust. Neid kasusid on pilootprojekti slaidil raskem näidata, sest need näevad välja nagu asjad, mida ei juhtunud. Operatsioonid peaksid need siiski arvesse võtma. Tõsised süsteemid tõestavad sageli oma väärtust, muutes igavad nädalad tõenäolisemaks.
Finantsvastutus peaks kajastama tervikpilti. Kui automatiseerimine säästab ühe meeskonna aega ja loob teisele kontrollikoormuse, peaks äriplaan näitama mõlemat. Kui hooldus hoiab ära tulevasi intsidente, ei tohiks eelarve kohelda hooldust valikulise kaunistusena. Vastutusrikas operatsioon nõuab arvestust, mis järgib tööd, mitte ainult projekti koodi.
Tegevuse ülevaade
Enne kui piloot muutub tegevuseks, viige läbi tegevuse ülevaade. Päevakord peaks olema praktiline. Milline täpne kasutus on heaks kiidetud. Kes omab iga kihti. Millised andmeallikad on ulatuses. Millised otsused vajavad protokolle. Millised väljundid on nõuandvad. Millised juhtumid on välistatud. Millised tõkked peatavad ohtliku tegevuse. Millised mõõdikud on olulised. Millised künnised käivitavad ülevaate. Millised inimesed on koolitatud. Millised runbookid on olemas. Millist tagasipööramist on testitud. Milline eelarve rahastab hooldust.
See ülevaade peaks hõlmama inimesi, kes on tööle lähedal. Operaatorid, tugipersonal, valdkonnaeksperdid, riskiomanikud, andmeomanikud, turvalisus, õigusosakond ja mõjutatud kasutajate esindajad, kui see on asjakohane. Eesmärk ei ole luua rahvahulka. Eesmärk on vältida olukorda, kus pilootmeeskond peab oma tähelepanu ekslikult tegevusmudeliks. Inimesed, kes hakkavad süsteemiga koos elama, teavad küsimusi, mida pilootmeeskond ei osanud küsida.
Ülevaade peaks tohtima öelda, et pole valmis. Mitte karistusena, vaid kasuliku seisundina. Võib-olla puudub andmete parandamise tee. Võib-olla on tõendite protokollid puudulikud. Võib-olla on inimeste ülevaade liiga aeglane. Võib-olla on lubatud kasutus ebaselge. Võib-olla näeb seire valesid asju. Võib-olla ignoreerib väärtusjuhtum ümbertegemist. Mitte valmis on odavam enne käivitamist kui pärast seda, kui institutsionaalne sõltuvus on tekkinud.
Kui ülevaade ütleb, et on valmis, peaks see ütlema, milleks valmis. Valmis nõuandvaks kasutuseks ühes töövoolus. Valmis piiratud tootmiseks valimiga. Valmis automatiseeritud tegevuseks allpool tagajärje künnist. Valmis laiemaks kasutuselevõtuks pärast kahekuulist seiret. Valmisolek ei ole medal. See on kasutusega seotud tingimus.
Õppetund
Liikumine AI-pilootidelt vastutustundliku tegevuseni ei ole tehniline juurutamise samm. See on vastutuse üleandmine. Küsimus muutub sellest, kas see saab töötada, selleks, kas me suudame seda omada, kui see töötab, kui see ebaõnnestub, kui see muutub, kui inimesed sellele lootma hakkavad ja kui keegi palub meil seda selgitada. See on palju parem küsimus ja palju vähem mugav.
Piloodid jäävad väärtuslikuks. Need võimaldavad organisatsioonidel õppida kiiresti ja odavalt. Need paljastavad potentsiaali. Need vähendavad abstraktset arutelu. Need aitavad meeskondadel avastada, mida mudel, töövoog või liides võiks teha. Kuid piloot ei ole tõend tegevusvastutusest. See on kutse selle kujundamiseks.
Vastutustundlikud toimingud vajavad lubatud kasutust, omandit, andmekontrolli, seiret, intsidentidele reageerimist, muudatuste haldust, tõendusmaterjali, kasutajate tagasisidet, eelarvet ja väärtuse mõõtmist, mis hõlmab kogu töövoogu. Nad vajavad inimesi, kes oskavad peatada, parandada, selgitada ja täiustada. Nad vajavad juhtimist, mis töötab ka siis, kui keegi ei plaksuta.
Esmaspäev tuleb. See tuleb alati. Küsimus on selles, kas AI-süsteem jõuab esmaspäevaks kohale edukas pilootprojektina fännklubiga või vastutustundliku toiminguna, millel on töö teha.