Todennäköisyyspohjaisten työnkulkujen piilokustannus
Lasku, jota kukaan ei nähnyt pilottivaiheessa
Pilotti näytti halvalta. Se oli ensimmäinen ongelma. Tiimi oli liittänyt tekoälyvaiheen tuttuun työnkulkuun: saapuvat asiakirjat luokiteltiin, niistä luotiin lyhyt yhteenveto, valittiin suositeltu reitti, ja ihmistarkastaja hyväksyi tai muutti sen. Demo oli siisti. Malli vaikutti pätevältä. Token-lasku oli pienempi kuin lounasbudjetti, mikä sai kaikki tuntemaan olonsa taloudellisesti kypsiksi. Joku sanoi sanan skaalautuva, ja huoneesta tuli hetkeksi vaarallinen.
Kolme kuukautta myöhemmin kustannuskeskustelu muuttui. Token-lasku ei edelleenkään ollut dramaattinen. Piilokustannukset olivat muualla. Tarkastajat käyttivät ylimääräisiä minuutteja rajatapausten tarkistamiseen. Uusinta-ajoja ilmestyi, koska sama syöte tuotti joskus riittävän erilaisen vastauksen. Poikkeusjonot kasvoivat. Data-tiimit tutkivat, miksi yksi asiakirjatyyppi hämäsi luokittelijaa. Operaatio lisäsi otantaa. Lakitiimi pyysi todisteita kiistellyistä tapauksista. Esimiehet kysyivät, miksi läpimenoaika oli muuttunut vähemmän ennustettavaksi. Insinöörit lisäsivät kehotteita, sitten suojauksia, sitten varajärjestelmiä, sitten seurantaa, sitten laskentataulukon, jota kukaan ei rakastanut mutta jonka kaikki avasivat. Työnkulku ei ollut räjähtänyt. Se oli saanut varianssia.
Tämä on todennäköisyyteen perustuvien työnkulkujen piilokustannus. Mallikutsu on kulutuksen näkyvä yksikkö, mutta toiminnallisen kustannuksen kantaa epävarmuus kutsun ympärillä. Todennäköisyyteen perustuva komponentti voi olla hyödyllinen, tehokas ja taloudellisesti järkevä. Se voi myös siirtää kustannuksia tarkastukseen, täsmäytykseen, todisteisiin, tukeen, jonojen suunnitteluun, häiriöanalyysiin, laadunmittaukseen ja ihmisen huomioon. Jos näitä kustannuksia ei ole suunniteltu työnkulkuun, ne saapuvat silti, yleensä vähemmällä kärsivällisyydellä.
Perinteiset työnkulkujärjestelmät eivät ole täydellisiä. Ne epäonnistuvat, ajautuvat ja yllättävät ihmisiä omilla tylsillä tavoillaan. Mutta niillä on usein hyödyllinen ominaisuus: sama syöte, tila ja sääntö tuottavat yleensä saman tuloksen. Todennäköisyyteen perustuvat järjestelmät heikentävät tätä oletusta. Joskus se on tarkoitus. Ne käsittelevät epäselvyyttä, kieltä, kuvia, sekavia asiakirjoja ja sumeaa tarkoitusta. Hyvä. Hinta on se, että operaatioiden on lakattava teeskentelemästä, että epävarmuus on demon yksityiskohta. Se on kustannusmallin ensiluokkainen syöte.
Varianssi ei ole toteutuksen yksityiskohta
Probabilistiset komponentit tuovat vaihtelua useassa kohdassa. Malli voi tuottaa hieman erilaista sanamuotoa. Luokittelija voi sijoittaa rajatapauksen kynnyksen kummalle puolelle tahansa. Hakija voi palauttaa erilaisen joukon lähteitä indeksipäivityksen jälkeen. Tiivistäjä voi jättää pois yksityiskohdan, joka oli myöhemmälle tarkastelijalle tärkeä. Työkaluja käyttävä agentti voi valita erilaisen toimintosarjan. Mikään tästä ei ole automaattisesti väärin. Se on yksinkertaisesti erilaista materiaalia kuin deterministinen koodi. Sen kohteleminen tavallisena koodina pelkästään siksi, että sillä on rajapinta, on kategorinen virhe, josta seuraa laskuja.
Vaihtelulla on operatiivisia seurauksia. Se lisää otannan ja tarkistuksen tarvetta. Se vaikeuttaa häiriöiden toistamista. Se tekee suorituskyvyn mittaamisesta vaikeampaa, koska keskimääräinen laatu voi piilottaa reunojen epävakauden. Se aiheuttaa erimielisyyttä käyttäjien välillä, jotka näkivät erilaisia tulosteita. Se voi tehdä alavirran järjestelmistä hauraita, kun ne odottavat vakaata rakennetta. Se voi muuttaa yksinkertaisen palvelutasosopimuksen keskusteluksi todennäköisyysjakaumista, mikä on oivallinen tapa selvittää, ketkä huoneessa todella pitävät matematiikasta.
Ensimmäinen kustannus on päätöksenteon kitka. Kun tulosteet vaihtelevat, ihmiset käyttävät aikaa sen päättämiseen, onko vaihtelulla merkitystä. Luonnos sähköpostiksi, joka sanoo saman asian eri sanoin, voi olla hyväksyttävä. Lääketieteellinen yhteenveto, joka jättää lääkkeen pois, ei ole. Tukiluokittelija, joka ohjaa yhden lipun eri tavalla, voi olla hyväksyttävä. Etuisuuksien kelpoisuusselvitys, joka muuttaa perustelujaan, ei ole. Työnkulku tarvitsee sietomallin: mikä vaihtelu on vaaratonta, mikä vaihtelu vaatii tarkistuksen ja mikä vaihtelu on kiellettyä.
Toinen kustannus on toistettavuus. Jos asiakas, kansalainen, tilintarkastaja tai insinööri kysyy, miksi päätös tapahtui, organisaation on pystyttävä toistamaan olennainen konteksti: mallin versio, kehote, hakujoukko, syöte, käytäntö, parametrit, työkalujen tulosteet ja ihmisen toiminta. Ilman tätä tallennetta tutkinta muuttuu esitystaiteeksi. Joku suorittaa kehotteen uudelleen, saa erilaisen vastauksen, ja huone oppii kantapään kautta, että uudelleen yrittäminen ei ole todiste.
Uudelleenyritykset eivät ole ilmaisia vain siksi, että ne ovat automatisoituja
Uudelleenyritykset näyttävät halvoilta koodin sisältä käsin. Jos malli antaa heikon vastauksen, kutsu sitä uudelleen. Jos luokittelija on epävarma, pyydä toinen näyte. Jos JSON-vastaus on virheellinen, korjaa se. Jos työkalu kutsu epäonnistuu, kokeile toista reittiä. Kone tekee työn, joten vaisto on kohdella uudelleenyrityksiä teknisenä liimana. Probabilistisessa työnkulussa uudelleenyritykset ovat käytäntöä. Ne päättävät, kuinka paljon vaihtelua järjestelmä saa piilottaa ennen kuin ihminen näkee sen.
Uudelleenyrityksille on hyviä syitä. Tilapäinen vika ei saisi pysäyttää prosessia. Virheellinen vastaus voidaan usein korjata. Toisen kierroksen pyytäminen voi parantaa laatua. Mutta uudelleenyritykset aiheuttavat myös kustannuksia ja epäselvyyttä. Kumpi tuloste lasketaan tallenteeksi. Säilytetäänkö kaikki yritykset. Korvaavatko myöhemmät yritykset aikaisemmat. Näytetäänkö tarkastelijalle epävakaus. Vääristävätkö uudelleenyritykset järjestelmää kohti varmemmilta kuulostavia vastauksia. Yritetäänkö uudelleen vain halpoja tapauksia, mikä vahingossa hidastaa tärkeitä tapauksia. Lasketaanko uudelleenyritykset kustannus- ja viivebudjetteihin. Nöyrällä uudelleenyrityksellä on paljon mielipiteitä, kun sen kutsuu tuotantoon.
Uudelleenyritykset muuttavat myös kannustimia. Jos tiimit tietävät, että järjestelmä jatkaa yrittämistä, kunnes tuloste sopii odotettuun muotoon, ne voivat alisijoittaa syötteen laatuun, skeeman suunnitteluun, keoterajoitteisiin tai deterministiseen esikäsittelyyn. Uudelleenyrityksestä tulee moppi. Mopit ovat hyödyllisiä. Rakennusstrategia, joka perustuu moppaamiseen, on vähemmän vaikuttava.
Parempi malli on luokitella uudelleenyritysten syyt. Väliaikainen infrastruktuurihäiriö on yksi luokka. Muotoilun korjaus on toinen. Matala luottamus on kolmas. Käytäntöristiriita on neljäs. Lähderistiriita on viides. Jokaisella luokalla on oltava rajat, kirjaukset ja eskalaatiosäännöt. Uudelleenyritystä, joka piilottaa epävarmuuden käyttäjältä, on kohdeltava eri tavalla kuin uudelleenyritystä, joka vain toipuu verkko-ongelmasta. Kustannus ei ole pelkästään laskenta. Se on kustannus siitä, minkä epävarmuuden organisaatio on valmis piilottamaan.
Poikkeusjono on todellinen arkkitehtuurikaavio
Jokainen todennäköisyyksiin perustuva työnkulku paljastaa lopulta todellisen rakenteensa poikkeusjonon kautta. Ei onnistumispolun. Onnistumispolku on paikka, jossa kaaviot käyvät näyttämässä pätevyyttään. Poikkeusjono näyttää, mitkä tapaukset järjestelmä ymmärtää huonosti, mitkä syötteet ovat likaisia, mitkä käytännöt ovat ristiriidassa, mitkä käyttäjät tarvitsevat tukea, mitkä kynnysarvot ovat väärin ja mitkä lupaukset on annettu liian aikaisin.
Jos poikkeusjono on suunniteltu hyvin, siitä tulee oppimispinta. Tapaukset luokitellaan, otetaan otoksiin, oikeat roolit arvioivat ne, ne yhdistetään lähdedatan korjauksiin, sidotaan käytäntömuutoksiin ja palautetaan arviointiin. Jos se on suunniteltu huonosti, siitä tulee suo. Vaikeat tapaukset makaavat työjonossa. Arvioijat keksivät paikallisia tapoja. Esimiehet näkevät vain määrän. Insinöörit näkevät vain kokonaisvirheet. Käyttäjät näkevät viiveen. Malli pysyy salaperäisenä, koska organisaatio piilotti parhaan todistusaineistonsa operatiiviseen liejuun.
Poikkeusten kustannus ei ole vain tapausten määrä. Se on niiden muoto. Kymmenen prosentin poikkeusosuus voi olla hallittavissa, jos tapaukset ovat nopeita, matalariskisiä ja helppoja ohjata. Kahden prosentin poikkeusosuus voi olla kallis, jos jokainen tapaus vaatii juridista tulkintaa, toimiala-arviointia, asiakaskontaktia ja todisteiden rekonstruointia. Keskimääräinen automaatioaste on siksi epäilyttävä mittari. Se kertoo, kuinka paljon kulki koneen läpi, ei sitä, kuinka paljon kustannuksia kone siirsi pois.
Poikkeussuunnittelun on oltava eksplisiittistä. Määrittele luottamusvyöhykkeet. Määrittele pidättäytyminen. Määrittele, mitkä ristiriidat pysäyttävät työnkulun. Määrittele, mitkä roolit voivat ratkaista mitkä luokat. Määrittele jonon enimmäisikä. Määrittele otosarviointi hyväksytyille tapauksille, ei vain epäonnistuneille. Määrittele, mitä korjataan, kun poikkeus toistuu. Muuten organisaatio ei ole automatisoinut työtä. Se on automatisoinut toisen, vähemmän näkyvän työn luomisen.
Todennäköisyyksiin perustuva tuotanto pakottaa alavirran järjestelmät neuvottelemaan
Ohjelmistojärjestelmät suosivat sopimuksia. Kenttä on päivämäärä. Tilalla on sallitut arvot. Summalla on tarkkuus. Säännöllä on haara. Todennäköisyyspohjaiset tulokset saapuvat usein kielenä, järjestyslistana, luottamuslukuna tai osittain jäsenneltyinä arvauksina. Seuraavat järjestelmät neuvottelevat. Ne jäsentävät. Ne validoivat. Ne korjaavat. Ne kysyvät uudelleen. Ne kartoittavat epätarkat tunnisteet tarkkoihin tiloihin. Ne luovat varajärjestelmiä. Jokainen neuvottelu on pieni kustannus. Riittävän monesta pienestä kustannuksesta tulee arkkitehtuuria.
Jäsennelty tulos auttaa, mutta se ei poista epävarmuutta. Malli voi tuottaa kelvollista JSONia ja silti valita väärän luokan. Se voi täyttää jokaisen kentän ja silti jättää ehdon pois. Se voi viitata lähteeseen ja silti lukea sen väärin. Skeema havaitsee muotovirheet. Se ei todista merkitystä. Tämä on yleinen ansa, koska muotovirheet näkyvät koneille ja merkitysvirheet näkyvät ihmisille. Arvaa kumpi korjataan ensin.
Seuraavien järjestelmien neuvottelu muuttaa myös omistajuutta. Jos tapaus ohjataan väärään paikkaan, koska mallin tulos oli epämääräinen ja integraatiokerros arvasi, kuka omistaa virheen. Mallitiimi. Alustatiimi. Prosessin omistaja. Arvioija. Datatiimi. Jokainen voi esittää uskottavan perustelun, ja siitä tietää, että toimintamalli puuttuu. Todennäköisyyspohjaiset työnkulut tarvitsevat omistajuuden rajapintaan, jossa epävarmuudesta tulee järjestelmän tila.
Yksi käytännöllinen tapa on erottaa toisistaan luottamus, täydellisyys ja seuraus. Luottamus kertoo, kuinka todennäköinen tulos on. Täydellisyys kertoo, onko vaadittu näyttö läsnä. Seuraus kertoo, kuinka paljon haittaa väärä toiminta voi aiheuttaa. Korkean luottamuksen tulos, josta puuttuu näyttöä, voi silti vaatia arviointia. Matalan luottamuksen tulos, jolla on vähäiset seuraukset, voidaan ohjata nopeasti. Keskitasoisen luottamuksen tulos, jolla on suuret seuraukset, voi vaatia eskalaatiota. Työnkulun ei pitäisi kohdella kaikkea epävarmuutta saman keltaisen sävynä.
Arviointi on toistuva käyttökustannus
Monet tiimit kohtelevat arviointia projektin vaiheena. Ennen julkaisua he kokoavat testijoukon, ajavat kehotteet, vertaavat tuloksia, pisteyttävät laatua ja julistavat valmiuden. Sitten todellisuus saapuu uusien asiakirjojen, uusien käyttäjien, uusien reunatapausten, uuden kielen, uuden politiikan ja uusien malliversioiden kanssa. Arviointijoukko alkaa vanhentua. Kuin juusto, paitsi vähemmän herkullista ja todennäköisemmin syynä palaveriin.
Todennäköisyyspohjaiset työnkulut tarvitsevat toistuvaa arviointia. Se tarkoittaa kuratoituja tapauksia, vastakkaisia tapauksia, tuoreita tuotanto-otoksia, regressiotestejä, alueellista arviointia, oikeudenmukaisuustarkistuksia tarvittaessa, kustannus- ja viive seurantaa sekä testejä, jotka ajetaan, kun kehotteet, mallit, hakemistot, politiikat tai lähdedata muuttuvat. Arviointi ei ole kertaluonteinen portti. Se on käyttöbudjetti sen tietämiseen, ansaitseeko työnkulku yhä liikennettä.
Tämä kustannus yllättää ihmiset, koska pilotti piilottaa sen. Pilotin aikana asiantuntijat ovat lähellä järjestelmää. He huomaavat ongelmia epävirallisesti. Syötteiden kirjo on rajallinen. Panokset ovat hallinnassa. Tuotannossa järjestelmästä tulee niin tylsää, että asiantuntijat lakkaavat seuraamasta jokaista tulosta, ja juuri silloin muodollisen arvioinnin on otettava ohjat. Todennäköisyyspohjainen järjestelmä ilman toistuvaa arviointia on kone, joka kuluttaa hitaasti luottamusta samalla kun raportoi käyttöaikaa.
Arviointi on myös sidottava päätöksiin. Jos laatu laskee, kuka voi keskeyttää. Jos viive kasvaa, kuka päättää, pienennetäänkö mallia, vähennetäänkö uudelleenyrityksiä vai lisätäänkö arviointikapasiteettia. Jos uusi malli parantaa keskimääräistä pistemäärää mutta heikentää kriittistä alaryhmää, kuka kieltäytyy päivityksestä. Jos kustannukset nousevat, koska poikkeukset lisääntyvät, kuka omistaa korjauksen. Hallintapaneeli, joka näyttää heikkenemisen ilman valtaa toimia, on vain kallis sääennuste.
Ihmistarkistuksella on jonoteoreettinen lasku
Ihmistarkistus lisätään usein rauhoittavana lauseena. Ihminen pysyy silmukassa. Ihanaa. Kuka ihminen, millä jonolla, millä kontekstilla, millä valtuuksilla, millä tavoitajoilla, millä eskalaatiopolulla, millä väsymismallilla ja millä varajärjestelmällä, kun järjestelmä lähettää liikaa rajatapauksia perjantaina kello 16.45. Silmukalla on logistiikkansa. Logistiikalla on kustannuksensa. Kustannuksilla on viehättävä tapa ilmestyä vasta arkkitehtuuridian jälkeen.
Tarkistuskapasiteetti ei ole lineaarinen. Pieni lisäys epävarmoissa tapauksissa voi aiheuttaa suuren lisäyksen odotusajassa, kun tarkistustiimi on lähellä kapasiteettinsa rajaa. Jonoteoria on julma mutta reilu. Jos saapuvat tapaukset muuttuvat vaihtelevammiksi ja palveluaika vaihtelevammaksi, viiveet voivat kasvaa nopeasti. Todennäköisyyspohjaiset työnkulut lisäävät usein molempia: epätasaisempaa tapausvaikeutta ja vaihtelevampaa tarkistusaikaa. Organisaatio saattaa uskoa automatisoineensa kahdeksankymmentä prosenttia työstä, kun jäljellä oleva kaksikymmentä prosenttia hiljaa hallitsee palvelutasosopimusta.
Tarkistuksen laatu riippuu myös kontekstista. Jos tarkistajat näkevät vain lopullisen vastauksen, heidän on pääteltävä, miksi se ilmestyi. Jos he näkevät lähteet, luottamuksen, käytännöt, aiemmat yritykset ja tunnetut epävarmuudet, he voivat toimia nopeammin ja paremmin. Jos heitä mitataan vain läpäisyllä, he oppivat luottamaan koneeseen liikaa tai vastustamaan sitä liian vähän. Ihmistarkistus ei ole taikaliuotin, joka kaadetaan epävarmuuden päälle. Se on ammattitaitoista työtä, joka tarvitsee suunnittelua.
Piilokustannus on huomio. Ihmiset eivät voi tarkastella rajattomasti epäselvyyttä loputtomiin. Väsymys muuttaa standardeja. Paikallisia tapoja ilmestyy. Joistakin tarkistajista tulee tiukkoja, toisista käytännöllisiä, toisista välinpitämättömiä. Työnkulku alkaa tuottaa erilaisia tuloksia riippuen siitä, kuka tapauksen sai. Sitten todennäköisyyspohjaista järjestelmää syytetään epäjohdonmukaisuudesta, jota organisaatio vahvisti tarkistuksen suunnittelussa. Kone tuotti vaihtelun. Ihmiset tuottivat jonodynamiikan. Hieno duetto, jos tavoitteena on auditoinnin tuska.
Kustannuslaskennan on sisällettävä epävarmuus
Hyödyllinen kustannusmalli todennäköisyyspohjaisille työnkuluille sisältää enemmän kuin mallikutsut. Se sisältää syötteen valmistelun, haun, uudelleenyritykset, validoinnin, tarkistusajan, poikkeusten käsittelyn, arvioinnin, näytön tallennuksen, poikkeamien analyysin, seurannan, käyttäjätuen, promptien ja käytäntöjen ylläpidon, datan korjauksen ja jälkikäteisen korjauksen. Se sisältää myös valinnaisuuden: kustannuksen mallin, toimittajan, promptin, indeksin tai työnkulun vaihtamisesta, kun nykyinen kokoonpano ei enää sovi.
Tämä ei tarkoita, että todennäköisyyksiin perustuvat työnkulut olisivat huonoja. Se tarkoittaa, että ne ovat todellisia. Moni niistä on kustannuksensa arvoinen. Järjestelmä, joka vähentää toistuvaa lukemista ja nostaa esiin riskialttiit tapaukset, voi olla erinomainen. Luokittelija, joka käsittelee sekavaa kieltä sääntöjä paremmin, voi säästää aikaa. Tiivistäjä, joka antaa asiantuntijoille hyvän ensimmäisen luonnoksen, voi parantaa palvelua. Tarkoitus ei ole välttää todennäköisyyttä. Tarkoitus on lopettaa sen käyttökustannusten piilottaminen muiden ihmisten kalentereihin.
Yksi hyödyllinen laskentatapa on hinnoitella tapausluokittain. Suoraviivaisissa tapauksissa on mallin, validoinnin ja otannan kustannus. Avustetuissa tapauksissa lisätään arvioijan aika. Poikkeustapauksiin lisätään luokittelun, asiantuntija-arvioinnin ja todisteiden kustannus. Kiistetyissä tapauksissa lisätään toisinnon, viestinnän ja mahdollisen korjauksen kustannus. Parannustapauksiin lisätään datan tai kehotteiden ylläpito. Tämä muuttaa automaatioasteen rikkaammaksi kuvaksi: ei vain se, kuinka moneen tapaukseen tekoäly koski, vaan se, miten epävarmuus muutti työmäärää ja riskiä.
Toinen menetelmä on seurata vaihtelubudjettia. Kuinka paljon tuotoksen vaihtelua tässä tehtävässä voidaan hyväksyä. Kuinka usein uudelleenajot voivat poiketa. Kuinka monta poikkeusta päivässä jono voi ottaa vastaan. Kuinka paljon arviointiaikaa tapaukselle on budjetoitu. Kuinka paljon todisteita on tallennettava. Kuinka nopeasti kiistetyt tuotokset on toistettava. Nämä luvut eivät poista epävarmuutta. Ne tekevät siitä hallittavaa.
Determinismillä on edelleen tehtävänsä
Todennäköisyyksiin perustuvien järjestelmien yleistyminen ei tee deterministisestä suunnittelusta vanhanaikaista. Se tekee deterministisistä rajoista arvokkaampia. Käytä determinististä jäsennystä, kun rakenne on saatavilla. Käytä eksplisiittisiä sääntöjä, kun politiikka on selkeää. Käytä vakaata hakua, kun lähteiden on oltava toistettavissa. Käytä skeemoja, validaattoreita, äärellisiä tiloja, versioituja kehotteita, kiinteitä arviointijoukkoja ja tallennettuja parametreja. Käytä todennäköisyyttä siihen tehtävän osaan, joka aidosti tarvitsee harkintaa epäselvyyden keskellä, etkä siihen osaan, joka tarvitsi vain jonkun kirjoittamaan tylsän koodin.
Tämä ei ole puhtautta. Se on kustannusten hallintaa. Jokainen deterministinen raja poistaa yhden paikan, josta vaihtelu voi vuotaa. Työnkulku, joka käyttää mallia sekavan tekstin lukemiseen, sitten determinististä validointia pakollisten kenttien tarkistamiseen, sitten sääntöjä tunnetun politiikan soveltamiseen ja sitten ihmisen arviointia suuren seurauksen epävarmuuteen, on yleensä helpompi operoida kuin työnkulku, joka pyytää mallia tekemään kaiken ja sitten yllättyy, kun kaikki sisältää useita mielipiteitä.
Determinismi parantaa myös todisteita. Jos sääntö aktivoitui, tallenna sääntö. Jos jäsennin poimi kentän, tallenna lähteen sijainti. Jos haku järjesti asiakirjat, tallenna indeksin versio ja pisteet. Jos malli tuotti tiivistelmän, tallenna kehote, lähdejoukko, mallin versio ja arvioijan päätös. Tavoite ei ole muuttaa jokaista työnkulkua oikeussaliksi. Tavoite on tehdä myöhemmistä kysymyksistä vastattavia ilman, että koko suunnittelutiimi kutsutaan kokoukseen nimeltä pikapalaveri.
Deterministisen ja todennäköisyyksiin perustuvan työn raja on oltava näkyvissä kaavioissa ja budjeteissa. Mikä vaihe voi vaihdella. Mikä vaihe ei saa. Mikä vaihe voidaan yrittää uudelleen. Mikä vaihe on toistettava täsmälleen. Mikä vaihe voidaan selittää tilastollisesti. Mikä vaihe tarvitsee tallenteen. Jos tiimi ei pysty piirtämään tätä rajaa, se ei voi rehellisesti arvioida kustannuksia.
Opetus
Todennäköisyyksiin perustuvien työnkulkujen piilokustannus ei ole syy välttää niitä. Se on syy ottaa ne rehellisesti huomioon. Kustannus näkyy uusintayrityksissä, tarkistuksissa, poikkeuksissa, todisteissa, arvioinneissa, jonoissa, tuessa ja hitaammassa työssä, jossa päätetään, mikä vaihtelu on hyväksyttävää. Jos työnkulku säästää aikaa onnistuneella polulla mutta kuluttaa sen takaisin kiistellyissä tapauksissa ja toiminnallisessa sumussa, liiketoimintaperustelu oli kirjoitettu vain puoliksi.
Hyvä todennäköisyyksiin perustuva toiminta alkaa siitä, että epävarmuutta käsitellään materiaalina. Nimeä, mihin se tulee. Rjaa, missä se saa vaihdella. Tallenna riittävästi kontekstia päätösten toistamiseksi. Suunnittele poikkeusjonot oppimispinnoiksi. Anna tarkistajille valtuudet ja aikaa. Arvioi jatkuvasti. Säilytä deterministiset rajat siellä, missä ne vähentävät kustannuksia. Hinnoittele poistuminen ja muutos. Suurin osa tästä ei ole hohdokasta. Se on merkki siitä, että se saattaa selvitä tuotannossa.
Mallikutsu on helppo rivikohta. Todellinen kysymys on, mitä organisaation on tehtävä ennen kutsua ja sen jälkeen, jotta tulokseen voidaan luottaa, sitä voidaan haastaa, korjata ja parantaa. Todennäköisyys voi tehdä työnkuluista kyvykkäämpiä. Se voi myös tehdä niistä vähemmän ennustettavia. Ero ei ole taikuutta. Se on toimintaa, joka on edelleen se paikka, jossa vaikuttavista demoista tulee joko hyödyllisiä tai kalliita.