Tõenäosuslike töövoogude varjatud hind
Arve, mida pilootprojektis keegi ei näinud
Pilootprojekt tundus odav. See oli esimene probleem. Meeskond oli ühendanud AI-etapi tuttava töövooga: saabuvad dokumendid klassifitseeriti, koostati lühike kokkuvõte, valiti soovitatud marsruut ja inimretsensent kiitis selle heaks või muutis seda. Demo oli korralik. Mudel tundus pädev. Tokenite arve oli väiksem kui lõunasöögi eelarve, mis pani kõiki tundma end rahaliselt küpsena. Keegi ütles sõna skaleeritav ja ruum muutus hetkeks ohtlikuks.
Kolm kuud hiljem muutus kulude teema. Tokenite arve polnud endiselt dramaatiline. Varjatud kulud olid mujal. Retsensendid kulutasid lisaminuteid piiripealsete väljundite kontrollimisele. Ilmusid korduskäivitused, sest sama sisend andis mõnikord piisavalt erineva vastuse. Erandijärjekorrad kasvasid. Andmemeeskonnad uurisid, miks üks dokumenditüüp klassifikaatorit segadusse ajas. Operatsioon lisas valimikontrolli. Õigusosakond küsis tõendeid vaidlusaluste juhtumite kohta. Juhid küsisid, miks tsükliaeg oli muutunud vähem prognoositavaks. Insenerid lisasid prompte, seejärel kaitsemehhanisme, seejärel varuvariante, seejärel monitooringu, seejärel tabeli, mida keegi ei armastanud, kuid mida kõik avasid. Töövoog polnud plahvatanud. See oli omandanud varieeruvuse.
See on tõenäosuslike töövoogude varjatud kulu. Mudelikõne on nähtav tarbimisühik, kuid tegevuskulu kannab määramatus kõne ümber. Tõenäosuslik komponent võib olla kasulik, võimas ja majanduslikult mõistlik. See võib ka nihutada kulusid kontrollimisele, vastavusse viimisele, tõenditele, toele, järjekorra kujundamisele, juhtumianalüüsile, kvaliteedimõõtmisele ja inimeste tähelepanule. Kui neid kulusid pole töövoogu sisse kavandatud, saabuvad need niikuinii, tavaliselt vähem kannatlikkusega.
Traditsioonilised töövoosüsteemid pole täiuslikud. Need ebaõnnestuvad, triivivad ja üllatavad inimesi omal igaval moel. Kuid neil on sageli kasulik omadus: sama sisend, olek ja reegel kipuvad andma sama tulemuse. Tõenäosuslikud süsteemid nõrgendavad seda eeldust. Mõnikord on see just mõte. Need tulevad toime mitmetähenduslikkusega, keelega, piltidega, segaste dokumentidega ja häguse kavatsusega. Hea. Hind on see, et operatsioon peab lõpetama teesklemise, et määramatus on demo detail. See on esmaklassiline sisend kulude mudelisse.
Varieeruvus pole juurutamise detail
Probabilistlikud komponendid toovad sisse varieeruvuse mitmes punktis. Mudel võib koostada pisut erineva sõnastuse. Klassifikaator võib paigutada piirjuhtumi künnise kummalegi poole. Otsingumootor võib pärast indeksi uuendamist tagastada erineva allikate hulga. Kokkuvõtja võib jätta välja detaili, mis hilisemale ülevaatajale oluline oli. Tööriistu kasutav agent võib valida erineva kõnede jada. Ükski neist pole automaatselt vale. See on lihtsalt erinev materjal kui deterministlik kood. Selle kohtlemine tavalise koodina, kuna sellel on API, on kategooriaviga, millel on arvel tagajärjed.
Varieeruvusel on operatiivsed tagajärjed. See suurendab valimi ja ülevaatuse vajadust. See muudab intsidentide taasesitamise keerulisemaks. See muudab jõudluse mõõtmise raskemaks, sest keskmine kvaliteet võib varjata serva ebastabiilsust. See tekitab lahkarvamusi kasutajate vahel, kes nägid erinevaid väljundeid. See võib muuta allavoolu süsteemid hapraks, kui need eeldavad stabiilset struktuuri. See võib muuta lihtsa teenustasemelepingu vestluseks tõenäosusjaotuste üle, mis on suurepärane viis avastada, kes ruumis tõeliselt matemaatikat armastab.
Esimene kulu on otsustushõõre. Kui väljundid varieeruvad, kulutavad inimesed aega otsustamisele, kas varieeruvus on oluline. Mustandmeil, mis ütleb sama asja erinevate sõnadega, võib olla vastuvõetav. Meditsiiniline kokkuvõte, mis jätab ravimi välja, ei ole. Tugiklassifikaator, mis suunab ühe piletikõne erinevalt, võib olla sobiv. Hüvitiste sobivuse selgitus, mis muudab oma põhjendust, ei ole. Töövoog vajab tolerantsimudelit: milline varieeruvus on kahjutu, milline nõuab ülevaatust ja milline on keelatud.
Teine kulu on reprodutseeritavus. Kui klient, kodanik, audiitor või insener küsib, miks otsus tehti, peab organisatsioon suutma taasesitada asjakohase konteksti: mudeli versioon, viip, otsingukomplekt, sisend, poliitika, parameetrid, tööriista väljundid ja inimese tegevus. Ilma selle kirjeta muutub uurimine etenduseks. Keegi käivitab viibu uuesti, saab teistsuguse vastuse ja ruum õpib rängalt, et uuesti proovimine ei ole tõend.
Uuesti proovimine ei ole tasuta lihtsalt sellepärast, et see on automatiseeritud
Uuesti proovimine tundub koodi seest odav. Kui mudel annab nõrga vastuse, kutsu seda uuesti. Kui klassifikaator on ebakindel, küsi teist valimit. Kui JSON-vastus on vigane, paranda see. Kui tööriista kõne ebaõnnestub, proovi teist teed. Masin teeb töö ära, nii et instinkt on kohelda uuesti proovimist inseneriliimina. Probabilistlikus töövoos on uuesti proovimine poliitika. See otsustab, kui palju varieeruvust süsteemil lubatakse varjata enne, kui inimene seda näeb.
Uuesti proovimiseks on häid põhjuseid. Mööduv tõrge ei tohiks protsessi peatada. Valesti vormistatud vastuse saab sageli parandada. Teise läbimise küsimine võib kvaliteeti parandada. Kuid uuesti proovimine tekitab ka kulusid ja ebaselgust. Milline väljund loeb kirjena. Kas hoiame kõik katsed alles. Kas hilisemad katsed kirjutavad varasemad üle. Kas näitame ülevaatajale ebastabiilsust. Kas uuesti proovimine kallutab süsteemi enesekindlama kõlaga vastuste poole. Kas proovime uuesti ainult odavaid juhtumeid, muutes kogemata olulised juhtumid aeglasemaks. Kas arvestame uuesti proovimise kuludesse ja latentsuseelarvetesse. Tagasihoidlikul uuesti proovimisel on palju arvamusi, kui selle tootmisse kutsud.
Uuesti proovimine muudab ka stiimuleid. Kui meeskonnad teavad, et süsteem proovib edasi, kuni väljund sobib oodatud kujuga, võivad nad alainvesteerida sisendi kvaliteeti, skeemi kujundusse, viibi piirangutesse või deterministlikku eeltöötlusse. Uuesti proovimisest saab mopp. Mopid on kasulikud. Moppimisel põhinev ehitusstrateegia on vähem muljetavaldav.
Parem muster on põhjuste liigitamine. Ajutine infrastruktuuritõrge on üks kategooria. Vorminduse parandamine on teine. Madal usaldusväärsus on kolmas. Poliitikakonflikt on neljas. Allikakonflikt on viies. Igal kategoorial on vaja piiranguid, andmeid ja eskaleerimisreegleid. Uuesti proovimist, mis varjab kasutaja eest ebakindlust, tuleks kohelda teisiti kui uuesti proovimist, mis lihtsalt taastub võrgu tõrkest. Kulud ei ole ainult arvutuslikud. Need on kulud selle otsustamiseks, millist ebakindlust organisatsioon on valmis varjama.
Erandijärjekord on tegelik arhitektuuriskeem
Iga tõenäosuslik töövoog paljastab lõpuks oma tegeliku kujunduse erandijärjekorra kaudu. Mitte õnneliku tee kaudu. Õnnelik tee on koht, kus skeemid näevad töökorras välja. Erandijärjekord näitab, milliseid juhtumeid süsteem ei mõista, millised sisendid on määrdunud, millised poliitikad on vastuolus, millised kasutajad vajavad tuge, millised lävendid on valed ja milliseid lubadusi anti liiga vara.
Kui erandijärjekord on hästi kujundatud, muutub see õppimispinnaks. Juhtumid liigitatakse, valimitakse, vaadatakse läbi õigete rollide poolt, ühendatakse andmeallika parandustega, seotakse poliitikamuudatustega ja suunatakse tagasi hindamisse. Kui see on halvasti kujundatud, muutub see sooks. Keerulised juhtumid seisavad ootejärjekorras. Läbivaatajad loovad kohalikke harjumusi. Juhid näevad ainult mahtu. Insenerid näevad ainult koondtõrkeid. Kasutajad näevad viivitusi. Mudel jääb mõistatuslikuks, sest organisatsioon peitis oma parima tõendusmaterjali operatiivsesse mudasse.
Erandite hind ei ole ainult juhtumite arv. See on nende kuju. Kümne protsendi erandimäär võib olla juhitav, kui juhtumid on kiired, madala riskiga ja kergesti suunatavad. Kahe protsendi erandimäär võib olla kulukas, kui iga juhtum vajab õiguslikku tõlgendamist, valdkonna ülevaadet, kliendisuhtlust ja tõendusmaterjali rekonstrueerimist. Keskmine automatiseerimismäär on seetõttu kahtlane mõõdik. See näitab, kui palju läbis masina, mitte kui palju kulusid masin asendas.
Erandite kujundus peaks olema selgesõnaline. Määratlege usaldusvahemikud. Määratlege hoidumine. Määratlege, millised konfliktid peatavad töövoo. Määratlege, millised rollid saavad lahendada milliseid klasse. Määratlege maksimaalne järjekorra vanus. Määratlege aktsepteeritud juhtumite valimipõhine läbivaatus, mitte ainult ebaõnnestunute oma. Määratlege, mida parandatakse, kui erand kordub. Muidu pole organisatsioon tööd automatiseerinud. See on automatiseerinud teise, vähem nähtava töökoha loomise.
Tõenäosuslik väljund sunnib allavoolu süsteeme läbi rääkima
Tarkvarasüsteemid eelistavad lepinguid. Väli on kuupäev. Olekul on lubatud väärtused. Summal on täpsus. Reeglil on haru. Tõenäosuslikud väljundid saabuvad sageli keelena, järjestusena, usaldusväärsusena või osaliselt struktureeritud oletustena. Allavoolu süsteemid hakkavad siis läbi rääkima. Nad parsimivad. Nad valideerivad. Nad parandavad. Nad küsivad uuesti. Nad kaardistavad hägused sildid täpseteks olekuteks. Nad loovad varuvariante. Iga läbirääkimine on väike kulu. Piisavalt paljudest väikestest kuludest saab arhitektuur.
Struktureeritud väljund aitab, kuid see ei kõrvalda ebakindlust. Mudel võib toota kehtivat JSON-i ja valida siiski vale kategooria. See võib täita iga välja ja jätta siiski tingimuse välja. See võib viidata allikale ja lugeda seda siiski valesti. Skeem tabab kujuvead. See ei tõesta tähendust. See on tavaline lõks, sest kujuvead on masinatele nähtavad ja tähendusvead on nähtavad inimestele. Arvake, kumb enne parandatakse.
Allavoolu läbirääkimine muudab ka omandust. Kui juhtum suunatakse valesti, sest mudeli väljund oli ebamäärane ja integratsioonikiht oletas, siis kellele kuulub viga. Mudelimeeskonnale. Platvormimeeskonnale. Protsessi omanikule. Ülevaatajale. Andmemeeskonnale. Igaüks võib esitada mõistliku argumendi, mis ongi märk sellest, et toimimismudel puudub. Tõenäosuslikud töövood vajavad omandust piiril, kus ebakindlusest saab süsteemi olek.
Üks praktiline meetod on eraldada usaldusväärsus, täielikkus ja tagajärg. Usaldusväärsus ütleb, kui tõenäoline väljund on. Täielikkus ütleb, kas nõutud tõendid on olemas. Tagajärg ütleb, kui suurt kahju vale tegevus võib põhjustada. Kõrge usaldusväärsusega väljund, millel puuduvad tõendid, võib siiski vajada ülevaatamist. Madala usaldusväärsusega ja väikese tagajärjega väljundi võib kiiresti suunata. Keskmise usaldusväärsusega ja suure tagajärjega väljund võib vajada eskaleerimist. Töövoog ei tohiks kohelda kogu ebakindlust sama kollase värvina.
Hindamine on korduv tegevuskulu
Paljud meeskonnad käsitlevad hindamist projekti faasina. Enne käivitamist pannakse kokku testikomplekt, käivitatakse päringud, võrreldakse väljundeid, võib-olla hinnatakse kvaliteeti ja kuulutatakse valmisolek. Siis saabub reaalsus uute dokumentide, uute kasutajate, uute äärejuhtumite, uue keele, uue poliitika ja uute mudeliversioonidega. Hindamiskomplekt hakkab vananema. Nagu juust, ainult vähem maitsev ja tõenäolisemalt koosoleku põhjustaja.
Tõenäosuslikud töövood vajavad korduvat hindamist. See tähendab kureeritud juhtumeid, vastandlikke juhtumeid, hiljutisi tootmisnäidiseid, regressioonikomplekte, valdkonnaülevaadet, õigluskontrolle seal, kus see on asjakohane, kulu- ja latentsusjälgimist ning teste, mis käivitatakse, kui päringud, mudelid, otsinguindeksid, poliitikad või lähteandmed muutuvad. Hindamine ei ole ühekordne värav. See on tegevuseelarve teadmiseks, kas töövoog väärib endiselt liiklust.
See kulu üllatab inimesi, sest piloot varjab seda. Piloodi ajal on eksperdid süsteemi lähedal. Nad märkavad probleeme mitteametlikult. Sisendite valik on piiratud. Panused on piiratud. Tootmises muutub süsteem piisavalt igavaks, et eksperdid lõpetavad iga väljundi jälgimise, mis on just see hetk, mil formaalne hindamine peab üle võtma. Tõenäosuslik süsteem ilma korduva hindamiseta on masin, mis kulutab aeglaselt usaldust, teatades samal ajal tööajast.
Hindamine peab olema seotud ka otsustega. Kui kvaliteet langeb, siis kes saab peatada. Kui latentsus kasvab, siis kes otsustab, kas vähendada mudeli suurust, vähendada uuesti proovimisi või lisada ülevaatusvõimekust. Kui uus mudel parandab keskmist tulemust, kuid halvendab kriitilist alarühma, siis kes keeldub uuendusest. Kui kulud kasvavad, sest erandid suurenevad, siis kes omab parandust. Juhtpaneel, mis näitab langust ilma tegutsemisvolituseta, on lihtsalt kallis ilmaprognoos.
Inimülevaatusel on järjekorrateooria arve
Inimülevaatus lisatakse sageli rahustava fraasina. Inimene jääb ahelasse. Tore. Milline inimene, millise järjekorra, millise konteksti, millise volitusega, millise sihtajaga, millise eskaleerimistee, millise väsimusmudeli ja millise tagavaraga, kui süsteem saadab reede kell 16:45 liiga palju piirjuhtumeid. Ahelal on logistika. Logistikal on kulud. Kuludel on veetlev komme ilmuda pärast arhitektuurislaidi.
Ülevaatusvõimekus ei ole lineaarne. Väike ebakindlate juhtumite kasv võib tekitada suure ooteaja kasvu, kui ülevaatusmeeskond on lähedal oma piirile. Järjekorrateooria on julm, aga õiglane. Kui saabumised muutuvad varieeruvamaks ja teenindusaeg varieeruvamaks, võivad viivitused kiiresti kasvada. Tõenäosuslikud töövood suurendavad sageli mõlemat: ebaühtlasemat juhtumite keerukust ja varieeruvamat ülevaatusaega. Organisatsioon võib uskuda, et automatiseeris kaheksakümmend protsenti tööst, samal ajal kui ülejäänud kakskümmend protsenti kontrollib vaikselt teenustasemelepingut.
Ülevaatuse kvaliteet sõltub ka kontekstist. Kui ülevaatajad näevad ainult lõplikku vastust, peavad nad rekonstrueerima, miks see ilmus. Kui nad näevad allikaid, usaldusväärsust, poliitikat, varasemaid katseid ja teadaolevaid ebakindlusi, saavad nad tegutseda kiiremini ja paremini. Kui neid mõõdetakse ainult läbilaskevõime järgi, õpivad nad masinat kas liiga palju usaldama või liiga vähe vaidlustama. Inimülevaatus ei ole maagiline lahusti, mida ebakindluse peale valada. See on oskustöö, mis vajab kavandamist.
Varjatud kulu on tähelepanu. Inimesed ei suuda lõputult ebamäärasust lõputult üle vaadata. Väsimus muudab standardeid. Tekivad kohalikud harjumused. Mõned ülevaatajad muutuvad rangeteks, teised pragmaatilisteks, kolmandad leppivateks. Töövoog hakkab andma erinevaid tulemusi sõltuvalt sellest, kes juhtumi kätte sai. Siis süüdistatakse tõenäosuslikku süsteemi ebajärjekindluses, mida organisatsioon ise ülevaatuskavandiga võimendas. Masin andis varieeruvuse. Inimesed andsid järjekorradünaamika. Kena duett, kui eesmärk on auditivalu.
Kuluarvestus peab hõlmama ebakindlust
Kasulik kul mudel tõenäosuslike töövoogude jaoks hõlmab enamat kui mudelikõnesid. See hõlmab sisendi ettevalmistamist, otsingut, korduskatset, valideerimist, ülevaatusaega, erandite käsitlemist, hindamist, tõendite salvestamist, intsidentide analüüsi, monitooringut, kasutajatuge, päringute ja poliitikate hooldust, andmete parandamist ja allavoolu remonti. See hõlmab ka valikuvõimalusi: mudeli, tarnija, päringu, indeksi või töövoo muutmise kulu, kui praegune seadistus enam ei sobi.
See ei tähenda, et tõenäosuslikud töövood oleksid halvad. See tähendab, et need on reaalsed. Paljud on kulutust väärt. Süsteem, mis vähendab korduvat lugemist, tuues samal ajal esile riskantsed juhtumid, võib olla suurepärane. Klassifikaator, mis tuleb segase keelega toime paremini kui reeglid, võib aega säästa. Kokkuvõtja, mis annab ekspertidele hea esimese läbivaatuse, võib teenust parandada. Asi pole selles, et tõenäosust vältida. Asi on selles, et lõpetada selle tegevuskulude peitmine teiste inimeste kalendritesse.
Üks kasulik arvestusmeetod on hinnastamine juhtumiklassi järgi. Otse läbi minevate juhtumite puhul on mudeli, valideerimise ja valimi kulud. Abistatud juhtumitele lisandub hindaja aeg. Erandjuhtumitele lisanduvad triaaži, spetsialisti läbivaatuse ja tõendite kulud. Vaidlustatud juhtumitele lisanduvad reprodutseerimise, suhtluse ja võimaliku parandamise kulud. Parendusjuhtumitele lisandub andmete või viipade hooldus. See muudab automatiseerimismäära rikkamaks pildiks: mitte ainult see, kui paljude juhtumitega AI tegeles, vaid see, kuidas ebakindlus muutis tööjõudu ja riske.
Teine meetod on variatsioonieelarve jälgimine. Kui palju väljundi varieerumist on selle ülesande puhul vastuvõetav. Kui sageli võivad korduskatsed erineda. Kui palju erandeid päevas suudab järjekord vastu võtta. Kui palju läbivaatusaega juhtumi kohta on eelarvestatud. Kui palju tõendeid tuleb salvestada. Kui kiiresti tuleb vaidlustatud väljundeid reprodutseerida. Need numbrid ei eemalda ebakindlust. Need muudavad selle juhitavaks.
Determinismil on endiselt ülesanne
Tõenäosuslike süsteemide tõus ei muuda deterministlikku inseneritööd vanamoodseks. See muudab deterministlikud piirid väärtuslikumaks. Kasutage deterministlikku parsinguid, kus struktuur on saadaval. Kasutage selgesõnalisi reegleid, kus poliitika on selge. Kasutage stabiilset otsingut, kus allikad peavad olema reprodutseeritavad. Kasutage skeeme, validaatoreid, lõplikke olekuid, versioonitud viipasid, fikseeritud hindamiskomplekte ja salvestatud parameetreid. Kasutage tõenäosust selle ülesande osa jaoks, mis tõesti vajab hinnangut mitmetähenduslikkuse üle, mitte selle osa jaoks, mis vajas ainult seda, et keegi kirjutaks igava koodi.
See ei ole puhtus. See on kulukontroll. Iga deterministlik piir eemaldab ühe koha, kus variatsioon võib lekkida. Töövoog, mis kasutab mudelit segase teksti lugemiseks, seejärel deterministlikku valideerimist nõutud väljade kontrollimiseks, seejärel reegleid teadaoleva poliitika rakendamiseks ja seejärel inimese läbivaatust suure tagajärjega ebakindluse korral, on tavaliselt lihtsamini hallatav kui töövoog, mis palub mudelil teha kõike ja on siis üllatunud, kui kõik hõlmab mitut arvamust.
Determinism parandab ka tõendusmaterjali. Kui reegel käivitus, salvestage reegel. Kui parser eraldas välja, salvestage allika asukoht. Kui otsing järjestas dokumente, salvestage indeksi versioon ja skoorid. Kui mudel koostas kokkuvõtte, salvestage viip, allikakomplekt, mudeli versioon ja hindaja otsus. Eesmärk ei ole muuta iga töövoogu kohtusaaliks. Eesmärk on muuta hilisemad küsimused vastatavaks ilma, et peaksite kutsuma kogu insenerimeeskonna koosolekule nimega kiire sünkroonimine.
Piir deterministliku ja tõenäosusliku töö vahel peaks olema diagrammides ja eelarvetes selgesõnaline. Milline samm võib varieeruda. Milline samm ei tohi. Millist sammu saab uuesti proovida. Milline samm tuleb täpselt taasesitada. Millist sammu saab statistiliselt selgitada. Milline samm vajab salvestust. Kui meeskond ei suuda seda piiri joonistada, ei suuda ta ausalt kulusid hinnata.
Õppetund
Tõenäosuslike töövoogude varjatud kulu ei ole põhjus neist loobumiseks. See on põhjus nendega ausalt arvestada. Kulu ilmneb korduskatsetes, ülevaatustes, erandites, tõendites, hindamises, järjekordades, toes ja aeglasemas töös, mille käigus otsustatakse, milline varieerumine on vastuvõetav. Kui töövoog säästab aega õnnelikul teel, kuid kulutab selle tagasi vaidlusalustel juhtudel ja operatiivses udus, oli äriplaan vaid pooleldi kirjutatud.
Hea tõenäosuslik opereerimine algab ebakindluse käsitlemisest materjalina. Nimetage, kus see siseneb. Piirake, kus see võib varieeruda. Salvestage piisavalt konteksti, et otsuseid saaks taasesitada. Kujundage erandite järjekorrad õppimispindadena. Andke ülevaatajatele volitus ja aeg. Hinnake pidevalt. Hoidke deterministlikke piire seal, kus need vähendavad kulusid. Hinnastage väljumine ja muutus. Enamik sellest ei ole glamuurne. See on märk, et see võib tootmises vastu pidada.
Mudelikõne on lihtne reaüksus. Tegelik küsimus on see, mida organisatsioon peab tegema enne ja pärast seda kõnet, et väljundit saaks usaldada, vaidlustada, parandada ja täiustada. Tõenäosus võib muuta töövood võimekamaks. See võib muuta need ka vähem prognoositavaks. Erinevus ei ole maagia. See on opereerimine, mis jääb kohaks, kus muljetavaldavad demod muutuvad kas kasulikuks või kalliks.