Miks korratavus loeb rohkem kui demod
Teine käitamine on tõde
Esimesel käitamisel oli aplaus. Mudel leidis klausli, armatuurlaud süttis, vastus viitas õigele dokumendile ja ruum lõdvestus täpselt nii, nagu ruumid lõdvestuvad, kui eelarverida on just muutunud lihtsamini kaitstavaks. Meeskond oli hoolikalt proovinud. Andmed olid piisavalt puhtad, küsimused mõistlikud, võrk käitus hästi, müüja sülearvuti polnud otsustanud saada väikeseks radiaatoriks ja keegi ei küsinud selle ühe äärejuhtumi kohta, mis oli viisakalt lükatud hilisemasse faasi. See oli hea demo. Head demod on kasulikud. Need näitavad võimalusi. Need annavad inimestele ühise objekti, millest rääkida. Need muudavad abstraktse võimekuse nähtavaks.
Siis tuli teine käitamine. Sama kasutusjuhtum, kuid nüüd eelmise nädala andmetega, teise operaatoriga, veidra tabeliga lähtedokumendiga, poliitikauuendusega, mis polnud jõudnud viipani, ja juhiga, kes vaatas pealt, sest tulemus kujundaks reaalset otsust. Vastus oli endiselt sujuv. See polnud probleem. Probleem oli see, et keegi ei osanud öelda, kas see oli sama vastus samadel põhjustel või erinev vastus, mis kandis sama tooni. Demo oli tõestanud, et süsteem suudab sooritada. See polnud tõestanud, et organisatsioon suudab sooritust korrata.
Siin muudab tõsine AI-töö oma iseloomu. Demo küsib, kas me suudame selle üks kord tööle panna. Operatsioonid küsivad, kas me suudame selle uuesti tööle panna, selgitada, miks see töötas, teada, millal see ei töötanud, ja säilitada tõendid, kui keegi kuus kuud hiljem küsib. Korratavus ei ole innovatsiooni vastand. See on innovatsiooni osa, mis jääb ellu palgaarvestuse, seaduste, ohutuse, klientide, kodanike, audiitorite, väsinud töötajate ja reaalsete andmete vaikse vaenulikkusega.
Enamik AI-operatsioonide tõrkeid ei saabu kinoliku kokkuvarisemisena. Need saabuvad väikeste erinevustena, mida keegi ei suuda taasesitada. Otsingutulemus muutub. Viipauuendus parandab ühe juhtumi ja nõrgendab teist. Mudeliuuendus nihutab otsustuspiiri. Allikavoog laseb välja välja. Inimlik ülekirjutamine on salvestatud ühes süsteemis, kuid mitte teises. Organisatsioonil on endiselt töötav süsteem teatraalses mõttes. Sellel pole enam süsteemi, mis suudaks rääkida sama lugu kaks korda.
Demo peidab igavat lepingut
Demol on lubatud olla valiv. Sellel on lugu, algus, rahuldust pakkuv klõps ja tavaliselt näidisandmestik, mis on läbi kammitud nagu laps enne koolipilti. See ei ole petmine. See on suhtlus. Probleem algab siis, kui organisatsioon peab suhtlust ekslikult töölepinguliseks kokkuleppeks. Demo ei määratle andmete värskust, versioonipiire, varuteid, inimülevaate õigusi, tõrketeadete sõnastust, säilitusaega ega täpset tingimust, mille korral süsteem peab keelduma vastamast. Need üksikasjad on sageli just ekraani taga, moest välja nägemas ja ootamas, et hiljem kõigile arve esitada.
Korratavus muudab kokkuleppe nähtavaks. See küsib, milline sisend on sisend, mitte lähim koopia. See küsib, milline reegliväljaanne vastust piiras, mitte milline poliitikaleht tundus tuttav. See küsib, kas otsingutulemuste järjekord on stabiilne, kas viigid lahendatakse deterministlikult, kas päringud on versioonitud, kas mudeli parameetreid saab nimetada, kas tööriistakutsete kasutamine on jäädvustatud, kas operaator saab juhtumit taasesitada ja kas ülekirjutamine muudab töövoogu või kaunistab vaid logi. Need ei ole filosoofilised küsimused. Need on usaldusväärse töö taga olev juhtmestik.
Raske osa on see, et korratavus tundub alguses aeglasem. Meeskond, kes taga ajab demot, saab kasutada kõige kiiremat teed läbi aia. Meeskond, kes ehitab korratavust, peab maha panema sillutuskivid, märgistama väravad ja otsustama, kellele kuulub kuuri võti. See võib tunduda bürokraatlikuna neile, kes näevad ainult esimest nädalat. Kolmanda intsidendi ajaks hakkab see tunduma armulikuna.
AI-süsteemid suurendavad vajadust selle armulikkuse järele, sest need toovad sisse seaduspärase varieeruvuse. Keelemudeleid saab valimida. Otsing võib esile tuua lähedasi kandidaate. Inimlik hinnang võib erineda. Dokumendid võivad olla mitmetähenduslikud. Korratav süsteem ei teeskle, et maailm on igas üksikasjas deterministlik. See eristab lubatud varieeruvust haldamata varieeruvusest. See ütleb, et see väli võib varieeruda, sest kasutaja küsib loomulikus keeles, kuid see allikakogum ei tohi varieeruda ilma salvestatud korpuse muudatuseta. See kokkuvõtte sõnastus võib erineda, kuid abikõlblikkuse alus ei tohi. See skoor võib pärast mudeliuuendust liikuda, kuid uuendus peab olema jälgitav.
Sama sisend ei ole lihtne väljend
Inimesed ütlevad sama sisend, nagu oleks see väljend iseenesestmõistetav. Päris süsteemides pole see peaaegu kunagi iseenesestmõistetav. Nähtav kasutajaküsimus on ainult üks osa. Tegelik sisend võib hõlmata otsitud dokumente, peidetud juhiseid, süsteemipäringuid, tööriistade skeeme, poliitikareegleid, kasutajarolli, aega, keelt, juurdepääsuõigusi, vahemällu salvestatud kirjeid, funktsioonilippe, mudeliversiooni, manustamisindeksit, läviväärtusi ja vaikivat eeldust, et eilne andmelaou värskendus õnnestus. Sama sisend võib muutuda üllatavalt rahvarohkeks ruumiks.
Seetõttu algab korratavus sisendi identiteedist. Süsteem peaks teadma, millised kirjed olid kättesaadavad, millised kirjed valiti, millist korpuse versiooni otsiti, millist päringumalli kasutati, milline poliitikakogum rakendus, milline mudel töötas, millised tööriistad olid lubatud ja milline inimroll tulemuse vastu võttis. Kui see kõlab paljuna, siis seepärast, et otsustustee oli juba niigi suur. Ainus küsimus on, kas organisatsioon seda tunnistab.
See eristus on kõige olulisem siis, kui tulemuste üle vaieldakse. Kui klient küsib, miks nõue tagasi lükati, haigla küsib, miks riskimärk ilmus, pank küsib, miks juhtum eskaleeriti, või avalik asutus küsib, miks kodanik sai teatud juhise, ei saa organisatsioon vastata ainult nähtava küsimusega. Tal on vaja töökonteksti. Ilma selleta muutub intsidendi ülevaade viisakaks seansiks, kus kõik kutsuvad esile logisid, mälestusi ja ekraanipilte, teeseldes, et see on meetod.
Sisendi identiteet kaitseb ka meeskondi alusetute süüdistuste eest. Kui tulemus muutus seetõttu, et lähtedokument muutus, on see sisuprobleem. Kui see muutus seetõttu, et indeks ehitati ümber erinevate parameetritega, on see otsinguprobleem. Kui see muutus seetõttu, et mudelit uuendati, on see juurutamisprobleem. Kui see muutus seetõttu, et operaator kasutas erinevat töövoogu, on see protsessiprobleem. Kõige selle nimetamine mudeli käitumiseks on mugav ja vale, mis on hästi toimiv kombinatsioon organisatsioonides, kus kalendrid on täis.
Korratavus ei tähenda kõige külmutamist
On laisk vastuväide, et korratavus tapab kohanemisvõime. See ei tapa seda. See tapab salapära. Korratav toiming võib siiski parandada mudeleid, muuta päringuid, uuendada reegleid, puhastada andmeid, lisada allikaid, häälestada lävesid ja kujundada töövoogusid ümber. Erinevus on selles, et muutustest saavad nimega sündmused, mitte ilm. Kui tulemus liigub, saab meeskond küsida, milline kontrollitud muutus selle liigutas. Nii saab paranemisest õppimine, mitte ebausk koos väljalaskemärkega.
Parimad operatiivmeeskonnad käsitlevad muutusi piiridega katsetena. Nad hoiavad alusjuhtumeid. Nad viivad läbi varikatsetusi. Nad võrdlevad vanu ja uusi otsingutulemusi. Nad kontrollivad suure mõjuga näiteid enne edutamist. Nad märgivad üles, kes muudatuse heaks kiitis ja miks. Nad määratlevad tagasipööramise tingimused enne käivitamiskõnet, mitte siis, kui tugikanal on juba tuline. See ei ole teatraalne ettevaatus. See on see, kuidas meeskonnad liiguvad kiiremini pärast seda, kui esimene süsteem hakkab oluliseks muutuma.
On ka moraalne mõõde, kuigi see on parem, kui seda lihtsalt väljendada. Kui süsteem mõjutab raha, tööd, hooldust, prioriteete, täitmist või juurdepääsu, väärivad mõjutatud inimesed rohkem kui etendust. Nad väärivad protsessi, mis suudab end selgitada. Korratavus loob eelduse selleks selgituseks. Sa ei saa auditeerida kadumistrikki. Sa saad ainult aplodeerida või kaevata.
Hea korratavus eraldab seega stabiilse paindlikust. Stabiilsed on andmed selle kohta, mis juhtus, versioonitähised, hindamiskomplekt, allikate põlvnemine, reegli omanik, kinnitamistee ja keeldumistingimused. Paindlikud on tehnikad, mida kasutatakse nendes piirides paranemiseks. Oskus on teada, kumb on kumb. Paljud organisatsioonid pööravad need ümber. Nad külmutavad protsessi, sest keegi ei usalda süsteemi, ja lasevad siis varjatud tehnilistel muudatustel toimuda, sest keegi ei näe neid. See on valitsemine aknakardina taga.
Hindamiskomplekt on töömälu
Iga küps organisatsioon vajab väikest hulka juhtumeid, mida ta keeldub unustamast. Mitte sünteetilist testikomplekti, mis on valitud sellepärast, et see näeb aruandes muljetavaldav välja, vaid elavat hindamiskogumit, mis koosneb ebamugavatest juhtumitest, mis õpetasid meeskonnale midagi. Dokument vastuoluliste kuupäevadega. Kliendipäring, mis segab kahte poliitikat. Arve, mille puhul tabeli eraldamine peaaegu õnnestub. Meditsiiniline märkus mitmetähendusliku lühendiga. Hangete juhtum, kus õiguslik alus on olulisem kui ilmne vastus. Need juhtumid saavad organisatsiooni institutsionaalseks mäluks.
Korratav süsteem käivitab need juhtumid siis, kui midagi muutub. Eesmärk ei ole vanade väljundite kummardamine. Mõnikord oli vana väljund vale. Eesmärk on mõista muutust. Kas uus versioon parandas juhtumi õigel põhjusel. Kas see lõhkus habras, kuid olulise käitumise. Kas see muutus enesekindlamaks, kaotades samal ajal tõendeid. Kas see valis teise allika. Kas see andis sama järelduse nõrgema põhjendusega. Tõsises töös on põhjendus oluline, sest sama vastus valel põhjusel ei ole sama vastus.
Just siin kaotavad paljud demokesksed programmid kontrolli. Nad mõõdavad kasutajarahulolu, latentsust ja üldist täpsust, kuid ei hoia valusaid juhtumeid enda lähedal. Tulemuseks on süsteem, mis võib tervikuna parem välja näha, muutudes samal ajal halvemaks just olulistel ääristel. Keskmised on kasulikud. Ääristel on koht, kus kaebus saabub koos manustega.
Hindamiskogum peaks sisaldama ka keeldumisjuhtumeid. Süsteem, mis alati vastab, ei ole abivalmis. See on pealetükkiv. Korratavus nõuab, et süsteem keelduks järjekindlalt siis, kui allikad puuduvad, volitus puudub, enesekindlus on liiga nõrk, kasutaja küsib väljaspool oma rolli või ülesanne nõuab inimese otsust. Keeldumiskäitumine on kvaliteedi osa. Selge ei on sageli väärtuslikum kui võluv võib-olla, mis on riietatud kindlusena.
Ka inimlik hinnang peab olema korratav
Korratavus ei ole ainult masinate omadus. Ka inimlikud sammud vajavad korratavust. Kui üks retsensent kohtleb mudeli väljundit mustandina, teine otsusena ja kolmas tüütu kolleegina, hakkab töövoog triivima, ükskõik kui stabiilne mudel ka poleks. Organisatsioon peab määratlema, mida retsenseerimine tähendab. Kas inimene kontrollib allikaid, kontrollib poliitikat, valib tõendeid, kinnitab, toimetab keelt või vastutab järelduse eest. Iga tegusõna loob erineva kohustuse.
Operaatorid vajavad liideseid, mis toetavad neid kohustusi. Kui nad peavad allikaid kontrollima, peavad allikad olema nähtavad. Kui nad peavad poliitikat kontrollima, peab reeglite alus olema väljundi lähedal. Kui nad peavad üle kirjutama, peab ülekirjutamise tee olema tavaline, mitte peidetud nupu taha, mis tundub riigireetmise ülestunnistusena. Kui nad peavad hiljem otsust selgitama, peab süsteem säilitama selle, mida nad tol ajal nägid. Muidu muutub inimlik järelevalve dekoratiivseks fraasiks, mille küljes on töötaja ID.
Ka koolitus on oluline, kuid mitte selline, mis õpetab inimesi süsteemi imetlema. Kasulik koolitus näitab piire. See annab retsensentidele näiteid tugevatest väljunditest, nõrkadest väljunditest, puuduvatest tõenditest, aegunud allikatest, promptide süstimisest, poliitikakonfliktidest ja juhtumitest, kus mudelit tuleks rahuliku südamega eirata. See ütleb inimestele, millised erimeelsused on oodatud. See ütleb neile, et head ülekirjutamised on kontrollisüsteemi osa. Kui iga ülekirjutamist käsitletakse kasutuselevõtu ebaõnnestumisena, õpivad inimesed lõpetama märkamise. Inimesed on kohanemisvõimelised, mõnikord ebamugavalt.
Protseduuri kirjapanemises on kuiv lohutus. Mitte sellepärast, et dokumendid oleksid maagilised. Nad ei ole, nagu teab igaüks, kes on ühist ketast kohanud. Lohutus tuleb sellest, et see sunnib organisatsiooni valikuid tegema. Korratav inimlik samm ütleb, et see roll peab tegema selle kontrolli, selle tõendusmaterjaliga, selle tähtaja jooksul, ja see juhtub siis, kui kontroll ebaõnnestub. Järsku on järelevalvel luustik.
Juhuslikkus vajab koduaadressi
Mõned AI-süsteemid sisaldavad juhuslikkust disaini poolest. Valimipõhine genereerimine võib anda parema keele. Otsing võib avastada alternatiive. Agendid võivad proovida erinevaid tööriistateid. Inimeste tagasiside võib käitumist aja jooksul muuta. Ükski neist pole iseenesest halb. Operatiivne viga on lasta juhuslikkusel elada igal pool ja mitte kuskil. Kui varieeruvus on kasulik, ütle, kus see on lubatud. Kui see on riskantne, piira seda. Kui see esineb, salvesta piisavalt, et seda mõista. Juhuslikkus ilma aadressita on see, kuidas meeskonnad lõpetavad udumasina silumisega.
On olemas praktilisi võtteid. Kasuta deterministlikke seadeid seal, kus väljund on oluline ja ülesanne on piiritletud. Kinnita versioonid ja mallid. Hoia korpuse hetktõmmiseid. Logi otsingu kandidaadid. Eralda loominguline mustand otsustustoeks. Genereeritava teksti puhul, mis võib varieeruda, hinda väiteid ja allikaid, mitte pinnapealset sõnastust. Agentipõhiste töövoogude puhul jäädvusta tööriistaplaanid, tööriistatulemused ja keeldumisteed. Mudeliuuenduste puhul tee paarikaupa võrdlused enne liikluse üleviimist. Ükski neist ei eemalda määramatust. See annab määramatusele istumiskoha koosolekul ja hoiab teda ära ekslemast läbi laeplaatide.
Korratavus muudab ka intsidentide keelt. Selle asemel et öelda, et AI andis halva vastuse, saab meeskond öelda, et vastus kasutas korpuse hetktõmmist 18, poliitikapaketti 12, mudeliversiooni 4, viipemalli 31, hangitud dokumente A, C ja F, jättis dokumendi B vahele juurdepääsu ulatuse tõttu ning selle võttis vastu roll X ilma edastamiseta. See lause on vähem põnev kui süsteem läks hulluks. See on ka kasulikum, mis on dramaatilistele inimestele korduv pettumus.
Kui süsteem ei suuda seda lauset pakkuda, siis organisatsioon ei käita AI-d. See osaleb AI-l. See vaatab, reageerib, lohutab ja loodab, et järgmine vahetus läheb paremini. See võib olla vastuvõetav prototüübi puhul. See ei ole vastuvõetav töö puhul, millest inimesed sõltuvad.
Hankimise viga
Korratavust tuleb osta, mitte ainult ehitada. Paljud hankeprotsessid premeerivad endiselt parimat demonstratsiooni. Süsteem, mis näeb välja sujuv, vastab kiiresti ja annab juhtkonnale meeldiva modernsustunde, kogub punkte. Süsteem, mis selgitab tõendite säilitamist, ekspordivormingut, regressioonitestimist, deterministlikku otsingut, mudeliversiooni kinnitamist, rollipõhist ülevaatust ja tagasipööramispoliitikat, võib kõlada vähem põnevana. Nii ostavad organisatsioonid tulevasi koosolekuid.
Paremad ostuküsimused on otsekohesed. Kas me saame juhtumi taasesitada. Kas me saame tõendite teekonna eksportida. Kas me saame kinnitada või nimetada iga mudeli ja päringu, mis vastust mõjutab. Kas otsingut saab pärast indeksi ümberehitust reprodutseerida. Kas me saame praegust käitumist võrrelda lähtetasemega, mis on määratud enne uuenduse vastuvõtmist. Kas inimese tehtud ülekirjutusi saab analüüsida ilma kasulikku otsustusvõimet karistamata. Kas me saame lahkuda oma andmetega. Kas me saame audiitorile öelda, mis juhtus, ilma et peaksime avama tugipileti ja küünalt süütama.
Need küsimused ei nõua vaenulikkust tarnijate suhtes. Need nõuavad täiskasvanulikku suhtumist. Hea tarnija peaks suutma öelda, millised osad on korratavad, millised osad on tõenäosuslikud, milline tõendusmaterjal on kättesaadav, milline ei ole, ja mida ostja peab ise haldama. Ostja, kes neid küsimusi esitada ei oska, avastab lõpuks vastused tootmiskeskkonnast, kus vastused on kallimad ja saabuvad koos kõrvaklappidega.
Sama hankeloogika kehtib ka ettevõttesiselt. Platvormimeeskonnad ei tohiks müüa demot operatsioonimeeskonnale ilma korratavuse lepinguta. Andmemeeskonnad ei tohiks allikaid üle anda ilma päritoluloata. Mudelimeeskonnad ei tohiks täiustusi välja anda ilma lähtetaseme võrdlusteta. Juhtimismeeskonnad ei tohiks põhimõtteid heaks kiita ilma andmeid testimata. Kõik tahavad käivitamist. Korratavus on distsipliin, mis hoolib käivitamisejärgsest teisipäevast.
Korratavus on lahkus tulevaste meeskondade vastu
Korratavuse eest hoolitsemiseks on inimlik põhjus, mida strateegiaettekannetes harva mainitakse. See on lahkem. See on lahkem operaatorite vastu, kes ei peaks aimama, miks süsteem muutus. See on lahkem inseneride vastu, kes ei peaks juhtumeid armatuurlaua killukestest rekonstrueerima. See on lahkem juhtide vastu, kes peavad otsuseid tegema järelevalve all. See on lahkem klientide, kodanike, patsientide ja kolleegide vastu, kes väärivad vastuseid, mida ei improviseerita tagantjärele. Korratav süsteem vähendab institutsionaalse teeskluse hulka, mida nädala üleelamiseks vaja on.
Korratavus muudab ka aususe lihtsamaks. Kui tõendusmaterjal on kättesaadav, saavad meeskonnad öelda, et mudel ebaõnnestus siin, andmed olid seal aegunud, poliitika oli mitmetähenduslik, hindajal puudus piisav kontekst või allikas puudus. Ilma tõenditeta tundub iga tunnistus riskantne, sest keegi ei tea, kuhu süü langeb. Nii pehmendavad inimesed keelt, lükkavad otsuseid edasi ja loovad paksu udu, mida nimetatakse ühtlustamiseks. Tõendid ei tee organisatsioone julgeks, kuid need alandavad täpsuse hinda.
Üllatusi tuleb alati ette. Korratavus ei ole loits reaalsuse vastu. Uued juhtumid lükkavad eeldused ümber. Kasutajad esitavad kummalisi küsimusi. Dokumendid saabuvad vormingus, mis näeb välja nagu oleks see läbi räägitud elektrikatkestuse ajal. Mudelid paranevad ühes suunas ja taandarenevad teises. Eesmärk ei ole üllatusi kõrvaldada. Eesmärk on muuta üllatus informatiivseks, mitte nakkavaks.
Seetõttu on korratavus tähtsam kui demod. Demod loovad uskumuse, et võimekus on olemas. Korratavus loob võimaluse sellele toetuda. Esimene on kasulik vestluse alustamiseks. Teine on vajalik töö tegemiseks. Kui AI-süsteemist saab institutsiooni osa, ei ole küsimus enam selles, kas see suudab ruumi muljet avaldada. Küsimus on selles, kas see suudab oma tööd toota, säilitada ja selgitada tavalisel päeval, tavalise surve all, tavaliste inimestega. Just tavalistel päevadel näitavad tõsised süsteemid oma väärtust.