Kodėl tikslumas gali tapti našta
Dešimtainė trupmena, sustabdžiusi posėdį
Skaičius valdymo skydelyje buvo 97,38 procento. Iš pradžių niekas jo nekvestionavo. Skaičiai su dviem skaičiais po kablelio įeina į patalpą tarsi avėdami geresniais batais nei visi kiti. Komanda peržiūrėjo automatizuotą prioritetizavimo darbo eigą. Atvejai virš linijos buvo eskaluojami. Atvejai žemiau linijos laukė. Modelis pagerėjo, rodė diagrama. Vidutinis pasitikėjimas išaugo. Eilė atrodė tvarkingesnė. Posėdis jau beveik baigėsi, kai operatorius paklausė, ar 97,38 reiškia, kad sistema teisi, ar tik tai, kad ji labai užtikrinta dėl jai pateikto atvaizdavimo.
Patalpoje stojo tyla, būdinga techniniams posėdžiams, kai pasirodo naudingas erzinantis klausimas. Duomenų mokslininkas paaiškino kalibravimą. Produkto savininkas paaiškino paslaugos tikslą. Operacijų vadovas paaiškino atsilikimų sąrašą. Atitikties pareigūnas paklausė, kiek žmonių paveikta netoli ribos. Kažkas atidarė eksportą. Du skaičiai po kablelio nedingo, bet prarado savo autoritetą. Skaičius buvo tikslus. Jis nebuvo pakankamas.
Tikslumas yra viliojanti dorybė techninėse sistemose. Jis atrodo disciplinuotas. Jis sufleruoja matavimą, pakartojamumą ir kontrolę. Jis daro valdymo skydelius rimtus ir padeda komandoms išvengti miglotų ginčų. Daugeliu atvejų tikslumas yra būtinas. Jutiklio riba, finansinis skaičiavimas, vaisto dozė, kriptografinis palyginimas, robotikos judesys ar planuoklis gali smarkiai sugesti, kai tikslumas yra aplaidus. Problema yra ne pats tikslumas. Problema yra tikslumas, lenkiantis savo įrodymus.
Dirbtinio intelekto operacijose tikslumas gali tapti našta, kai neapibrėžtumą paverčia siaurai atrodančia reikšme, o tada darbo eiga leidžia tą reikšmę traktuoti kaip tiesą. Rezultatas 0,92 gali būti naudingas. Jis taip pat gali būti mažas kostiumas, dėvimas neišsamių duomenų, duomenų pasiskirstymo pokyčio, silpnos etiketės, trapios ribos, nepatikrintos prielaidos ar sprendimo ribos, kurios žmogiškoji kaina niekada nebuvo įvertinta. Pavojus ne tas, kad skaičius klaidingas. Pavojus tas, kad skaičius pakankamai tikslus, kad žmonės nustotų klausti, ką jis reiškia.
Tikslumas nėra tikslumas
Senas skirtumas vis dar svarbus. Tikslumas apibūdina matavimo smulkumą arba rezultato nuoseklumą. Tikslumas apibūdina artumą tam, kas svarbu. Sugedęs laikrodis gali būti tikslus savo atsisakymu judėti. Klasifikatorius gali generuoti stabilias tikimybes iš požymių, kurie nepastebi realios situacijos. Reitingavimo modelis gali būti nuosekliai klaidingas tam tikram pogrupiui. Prognozė gali turėti tris skaičius po kablelio ir vis tiek remtis vakarykščiu pasauliu. Tikslumas be tikslumo yra tvarkinga klaida.
Operacinės sistemos šį skirtumą dažnai ištrina, nes tikslius rezultatus lengviau automatizuoti. Skaičius peržengia slenkstį. Byla pajuda. Rekomendacija tampa veiksmu. Vartotojas nukreipiamas, atidedamas, patvirtinamas, blokuojamas arba prašomas papildomos informacijos. Mašina nežino, ar dešimtainė trupmena yra epistemologiškai sąžininga. Ji žino tik tai, kad palyginimas grąžino teigiamą rezultatą. Būtent todėl palyginimui reikia daugiau valdymo, nei jam paprastai skiria valdymo skydelis.
Be to, tikslumas nėra viena bendra savybė. Modelis gali būti vidutiniškai tikslus, bet silpnas būtent ten, kur sprendimas yra skausmingas. Jis gali gerai veikti su istoriniais duomenimis ir prastai su nauju kanalu. Jis gali būti patikimas įprastais atvejais ir sutrikti dėl kraštinių atvejų, kurie kelia didelių išlaidų. Jis gali teisingai rikiuoti atvejus, bet būti prastai kalibruotas. Jis gali būti tikslus požymių erdvėje ir netikslus žmogiškoje situacijoje. Vidurkiai yra naudingi, kol netampa slėptuvėmis.
Praktinė klaida yra leisti tiksliam balui paveldėti autoritetą iš jį supančios matematikos, o ne iš jį supančių operacinių įrodymų. Klausimas nėra vien tai, ar modelis yra tikslus. Klausimas yra, dėl ko tikslus, kam, kokiomis duomenų sąlygomis, prie kokio slenksčio, kokiu peržiūros keliu ir kokia kaina, kai jis klysta. Dešimtainė trupmena yra pokalbio pradžia, o ne jo pirmininkas.
Atsakomybė atsiranda ties riba
Tikslumas tampa pavojingas ties ribomis, nes ribos paverčia reikšmes veiksmais. Rizikos balas 0,701 ir rizikos balas 0,699 praktiškai gali būti identiški kaip įrodymai. Jei slenkstis yra 0,700, jie gali lemti skirtingus gyvenimus už jų slypintiems atvejams. Vienas yra eskaluojamas. Kitas laukia. Vienas sulaukia žmogaus. Kitas sulaukia šablono. Vienas gauna paskolą. Kitas gauna mandagų atsisakymą su apskundimo keliu, kurį gali pavykti arba nepavykti rasti iki pietų.
Pats slenksčių egzistavimas nėra savaime blogas. Operacijoms jų reikia. Eilės turi būti prioritizuojamos. Pavojaus signalai turi suveikti. Sukčiavimo patikros turi priimti sprendimus. Saugos sistemos turi sustoti. Problema yra apsimetimas, kad slenkstis yra gamtos dėsnis, nes tiksli reikšmė jį peržengė. Slenkstis yra politika, įdiegta mechanizme. Jam reikia priežasties, savininko, įrodymų, peržiūros juostos, stebėsenos ir būdo keistis neperrašant istorijos. Priešingu atveju tai mažas pasienio postas be muitinės.
Peržiūros juostos yra paprastas priešnuodis. Užuot laikę 0,700 stebuklinga uola, apibrėžkite intervalą, kuriame sistema išlaiko neapibrėžtumą ir prašo žmogaus sprendimo ar papildomų įrodymų. Šios juostos plotis priklauso nuo išlaidų, grįžtamumo, pajėgumų ir įrodymų kokybės. Mažos rizikos rekomendacija gali toleruoti siaurą juostą. Didelio poveikio tinkamumo sprendimas neturėtų. Tikslumas nepanaikina sprendimo poreikio prie ribos. Jis nurodo, kur sprendimas greičiausiai bus svarbus.
Susitikime dalyvavęs operatorius tai suprato dar prieš kam nors pavartojant formalų žodyną. Ji žinojo, kad atvejai arti linijos nėra tas pats, kas atvejai toli nuo linijos. Ji žinojo, kad sistema padarė liniją švaresnę nei pats darbas. Tokia operacinė išmintis dažnai laikoma anekdotine, kol ją patvirtina metrika. Sutaupytume laiko, jei jos gerbtume anksčiau.
Veiklos tikslumas gali paslėpti duomenų šiurkštumą
Dirbtinio intelekto sistemos dažnai pateikia tikslius rezultatus iš šiurkščių įvesties duomenų. Mokymo etiketė galėjo būti žmogaus sprendimas, priimtas spaudžiant laikui. Šaltinio laukas skirtingose komandose gali reikšti skirtingus dalykus. Trūkstama reikšmė gali reikšti „ne“, „nežinoma“, „nebuvo paklausta“, „netaikoma“ arba tai, kad migracijos scenarijus turėjo blogą dieną. Dokumento data gali būti sukūrimo data, pasirašymo data, įkėlimo data arba data, kai kažkas pagaliau prisiminė portalo slaptažodį. Modelis šios netvarkos nepatiria kaip gėdos. Jis ją paverčia požymiais.
Kai duomenys paverčiami, šiurkštumas gali išnykti iš akių. Požymių vektorius atrodo švarus. Balas atrodo švarus. Diagrama atrodo švari. Veiklos realybė, sukūrusi įvestį, lieka nešvari. Taip tikslumas išplauna neapibrėžtumą. Jis nemeluoja sąmoningai. Jis suformatuoja dviprasmybę į pavidalą, kurį gali apdoroti vėlesnės sistemos, o vėlesnės sistemos dažnai painioja apdorojamumą su tiesa.
Skaidrios dirbtinio intelekto operacijos turėtų išlaikyti šiurkštumą matomą ten, kur jis veikia sprendimus. Rodykite šaltinio kokybę. Išsaugokite trūkstamų reikšmių semantiką. Sekite etikečių kilmę. Atskirkite stebėtus faktus nuo išvestinių reikšmių. Pažymėkite pasenusius duomenis. Ten, kur naudinga, palikite pasikliautinuosius intervalus arba juostas. Užfiksuokite, kada žmogus pataisė reikšmę. Šios detalės nėra estetinės. Jos lemia, ar tikslus rezultatas nusipelno veiksmo, ar peržiūros.
Stipriausios sistemos negarbina švarių duomenų. Jos žino, kur duomenys yra švarūs, kur tik tvarkingi, o kur yra gandas su stulpelio pavadinimu. Šis skirtumas svarbesnis už dar vieną dešimtainį skaičių. Modelis, sukurtas ant šiurkščių duomenų, vis tiek gali būti naudingas, bet tik jei aplink jį veikianti operacija prisimena šiurkštumą. Pamiršimas yra vieta, kur prasideda atsakomybė.
Sprendėjo pasitikėjimas nėra institucijos pasitikėjimas
Šiuolaikinės dirbtinio intelekto sistemos turi daug sprendėjų: klasifikatorius, reitinguotojus, paieškos sistemas, optimizuotojus, kalbos modelius, planuotojus, taisyklių variklius ir žmones recenzentus. Kiekvienas gali pateikti savo pasitikėjimo formą. Paieškos sistema gali aukštai reitinguoti ištrauką. Modelis gali sklandžiai atsakyti. Klasifikatorius gali priskirti tikimybę. Planuotojas gali rasti įmanomą maršrutą. Šis pasitikėjimas yra vietinis. Jis mums ką nors pasako apie komponento vidinę užduotį. Jis automatiškai nepasako, kad institucija turėtų veikti.
Šis skirtumas dažnai prarandamas, nes komponento pasitikėjimą lengva parodyti. Atsiranda paieškos balas. Atsiranda modelio pasitikėjimas. Atsiranda reitingo procentilis. Skydelis tampa skaičių paradas, kurie atrodo palyginami, nes dalijasi tipografija. Jie nėra palyginami. Panašumo balas nėra tiesos balas. Tikimybė nėra moralinis leidimas. Maršruto optimizuotojo pasitikėjimas nėra teiginys apie darbo teisingumą. Kalbos modelio sklandumas nėra įrodymas, kad šaltinio pakako.
Institucijos pasitikėjimas susideda iš komponentų įrodymų bei politikos, konteksto, sąnaudų, grįžtamumo ir atskaitomybės. Komponentas gali teigti „tikėtina“. Institucija turi nuspręsti, ar „tikėtina“ yra pakankama šiam veiksmui. Siųsti mažos rizikos pasiūlymą gali būti gerai. Atsisakyti paslaugos gali būti ne. Pertvarkyti eilę gali būti priimtina, jei egzistuoja apskundimo ir stebėsenos mechanizmai. Uždaryti bylą gali reikėti stipresnių įrodymų. Tikslumas turėtų maitinti institucijos sprendimą, o ne jį imituoti.
Naudinga architektūra atskiria vietinius sprendimų signalus nuo veiklos įgaliojimų. Ji užfiksuoja, kuris komponentas sukūrė kurį signalą, kaip signalas buvo kalibruotas, kokie politikos vartai jį interpretavo ir kuris veikėjas priėmė galutinį veiksmą. Tai gali skambėti biurokratiškai. Tai mažiau biurokratiška nei aiškinti po fakto, kad sistema veikė, nes skaičius atrodė didelis.
Tikslumas gali paversti nuokrypį pažanga
Nuokrypis retai ateina su ženklu. Įvesties pasiskirstymai keičiasi. Vartotojų elgsena kinta. Politika pakeičia etiketės reikšmę. Naujas kanalas atneša kitokias bylas. Darbuotojai išmoksta, kaip sistema elgiasi, ir keičia savo elgseną aplink ją. Aukščiau esanti forma pertvarkoma. Tiekėjas pakeičia numatytuosius nustatymus. Modelio atnaujinimas pagerina vieną metriką ir pablogina kitą. Skydelis vis tiek gali rodyti tikslias reikšmes. Jos netgi gali gerėti. Klausimas, ar jos vis dar matuoja tą patį dalyką.
Tai klasikinė operacijų spąstai. Tikslumas suteikia metrikai tęstinumą, kol pasaulis po ja juda. Eilės laikas trumpėja, nes sudėtingos bylos nukreipiamos kitur. Pasitikėjimo balas kyla, nes modelis mato daugiau lengvų atvejų. Klaidingų teigiamų rezultatų rodiklis atrodo stabilus, nes apskųsti per sunku. Modelis atrodo geresnis, nes vertinimo rinkinys nebeprimena realios paklausos. Skaičius tikslus. Matavimo sutartis pažeista.
Gerai veikiančios operacijos pririša metrikas prie matavimo sutarčių. Kokią populiaciją ši metrika atspindi. Kurie įvesties duomenys įtraukiami. Kurie išimtys taikomos. Kurios etiketės apibrėžia sėkmę. Kaip tvarkomi uždelsti rezultatai. Kurios pogrupiai stebimi. Kaip dažnai tikrinama kalibracija. Kurie operacijų pokyčiai panaikina palyginimo galimybę. Be tokios sutarties tikslumas gali tapti tęstinumo iliuzija. Grafiko linija lygi, nes apibrėžimas tyliai pasikeitė po ja.
Nuokrypio stebėsena taip pat turėtų apimti žmogiškuosius signalus. Ar operatoriai dažniau perrašo sprendimus. Ar vartotojai teikia apeliacijas. Ar keičiasi palaikymo skambučiai. Ar komandos kuria šalutines skaičiuokles. Ar bylos grupuojasi prie slenksčių. Ar tam tikri šaltiniai teikia pasenusius duomenis. Žmogaus elgsena dažnai aptinka nuokrypį anksčiau nei suvestinės metrikos. Jei modelis tikslus, o žmonės jaučiasi nesaugiai, nelaikykite žmonių triukšmingąja dalimi.
Operacijų peroptimizavimo rizika
Preciziškumas gali paskatinti komandas optimizuoti išmatuotą sistemos dalį, kol neišmatuota dalis pradeda kentėti. Maršrutizavimo modelis sumažina vidutinį aptarnavimo laiką, siųsdamas sudėtingus atvejus į specializuotą eilę, kuri dabar perdega. Sukčiavimo slenkstis sumažina nuostolius, bet padidina klaidingų blokavimų skaičių tarp klientų, kurie vėliau išeina. Priežiūros prognozavimo įrankis sumažina patikrinimų skaičių, kol reti gedimai tampa rimtesni. Turinio klasifikatorius pagerina etalono preciziškumą, o palaikymo tarnyba gauna daugiau painių kraštinių atvejų. Metrika gerėja. Sistema tampa mažiau sveika.
Tai yra operacinis peroptimizavimas. Tai ne tik modeliavimo problema. Taip atsitinka, kai organizacija derinasi pagal tikslias metrikas, kurios neatspindi visos misijos. Kuo tikslesnė ir dažnesnė metrika, tuo stipresnė pagunda. Žmonės valdo tai, kas matuojama. Mašinos optimizuoja tai, kas apdovanojama. Abi pusės gali pasiekti puikų vietinį našumą ir prastą sistemos elgesį. Skydelis neatsiprašys. Jis užsiėmęs būdamas žalias.
Priešnuodis yra suporuoti preciziškumą su atsvarinėmis metrikomis. Jei greitis gerėja, stebėkite kokybę, perdirbimą, skundus ir darbuotojų krūvį. Jei automatizavimo lygis gerėja, stebėkite klaidų rimtumą ir žalą vartotojams. Jei sąnaudos mažėja, stebėkite atsparumą ir pasitraukimą. Jei modelio pasitikėjimas didėja, stebėkite kalibravimą ir pogrupių našumą. Jei preciziškumas etalone gerėja, stebėkite tiesioginį nuokrypį. Kiekvienas tikslus tikslas turi turėti kaimynų, kurie gali skųstis.
Atsvarinės metrikos nėra būdas išvengti sprendimų. Jos yra tai, kaip sprendimai išlieka sąžiningi. Operacijos visada apima kompromisus. Problema ne pasirinkimas. Problema yra pasirinkimas, kai tiksli metrika paslepia sąskaitos dalį, kuri siunčiama kitur. Rimtose sistemose neapmokėta sąskaita paprastai atitenka žmogui.
Preciziškumui reikia valdymo apvalkalo
Sprendimas nėra suapvalinti kiekvieną skaičių, kol niekas nieko nebemato. Neaiškumas nėra humaniškesnis vien todėl, kad turi mažiau skaitmenų po kablelio. Sprendimas yra valdymo apvalkalas aplink preciziškumą. Tiksli reikšmė turėtų keliauti su metaduomenimis: šaltiniu, laiku, populiacija, kalibravimu, pasikliautinuoju intervalu arba neapibrėžties juosta, kai naudinga, sprendimo slenksčiu, peržiūros politika, žinomais apribojimais, atsakingu asmeniu ir neseniai atlikto patvirtinimo įrodymu. Tai skamba sunkiai, kol nepalyginate su tikslios klaidos svoriu.
Apvalkalas leidžia skirtingiems skaitytojams atsakingai naudoti preciziškumą. Operatorius mato, ar atvejis yra arti ribos. Vadovas mato, ar metrika vis dar atspindi numatytą populiaciją. Auditorius mato, kodėl įvyko veiksmas. Kūrėjas mato, kuris įvesties duomuo pasikeitė. Vartotojas gauna paaiškinimą, kuris neapsimeta, kad sistema atrado likimą. Skaičius išlieka naudingas. Jis nebekeliauja vienas.
Yra dizaino iššūkis. Per daug metaduomenų visur tampa rūku su etiketėmis. Tinkama sąsaja atskleidžia preciziškumo kontekstą palaipsniui. Pagrindinis vaizdas rodo reikšmę ir ar ji saugi, pasenusi, neapibrėžta ar arti peržiūros juostos. Išsamus vaizdas rodo įrodymus. Audito vaizdas rodo versijas ir kilmę. Operacijų vaizdas rodo nuokrypį ir slenksčio spaudimą. Skirtingiems skaitytojams reikia skirtingų durų į tą pačią tiesą.
Čia taip pat susitinka produkto ir inžinerijos disciplina. Nepakanka, kad modelio kortelė paminėtų neapibrėžtį, o darbo eiga kiekvieną balą paverstų griežtu veiksmu. Nepakanka, kad skydelio užuomina paaiškintų kalibravimą, o API grąžintų pliką slankiojo kablelio skaičių. Preciziškumas turi būti valdomas naudojimo vietoje. Priešingu atveju sistema mandagiai dokumentuoja atsargumą ir tada jo ignoruoja.
Mokytis tiksliai kalbėti apie neapibrėžtumą
Subrendusi laikysena nėra prieš tikslumą. Tai tikslumas apie neapibrėžtumą. Vietoj to, kad apsimestume, jog balas yra faktas, parodykime, kokio pobūdžio teiginys tai yra. Ar tai įvertis, reitingas, tikimybė, panašumas, prognozė, matavimas ar politikos rezultatas. Koks yra neapibrėžtumas. Kokia yra veikimo dabar kaina. Kokia yra laukimo kaina. Kokie įrodymai pakeistų sprendimą. Kurie atvejai yra pakankamai arti ribos, kad sistema turėtų paprašyti pagalbos. Šie klausimai daro tikslumą naudingesnį, o ne mažiau naudingą.
Komandos gali įdiegti šią laikyseną į kasdienes operacijas. Vertinimas turėtų apimti kalibravimą, pogrupių elgseną, slenksčio jautrumą ir rezultatų vėlavimą. Stebėsena turėtų sekti pasiskirstymus, arti ribos esančių atvejų kiekį, perrašymus, apeliacijas, pasenusius šaltinius ir šalutinį poveikį. Sąsajos turėtų atskirti signalą nuo sprendimo. Incidentų peržiūros turėtų klausti, ar tikslios reikšmės neslėpė neapibrėžtumo. Pirkimai turėtų klausti, kaip įrankis atskleidžia pasitikėjimą ir ribas, o ne tik ar jis turi pasitikėjimo balą. Pasitikėjimo balas be pasitikėjimo disciplinos yra tik mažas ženklelis ant didesnio spėjimo.
Yra ir kultūrinė dalis. Organizacijos turi leisti žmonėms kvestionuoti tikslius skaičius, nelaikant jų prieš duomenis. Operatorė, kuri klausia, ką reiškia 97.38, nestabdo mokslo. Ji saugo tiltą tarp matavimo ir veiksmo. Sveika techninė kultūra sudaro vietos tam klausimui. Nesveika rodo į skydelį ir skelbia susitikimą baigtu.
Tikslumas pelno pasitikėjimą, kai lieka kuklus. Jis sako, kas buvo išmatuota, kaip tiksliai, pagal kokias prielaidas, kaip neseniai, su kokia paklaida ir kas turėtų atsitikti prie krašto. Tai mažiau įspūdinga nei švarus balas. Tai taip pat naudingiau. Sistemos netampa saugesnės atrodydamos užtikrintos. Jos tampa saugesnės žinodamos, kada užtikrintumas yra pagrįstas.
Skaičius ir darbas
Dešimtainės dalies susitikime nereikėjo pašalinti. Reikėjo ją grąžinti į vietą. Komanda išlaikė balą, pridėjo peržiūros juostą, atskyrė pasitikėjimą nuo veiksmo, stebėjo arti slenksčio esančius atvejus ir pakeitė skydelį, kad operatorės matytų šaltinio naujumą ir kalibravimą. Darbas tapo mažiau glotnus ir sąžiningesnis. Tai paprastai yra geras mainas.
Tikslumas yra vienas geriausių įrankių, kuriuos turime sudėtingoms sistemoms valdyti. Jis leidžia mums pastebėti mažus pokyčius, palyginti variantus, automatizuoti saugiai, paskirstyti ribotą dėmesį ir tobulėti laikui bėgant. Tačiau tas pats tikslumas gali tapti našta, kai jis ištrūksta iš matavimo konteksto ir pradeda valdyti žmones taip, lyg kiekviena dešimtainė dalis būtų tiesos gabalėlis. Dirbtinio intelekto operacijos kupinos šios rizikos, nes jos paverčia netvarkingus įrodymus sklandžiais, skaitiniais ir veiksmingais paviršiais.
Atsakymas nėra nepasitikėti skaičiais. Atsakymas yra neleisti skaičiams keliauti be paso. Tikslus rezultatas turėtų nešti savo šaltinį, neapibrėžtumą, ribas, savininką ir klaidos kainą. Jis turėtų kviesti peržiūrai prie svarbių ribų. Jis turėtų būti stebimas dėl nukrypimų. Jis turėtų išlikti susietas su žmogiškuoju ir instituciniu tikslu, kuriam turi tarnauti.
Tikslumas yra naudingas, kai aštrina dėmesį. Jis tampa pavojingas, kai susiaurina atsakomybę. Skirtumas yra veiklos dizaino pasirinkimas, o ne matematinis likimas.