Ko tā nozīmē, ja mašīna strādā ar varbūtībām?
Varbūtība nav spriedums
Kad iekārta atgriež vērtību 0,87, pirmais jautājums parasti ir pārāk šaurs. Cilvēki jautā, vai 0,87 ir augsts. Augsts salīdzinājumā ar ko, attiecībā uz kādu iznākumu, pār kuriem gadījumiem un kādam lēmumam? Skaitlis, kas uzdrukāts blakus rezultātam, izskatās kā šī rezultāta īpašība. Bieži vien tā nav. Tas ir mēģinājums aprakstīt attiecības starp modeli, noteiktu gadījumu kopu un iznākumu, kas novērots laika gaitā. Šīs attiecības var būt noderīgas. Tās var vadīt pārskatīšanas rindu, noteikt slieksni vai pateikt operatoram, kad rezultāts ir pelnījis otru skatienu. Bet tās nepārvērš atsevišķu prognozi par faktu ar decimāldaļu.
Šis ir neērtais punkts varbūtību sistēmu centrā. To rezultāti bieži vien ir informatīvāki nekā tukša etiķete, jo tie var izteikt atbalsta vai nenoteiktības pakāpes. Tos ir arī vieglāk pārlasīt. Punktu skaitu var uztvert kā liecinieka liecību, juridisku secinājumu, diagnozi vai atļauju. Pēc noklusējuma tas nav nekas no tā. Pierādījumi sākas tad, kad organizācija var pateikt, ko skaitlis apzīmē, kā tas tika pārbaudīts, kur šī pārbaude ir spēkā un kādu darbību skaitlis drīkst mainīt.
Šai atšķirībai ir nozīme ilgi pirms sistēma sastopas ar regulatoru. Komanda var izlemt, vai ieteiktajam dokumentam nepieciešama cilvēka pārbaude. Pircējs var salīdzināt divus piegādātājus, kuri abi reklamē ticamības rādītājus. Operators var iestatīt eskalācijas noteikumu. Valsts iestāde var jautāt, vai sarindots saraksts ir pietiekami labs, lai ietekmētu to, kur uzmanība tiek pievērsta vispirms. Katrā gadījumā veiksmīga darbība ir pierādījums vienai lietai: ka šī viena darbība radīja rezultātu. Tas vēl nav pierādījums tam, ka sistēma ir pelnījusi tai piešķirto autoritāti.
Pamatota atbilde nav aizliegt varbūtības nozīmīgā darbā. Tā ir dot tām pienācīgu darba aprakstu. Varbūtība var atbalstīt lēmumu, ja tā ir saistīta ar noteiktu notikumu, atbilstošu populāciju, novērošanas metodi, nenoteiktības robežu un noteikumu par to, kas notiek, ja pierādījumi ir vāji. Tas ir lēnāk nekā apbrīnot vienu skaitli un daudz ātrāk nekā vēlāk atklāt, ka neviens nevar izskaidrot, ko skaitlim bija paredzēts darīt.
Pierādījumiem ir jānosauc savs jautājums
Pierādījumi nekad nav vienkārši klātesoši. Tie ir pierādījumi par labu kādam apgalvojumam. Testa rezultāts var atbalstīt apgalvojumu, ka komponents noteiktā konfigurācijā konkrētai ievadei rada konkrētu izvadi. Tas var atbalstīt apgalvojumu, ka modelis labi sarindo piemērus atstātā datu kopā. Tas var atbalstīt apgalvojumu, ka varbūtības novērtējums pietiekami cieši atbilst novērotajām biežumiem noteiktā vērtēšanas kopā. Šie apgalvojumi atšķiras. Disciplīna sākas ar apgalvojuma uzrakstīšanu pirms metrikas izvēles.
Aplūkosim šķietami vienkāršo apgalvojumu, ka sistēma ir precīza. Precīza attiecībā uz ko? Klasifikācijas precizitāte var aprakstīt, cik bieži visaugstāk novērtētā klase sakrita ar iezīmi. Tā nenorāda, vai norādītā varbūtība bija labi kalibrēta. Sarindošanas metrika var aprakstīt secību, nevis rādītāju skalas kvalitāti. Zema vidējā kļūda var pastāvēt līdzās kaitīgam kļūdu modelim apakšgrupā vai pie sliekšņa, kas izraisa darbību. Metrika nav nepareiza. Lēciens no metrikas uz darbības secinājumu ir vieta, kur parasti sākas problēmas.
OECD darbs pie vērtēšanas instrumentiem ir noderīgs tieši tāpēc, ka tas atsakās no fantāzijas, ka viens rādītājs var nest visu skaidrojumu. Tā sistēma izšķir aspektus, tostarp aptvērumu, mērķi, reālismu, ticamību, atkārtojamību, objektivitāti un daļējību. Tie nav birokrātiski rotājumi ap etalonu. Tie apraksta, vai rezultātam ir pareizā attiecība pret uzdoto jautājumu. Pētniecības salīdzinājums, atbilstības novērtējums un darbības izlaišanas lēmums var izmantot testus. Tie neprasa no šiem testiem vienu un to pašu.
Sāciet, tad, ar teikumu, kuram var nepiekrist. Piemēram: šī sistēma var novirzīt gadījumus cilvēka pārskatīšanai, ja tās dokumentētais varbūtības novērtējums noteiktam iznākumam pārsniedz noteiktu slieksni, ar nosacījumu, ka ievade atbilst validētajam tvērumam un pārskatītājam saglabājas tiesības noraidīt ieteikumu. Tas ir argumentējams darbības apgalvojums. Tas nosauc darbību, nosacījumu un robežu. Tas neizliekas, ka rādītājs pats ir izvēlējies savu lomu pasaulē.
Pretējais teikums ir pazīstams, jo tas ir ērts: modelis ir 87 procentus pārliecināts. Pat ja modelis patiešām izvada varbūtību, teikums atstāj malā notikumu, kalibrēšanas pierādījumus, populāciju, periodu un lēmumu. Tas pārvērš attiecības par personības iezīmi. Mašīnas nav jāapraksta kā kautrīgas vai pārliecinātas. Tās ir jāapraksta kā sistēmas, kuru izvadēm ir noteiktas nozīmes un noteiktas robežas.
Pārliecība nav tas pats, kas pareizība
Sistēma var būt pārliecināta un kļūdīties. Tā var arī būt pareiza, vienlaikus paužot zemu pārliecību. Šie divi fakti nav pārsteidzoši, ja terminus tur atsevišķi. Pareizība jautā, vai iznākums atbilda izvēlētajai atsaucei vienā gadījumā. Pārliecība ir apgalvojums, kas pievienots izvadei, bieži iegūts no modeļa rādītāja vai tā transformācijas. Kalibrēšana uzdod tālāku jautājumu daudzos gadījumos: kad sistēma piešķir līdzīgas varbūtības, vai iznākumi notiek aptuveni norādītajā biežumā? Tie ir saistīti jautājumi, bet viena laba atbilde nesniedz pārējās.
Iedomājieties gadījumu kopu, par kuru klasifikators ziņo 0,80 varbūtību vienam noteiktam notikumam. Ja pietiekami aprakstītā un pietiekami lielā salīdzināmu gadījumu kopā notikums notiek aptuveni astoņos no desmit gadījumiem, novērtējumu var saukt par labi kalibrētu šai populācijai un nosacījumam. Tas nenozīmē, ka nākamajam 0,80 gadījumam ir astoņdesmit procentu liktenis. Tas nozīmē, ka rādītājs ir uzrādījis attiecību pret novērotajiem iznākumiem norādītajā kopā. Frāze norādītajā kopā veic lielāko daļu intelektuālā darba.
Kalibrācija arī nav universāla zīme. Rādītājs var būt labi kalibrēts uz vēsturiskiem datiem un slikti kalibrēts pēc tam, kad mainās ievades avots, lietotāju grupa, darba plūsma, marķēšanas process vai ieviešanas apstākļi. Tas var būt labi kalibrēts kopumā, bet uzvesties atšķirīgi tajā populācijas daļā, kas pakalpojumam ir svarīga. Tas var izskatīties labi plašā grupā, vienlaikus slēpjot krasu atšķirību pie lēmuma sliekšņa. Kalibrācijas grafiks nav diploms, kas ierāmēts virs ražošanas sistēmas. Tas ir datēts novērojums ar noteiktu tvērumu.
Literatūra par modeļu kalibrāciju padara šo nošķīrumu konkrētu. Guo un kolēģi pētīja ticamības kalibrāciju mūsdienu neironu tīklos un parādīja, ka precizitāte vien nenosaka, vai ticamības aplēses atspoguļo novēroto pareizības varbūtību. Viņu darbs arī izvērtē pēcapstrādes kalibrācijas metodes. Svarīgākā praktiskā mācība ir šaurāka par recepti: modeļa rādītājam nevajadzētu pieņemt atbilstošu varbūtības nozīmi tikai tāpēc, ka tas ir sniegts ērtā diapazonā starp nulli un vienu.
Rūpīga organizācija tāpēc reģistrē trīs dažādas lietas. Tā reģistrē uzdevuma veiktspēju, lai varētu jautāt, vai rezultāti atbilst definētajam uzdevumam. Tā reģistrē kalibrāciju vai citu skaidru nenoteiktības īpašību, lai varētu jautāt, ko rādītājs nozīmē praksē. Un tā reģistrē rīcības sekas pie noteikta sliekšņa, lai varētu jautāt, vai lēmuma noteikums ir atbilstošs. Apvienojot šos trīs vienā zaļā indikatorā, var vienkāršot informācijas paneli. Tas nevienkāršo pasauli.
Kalibrācijai ir saucējs
Katram apgalvojumam par kalibrāciju ir saucējs. Saucējs nav tikai ierakstu skaits failā. Tas ir gadījumu kopums, kas bija tiesīgi tikt ieskaitīti, veids, kā tie tika grupēti, iznākuma definīcija, laika periods, izslēgšanas un process, kas radīja atsauces marķējumus. Noņemiet šos nosacījumus, un ticamības diagramma kļūst par patīkamu līkni bez jurisdikcijas pār lēmumu.
Pieņemsim, ka izvērtējums grupē prognozes pēc norādītās ticamības. Novērotais rādītājs katrā grupā ir atkarīgs no gadījumiem, kas tika iekļauti grupā, un no iznākuma definīcijas. Vai neskaidri gadījumi tika izslēgti? Vai atturēšanās tika uzskatītas par kļūdām, drošiem atteikumiem vai kaut ko citu? Vai marķējums atspoguļoja tūlītēju notikumu, vēlāku pārskatīšanu vai galīgo apelāciju? Vai dublikāti tika saglabāti? Vai izvērtējumā tika iekļauti tikai tie ieraksti, kas izgāja iepriekšējo validācijas soli? Katra atbilde var būt pamatota. Katra atbilde maina to, ko nozīmē iegūtais kalibrācijas apgalvojums.
Tāpēc modelim var būt cienījams globāls kalibrācijas rezultāts un tas joprojām var būt nepiemērots konkrētam lietojumam. Globālais rezultāts var apvienot valodas, ievades garumus, reģionus, ierīču veidus, klientu ceļus vai darbības režīmus, kuriem nav vienāda kļūdu struktūra. Apkopots skaitlis var būt godīgs kopsavilkums un joprojām būt nepietiekams pierādījums vietējam lēmumam. Pareizā atbilde nav pieprasīt atsevišķu modeli katram cilvēkam. Tā ir pārbaudīt grupēšanas pieņēmumus, kurus lēmums pats padara būtiskus.
OECD izvērtēšanas sistēma to sauc par pārklājumu. Sistēma jautā, vai izvērtēšanas instruments aptver neobjektīvu vai reprezentatīvu sadalījumu tam, ko tas ir paredzēts mērīt, un tā nošķir uzdevuma veiktspēju no plašāka spēju apgalvojuma. Šie nošķīrumi ir noderīgi varbūtības pierādījumiem. Rādītājs var būt pierādījums par veiktspēju uz uzdevuma sadalījuma. Tam nevajadzētu klusi kļūt par pierādījumu par spēju, skarto populāciju vai nākotnes kontekstu, ko izvērtējums neaptvēra.
Saucējam ir arī sociālā puse. Kad organizācija izlemj, kuri gadījumi ir pietiekami vienkārši automatizēšanai un kuri jāgaida cilvēkam, definīcijas nosaka, kurš uzņemas atlikušo nenoteiktību. Apkopotais rādītājs var slēpt faktu, ka mazākai grupai ir mazāk piemēru, mazāk stabilas etiķetes vai atšķirīgs darbības konteksts. Tas nav iemesls solīt vienādus statistikas rādītājus tur, kur pierādījumu ir maz. Tas ir iemesls skaidri norādīt uz vājajiem pierādījumiem un izveidot piesardzīgu lēmumu pieņemšanas noteikumu.
Veiksmīgs izpildes gadījums ir paraugs, nevis secinājums
Varbūtību sistēmas mudina uz noteiktu pārliecības veidu, jo tās ir tik viegli demonstrēt. Ievadiet datus, saņemiet iespaidīgu rezultātu, atkārtojiet ar līdzīgiem datiem, saņemiet vēl vienu. Demonstrācija var parādīt, ka sistēma spēj veikt uzdevumu. Tā pat var parādīt kaut ko, ko ir vērts izpētīt. Tā nevar parādīt rezultātu sadalījumu, rādītāja stabilitāti, reakciju uz robežgadījumiem, atsauces etiķešu kvalitāti vai izmainītas darbības apstākļu ietekmi. Paraugs var aizsākt izpēti. Tas nevar to pabeigt.
Tas pats attiecas uz vienu etalona izpildi. Rezultāts var būt iegūts pareizi, uz labi aprakstītas sistēmas, ar atbilstošu metriku. Ja tas izpildīts vienu reizi, tas ir pierādījums vērtībai, kas novērota vienu reizi šajos apstākļos. Tas automātiski nav pierādījums stabilai sistēmas īpašībai. Atkārtošana palīdz atklāt mainīgumu. Tā nenovērš nepieciešamību jautāt, vai tests atspoguļo paredzēto lietojumu. Atkārtojamība un derīgums risina dažādas problēmas, un abām ir vieta ierakstā.
OECD sistēma šo nošķīrumu padara skaidru. Uzticamība attiecas uz to, vai novērtējumā ir pietiekami daudz atkārtojumu, epizožu garuma vai gadījumu, lai, atkārtoti piemērojot, nodrošinātu zemu mainīgumu. Atkārtojamība attiecas uz to, vai to pašu testu var ģenerēt atkārtoti, tostarp vai stohastiskie komponenti maina mijiedarbību. Tests var būt precīzi atkārtojams un tomēr atbildēt uz neiederīgu jautājumu. Tas var būt reālistisks un grūti precīzi atkārtojams, jo vide ir mainījusies. Neviens no šiem nosacījumiem pats par sevi nav trūkums. Ierakstā jānorāda, kurš nosacījums ir spēkā un ko tas ļauj lasītājam secināt.
Šeit ir pieticīgs, bet vērtīgs darbības ieradums: saglabājiet veiksmīgo izpildi, bet neuzlieciet tai vairāk, nekā tā spēj nest. Saglabājiet ievaddatus, konfigurāciju, versiju, sēklu, ja tāda ir, atkarības, izvadi un novērtējuma lēmumu. Pēc tam novietojiet to blakus atkārtotiem mērījumiem, pretpiemēriem, atturēšanās gadījumiem un mainītiem apstākļiem. Rezultāts, kas paliek noderīgs pēc saskares ar saviem neērtajiem kaimiņiem, ir vērtīgāks par rezultātu, kas no tiem bija jāaizsargā.
Ģeneratīvām sistēmām veiksmīga atbilde ir īpaši vājš atkārtojamības pierādījums, ja vien netiek fiksēts mijiedarbības līgums. Paraugu ņemšanas iestatījumi, uzvednes, izgūtais materiāls, rīku pieejamība, modeļa versija, drošības politika un apkārtējā darba plūsma var ietekmēt rezultātu. Vārdu virknes atskaņošana bez attiecīgā stāvokļa var atveidot testa izskatu, bet trūkt nosacījumam, kas to padarīja jēgpilnu. Pierādījumu darbā līdzība nav atkārtošana.
Atkārtojamība nav sinonīms uzticībai
Deterministiska atkārtošana var būt lielisks pierādījums vienai šaurai tēzei: ņemot vērā tos pašus reģistrētos ievaddatus, konfigurāciju un ieviešanas apstākļus, sistēma radīja tādu pašu rezultātu. Tas padara izmeklēšanu, regresijas testus un versiju salīdzināšanu vieglāk pārvaldāmu. Tas nepierāda, ka rezultāts bija pareizs, ka ievaddati bija piemēroti, ka sistēmu vajadzēja izmantot lēmuma pieņemšanai vai ka rezultāts vispārināsies ārpus reģistrētās robežas. Atkārtojamība ir eksperimenta īpašība. Uzticība ir spriedums par plašāku izkārtojumu.
Stohastiska uzvedība maina ierakstu, nevis attaisno tā neesamību. Ja izvade mainās, novērtējumā jāreģistrē, kuras daļas mainās, cik bieži, kādā diapazonā un kā šī mainība ietekmē lēmumu. Sistēma, kas piedāvā alternatīvus formulējumus, var pieļaut plašāku diapazonu nekā sistēma, kas sarindo gadījumus pēc uzmanības nepieciešamības. Sistēmai, kas konsultē cilvēku, var būt nepieciešami citi pierādījumi nekā sistēmai, kas padara iespējamu neatgriezenisku darbību. Varbūtība pati par sevi nav operacionāla kategorija. Sekas nosaka, cik lielu nenoteiktību process drīkst droši nest.
Abās pusēs ir viegli kļūdīties. Viena komanda pieprasa fiksētu izvadi no rīka, kura deklarētais mērķis ietver izpēti, un pēc tam jauc iegūto determinismu ar kvalitāti. Cita komanda pieņem mainīgu izvadi no lēmumu atbalsta sistēmas un tad dēvē mainību par radošumu, kad tā kļūst grūti novērtējama. Neviena no šīm nostājām nav nopietna. Jautājums ir par to, vai mainība ir sagaidāma, ierobežota, novērojama un saderīga ar sistēmai piešķirto pilnvaru apjomu.
Eiropas regulējums nereducē šo jautājumu uz vienu universālu rādītāju. Augsta riska mākslīgā intelekta sistēmām Mākslīgā intelekta akta 15. pants prasa atbilstošu precizitātes, robustuma un kiberdrošības līmeni, kā arī konsekventu sniegumu šajos aspektos visā sistēmas dzīves ciklā. Tajā arī noteikts, ka precizitātes līmeņi un attiecīgie precizitātes rādītāji jānorāda lietošanas instrukcijās, un tas veicina etalonu un mērīšanas metožu izmantošanu tehnisko aspektu novērtēšanā. Šis noteikums nesaka, ka viens atkārtots tests atrisina jautājumu. Tas prasa, lai sniegums tiktu precizēts un uzturēts kontekstā.
Tā ir saprātīga nostāja jebkuram nopietnam novērtējumam. Atkārtojams tests ir viena daļa no pierādījumu ķēdes. Tam ir nepieciešams īpašnieks, versijas robeža, izmaiņu aktivizētājs un saikne ar operacionālo lēmumu, ko tas atbalsta. Bez tiem reproducējamība var kļūt par vēl vienu pievilcīgu vārdu, kas ceļo tālāk nekā eksperiments.
Nenoteiktībai nepieciešams operacionāls ceļš
Nenoteiktības praktiskais mērķis nav padarīt informācijas paneli izsmalcinātu. Tas ir mainīt to, ko sistēmai ir atļauts darīt. Ja rādītājs neietekmē maršrutēšanu, pārskatīšanu, skaidrojumu, uzraudzību vai apturēšanu, tas var būt tehniska kuriozitāte, nevis operacionāls signāls. Ja tas tomēr maina darbību, organizācijai jānorāda ceļš no rādītāja līdz pilnvarām.
Slieksnis ir viens šāds ceļš, bet tā nav maģiska robeža. Sliekšņa noteikšana izvēlas kompromisu starp kļūdu veidiem, darba slodzi, kavēšanos un iespējamo kaitējumu. Slieksnis var būt piemērots zema riska pārskatīšanas rindas prioritizēšanai un nepiemērots personas atteikšanai no pakalpojuma. Tas pats skaitliskais slieksnis var nozīmēt dažādas lietas, ja mainās bāzes līmenis, kļūdas izmaksas, pieejamais tiesiskās aizsardzības līdzeklis un turpmākās pārskatīšanas kvalitāte. Nav universāla prudenciāla skaitļa, kas gaidītu pārdevēja rokasgrāmatā.
Tādēļ lēmuma noteikumam būtu jāapraksta vairāk nekā tikai robežvērtība. Tajā jānosauc novērtējamais iznākums, pierādījumi, kas atbalsta rādītāju, gadījumi ārpus darbības jomas, apstākļi, kas piespiež atturēties, cilvēka pilnvaras, kas saglabājas, ieraksts, kas tiks glabāts, un nosacījumi noteikuma pārskatīšanai. Slieksnis bez šiem pavadoņiem ir lēmums, kas maskējas kā konfigurācija.
Noderīga hipotēze ilustrē šo punktu, neizgudrojot publisku incidentu. Apsveriet pakalpojumu, kas izmanto modeļa rādītāju, lai šķirotu ienākošos pieprasījumus apmācītam pārskatītājam. Pierādījumi var atbalstīt ierobežotu apgalvojumu: rādītājs var palīdzēt sakārtot salīdzināmus pieprasījumus noteiktā iesniegumu kategorijā, kamēr visa galīgā prioritizēšana paliek pārskatītāja ziņā. Tie paši pierādījumi neatbalsta automātisku zemu novērtētu pieprasījumu noraidīšanu, jo tā ir cita darbība ar citām sekām un citām pierādījumu prasībām. Izvade nemainījās. Mainījās tās pilnvaras.
Atturēšanās ir pelnījusi tādu pašu nopietnību. Sistēma, kas spēj pateikt, ka tās pierādījumi ir nepietiekami, īstermiņā var radīt vairāk darba, bet ilgtermiņā samazināt nepamanītas kļūdas. Tomēr atturēšanās ir noderīga tikai tad, ja tai ir atbildīgs galamērķis. Ja neskaidri gadījumi pazūd rindā, par kuru neviens neatbild, sistēma vienkārši ir pārvērtusi nenoteiktību kavēšanās laikā. Labs maršruts norāda, kurš saņem lietu, ko viņš var redzēt, kā viņš to labo un kā šī korekcija ietekmē turpmāko novērtēšanu.
Cēloņsakarību apgalvojumiem nepietiek ar grafiku pirms un pēc
Varbūtību aplēses bieži izmanto, lai pamatotu apgalvojumus par to, kas notiks, ja organizācija rīkosies. Tas ir cits pierādījumu uzdevums nekā prognozēt, kas notika vēsturiskajos datos. Modelis var aplēst, ka lieta līdzinās citām lietām ar noteiktu iznākumu. Tas tomēr nenorāda, ka lietas maiņa, politikas maiņa vai ieteikuma ievērošana izraisīs iznākuma maiņu. Prognozēšanu un iejaukšanos nevajadzētu sapludināt tikai tāpēc, ka diagramma izskatās glīta.
Īpaši vilinoši ir attēli pirms un pēc. Komanda ievieš rīku, iznākums mainās, un rīkam tiek piedēvēts nopelns vai vaina. Daudz kas cits var būt mainījies: iedzīvotāji, kas nonāk pakalpojumā, dokumentācija, personāls, politika, sezonas apstākļi, augšpusē esošie filtri vai pats mērījums. Novērojums var būt uzmanības vērts. Tas nav cēloņsakarības secinājums, kamēr nav izskatīts salīdzinājums, alternatīvi skaidrojumi un atlikusī nenoteiktība.
Tas ir svarīgi mākslīgā intelekta pārvaldībai, jo sistēma var būt operacionāli ietekmīga ilgi pirms tā ir formāli izšķiroša. Rangs var mainīt to, kuru ierakstu cilvēks atver vispirms. Uzticamības indikators var pamudināt recenzentu pieņemt rezultātu. Ieteiktā darbība var kļūt par rutīnu, jo rinda ir noslogota. Cēloņsakarību ceļš ietver cilvēka interpretāciju, saskarnes dizainu, stimulus, laika spiedienu un pieejamo korekcijas iespēju. Tikai modeļa novērtēšana nevar sniegt pilnu ainu.
Kad cēloņsakarības apgalvojumam ir nozīme, pierādījumu plānā būtu jānorāda, kāds salīdzinājums padarītu apgalvojumu ticamāku un ko tas joprojām nevarētu izslēgt. Tas var ietvert kontrolētu testu, pakāpenisku ieviešanu, neatkarīgu pārskatu, rūpīgi izstrādātu novērojumu pētījuma dizainu vai lēmumu atturēties no cēloņsakarības apgalvojuma vispār. Mērķis nav pieprasīt akadēmisku pilnību no katrām operacionālām izmaiņām. Mērķis ir saskaņot apgalvojuma pārliecību ar faktiski pieejamajiem pierādījumiem.
Šajā ziņā ir kaut kas no nīderlandiešu veselā saprāta, lai gan tas labi ceļo: ja esi izmērījis tikai to, ka vējš mainījies, nepaziņo, ka esi pārprojektējis laikapstākļus. Prognoze var būt vērtīga bez tā, ka tā kļūst par stāstu par cēloņsakarību. Godīgums nav atkāpšanās. Tas ir tas, kas padara rezultātu izmantojamu kādam, kam jāizlemj, ko darīt tālāk.
Precizitāte var slēpt sliktu lēmumu pieņemšanas noteikumu
Precizitāte bieži ir noderīga un bieži vien nepietiekama. Sistēma var sasniegt augstu precizitāti, ja viens iznākums ir izplatīts, bet sniegt maz palīdzības gadījumos, kuriem ir vislielākā nozīme. Tai var būt spēcīgs vidējais rādītājs, bet tā var darboties slikti pie darbības robežas. Tā var sniegt pareizas prognozes bez varbūtību aplēsēm, kas atbalstītu saprātīgus sliekšņus. Tā var izskatīties veiksmīga, jo atsauces etiķeti ir viegli prognozēt, pat ja pati etiķete ir vājš aizstājējs lēmumam, kas pakalpojumam jāpieņem.
Neviens no tā nenozīmē, ka precizitāte ir bezjēdzīga. Tas nozīmē, ka lasītājam būtu jājautā, ko tā mēra un ko tā atstāj ārpus rāmja. AI akts atzīst šo vajadzību pēc konteksta savās prasībās par lietošanas instrukcijām: augsta riska sistēmu dokumentācijā jāiekļauj veiktspējas raksturlielumi un ierobežojumi, paredzētais mērķis, attiecīgie precizitātes rādītāji, ko izmanto sistēmas testēšanai un validācijai, kā arī zināmie vai paredzamie apstākļi, kas var ietekmēt paredzamo veiktspēju. Precizitātes skaitlis kļūst noderīgāks, ja tam tiek saglabāti apkārtējie apstākļi.
Laba darbības pārskatīšana tāpēc jautā par kļūdu modeļiem, nevis tikai par kopsummām. Kuri gadījumu veidi tika nepareizi klasificēti? Kuri bija neskaidri? Kuri gadījumi tika izslēgti vai nosūtīti pārskatīšanai? Kas notiek ar kļūdaini pozitīvu, kļūdaini negatīvu, aizkavētu atbildi vai nepamatotu atturēšanos? Kurš var pamanīt rezultātu, to apstrīdēt un labot ierakstu? Šie jautājumi atgriež vērtēšanu pie pakalpojuma, nevis atstāj to pie modeļa.
Var būt arī noderīgi atšķirt komponentes pierādījumu no darbplūsmas pierādījuma. Komponentes tests var noteikt modeļa īpašības pie noteiktām ievadēm. Darbplūsmas vērtējums var noteikt, kā mijiedarbojas modelis, saskarne, dati, cilvēki un politika. Komponentei var būt spēcīga punktu kalibrācija, kamēr darbplūsma rada automatizācijas neobjektivitāti, jo saskarne slēpj nenoteiktību. Darbplūsmai var būt lielisks pārskatīšanas process, kamēr tā paļaujas uz komponenti, kuras avota dati vairs neatbilst noteiktajam tvērumam. Testiem kaut kur ir jāsatiekas.
Iegūtais pierādījums nav obligāti grandiozs ziņojums. Tas var būt kodolīgs, versēts ieraksts, ja lēmums ir šaurs. Svarīgi ir tas, ka cita persona var pārbaudīt apgalvojumu, kopumu, metodi, rezultātu, ierobežojumu un lēmumu. Faila lielums nenosaka spriešanas kvalitāti. Īss ieraksts var būt stingrs. Liela prezentācija var būt lielākoties tukša.
Izmaiņas pārvērš vakardienas pierādījumu jautājumā
Katram vērtēšanas rezultātam ir datums, pat ja datums ir paslēpts. Modeļi mainās. Uzvednes mainās. Datu avoti mainās. Augšupstraumes forma iegūst jaunu lauku. Piegādātājs maina politiku. Komanda pārceļ pakalpojumu uz citu vidi. Jauna grupa sāk lietot sistēmu. Rādītājs tiek aprēķināts pēc mainīta pārskatīšanas procesa. Katra izmaiņa var mainīt apgalvojumu, ko atbalstīja iepriekšējais pierādījums.
Pareizā atbilde nav pārskriet visus testus pēc katras izmaiņas. Tā ir definēt, kuras izmaiņas ir būtiskas kuriem apgalvojumiem. Krāsas maiņa var neietekmēt varbūtības kalibrāciju. Jauns ievades kanāls var ietekmēt. Pārskatīta marķējuma politika var mainīt iznākuma definīciju. Jauna modeļa versija var mainīt gan veiktspēju, gan tā punktu interpretāciju. Izmaiņas sistēmai piešķirtajās pilnvarās var padarīt lēmuma noteikumu nederīgu, pat ja modelis paliek pilnīgi nemainīgs. Testa plānam šīs attiecības būtu jāpadara redzamas, pirms izlaide ir ērta.
AI akta 9. pants apraksta nepārtrauktu, iteratīvu risku pārvaldības procesu augsta riska sistēmām visā to dzīves ciklā. Process ietver zināmu un pamatoti paredzamu risku identificēšanu un analīzi, risku novērtēšanu un izvērtēšanu, kad sistēma tiek lietota paredzētajā veidā un pamatoti paredzamas nepareizas lietošanas apstākļos, kā arī risku pārvaldības pasākumu pieņemšanu. Norāde vērtēšanai ir tieša: pierādījums nav vienreizēja ceremonija izlaišanas brīdī. Tas pieder pārskatīšanas, izmaiņu un atbildes darbības sistēmai.
Uzraudzība nenozīmē vākt katru pieejamo signālu un cerēt, ka modelis pats sevi atklās. Tas nozīmē izlemt, kurš novērojums ļautu atkārtoti izskatīt prasību. Kalibrācijas pārbaudi var ieplānot pēc perioda, apjoma vai mainīta ievades sastāva. Slieksni var pārskatīt, kad rindas spiediens maina cilvēka uzraudzības kvalitāti. Avota maiņa var apturēt izmantošanu, līdz attiecīgais tests tiek atkārtots. Nopietns uzraudzības plāns nosaka, kas tiek vērots, kurš to dara, pret kādu atsauci un kāda rīcība seko.
Tas ir prasīgāk nekā modeļa karte, kas arhivēta iepirkuma dienā, bet arī daudz noderīgāk. Statisks dokuments var saglabāt to, kas tika apgalvots. Dzīvs pierādījumu ieraksts var parādīt, vai apgalvojumam joprojām ir vieta. Varbūtības sistēmai šī atšķirība ir atšķirība starp zināšanu, ka rādītājs pastāvēja, un zināšanu, vai tas joprojām nozīmē to, ko pakalpojums domā, ka tas nozīmē.
Ieraksti ļauj vēlākam lasītājam pienācīgi nepiekrist
Pierādījumiem ir vajadzīga atmiņa. Vēlāks recenzents nevar novērtēt apgalvojumu pēc rādītāja ekrānuzņēmuma un atmiņas par sapulci. Viņam ir vajadzīgs versijas objekts: jautājums, ievades nosacījumi, testa vai novērojuma metode, rezultāts, izņēmumi, nenoteiktība, lēmums un atbildīgā persona. Viņam var būt nepieciešams arī zināt, kas netika fiksēts. Ieraksts, kas padara redzamus savus aklos punktus, ir noderīgāks par nevainojami izskatīos ierakstu, kas atstāj sistēmas stāvokli minējumu ziņā.
Augsta riska mākslīgā intelekta sistēmām MI akts pieprasa automātisku notikumu reģistrēšanu visā sistēmas darbības laikā, ar reģistrēšanas iespējām, kas atbilst paredzētajam mērķim un ir noderīgas riska identificēšanai, pēctirgus uzraudzības un darbības uzraudzības atbalstam. Tas arī pieprasa, lai tehniskā dokumentācija tiktu sagatavota pirms sistēmas laišanas tirgū un uzturēta aktuāla. Šīs prasības nav tikai aicinājums glabāt vairāk žurnālu. Tās ir aicinājums padarīt žurnālus saprotamus saistībā ar sistēmu, mērķi un lēmumu.
Izsekojamība ir īpaši svarīga, ja varbūtību interpretē cilvēks. Ja recenzents redz rādītāju, pierādījumu ierakstam būtu jāļauj rekonstruēt, kam rādītājs bija piesaistīts, kā tas tika pasniegts, kādi dati vai avoti bija tvērumā, ko recenzents nolēma un vai vēlāk notika labojums. Bez šīs ķēdes komanda var uzzināt, ka rezultāts bija nepareizs, bet ne to, vai problēma bija ievadē, modelī, saskarnē, lēmuma noteikumā vai cilvēka procesā ap to.
Uzņēmumā Dweve AION ir neliels, atbilstošs piemērs plašākam principam, nevis apgalvojums, ka pierādījumus var reducēt līdz kriptogrāfijai. Tā publiskais apraksts saka, ka ražotājs var izdot tipizētu sertifikātu kopā ar rezultātu un ka AION neatkarīgi pārbauda sertifikātu pret sākotnējām premisām. Šāds pārbaudāms ieraksts var stiprināt šauru apgalvojumu par to, vai rezultāts izriet no reģistrētām premisām. Tas nepierāda, ka premisas bija piemērotas, ka uzdevums bija taisnīgs vai ka izmantošana bija atbilstoša. Pierādījumiem ir vajadzīga gan pārbaude, gan spriedums.
Šo ierobežojumu ir vērts paturēt, jo tas novērš izplatītu kategoriju kļūdu. Perfekti saglabāta izsekošana var parādīt, kas notika. Tā nevar padarīt labu slikti formulētu jautājumu. Reproducējams lēmums joprojām var būt lēmums, kuram nekad nevajadzēja būt automatizētam. Ierakstam būtu jāpalīdz vēlākam lasītājam uzdot abus jautājumus, nevis priekšlaicīgi atbildēt uz otro.
Pārliecība var būt godīga, bet tomēr nederīga
Labi kalibrēta varbūtība joprojām var būt nelietderīga. Tā var būt pārāk plaša, lai nošķirtu gadījumus, kuriem nepieciešama atšķirīga rīcība. Tā var nonākt pārāk vēlu, lai ietekmētu lēmumu. Tā var būt piesaistīta iznākumam, uz kuru nevar reaģēt. Tā var būt tik neskaidra, ka katrs gadījums prasa vienādu pārskatīšanu. Tās nav godīguma kļūmes. Tie ir lietderības ierobežojumi, un tie būtu jāatzīst agri, nevis jāatklāj pēc tam, kad ap rezultātu jau ir izveidota darba plūsma.
Un otrādi, noderīgai sistēmai nav jāizliekas pārliecinātai. Pieticīgs signāls var uzlabot darba organizāciju, ja tam ir šaurs mērķis un skaidrs pārskatīšanas ceļš. Tas var palīdzēt operatoram saskatīt, kuri gadījumi ir pelnījuši papildu avota pārbaudi. Tas var atlasīt nelielu kopu kvalitātes nodrošināšanai. Tas var atklāt pretrunu starp ierakstiem. Šādos lietojumos pierādījumu prasība attiecas uz to, vai signāls uzlabo konkrēto lēmumu pieņemšanas procesu, neieviešot nepieņemamas jaunas kļūdas vai atkarību. Signālam nav jākļūst par orākulu, lai iegūtu savu vietu.
Tieši tāpēc paredzētajam mērķim ir jāvada novērtējums. ESAO mākslīgā intelekta principi prasa jēgpilnu informāciju par sistēmu iespējām un ierobežojumiem, kā arī izsekojamību attiecībā uz datu kopām, procesiem un lēmumiem, lai izvades varētu analizēt un uz jautājumiem atbildēt. Principi arī prasa atbilstošu cilvēka rīcības brīvību un uzraudzību. Praktiskā nozīme nav tāda, ka katrai saskarnei ir nepieciešams varbūtības attēlojums. Tā ir tāda, ka sistēmas pierādījumi un skaidrojumam ir jāatbilst cilvēkam un lēmumam, ko tas ietekmē.
Nav nekādas balvas par tādas nenoteiktības vērtības atklāšanu, ko lietotājs nevar interpretēt vai uz ko nevar reaģēt. Skaitlis bez lēmuma ceļa var radīt caurskatāmības teātri. Tas dod cilvēkiem kaut ko, uz ko norādīt, un nekādu iespēju to apstrīdēt. Labāk parādīt attiecīgo robežu vienkāršā valodā, piemēram, šis ieteikums ir ārpus apstiprinātās kategorijas vai šis rezultāts prasa pārskatīšanu, jo pieejamie pierādījumi ir nepilnīgi. Atbilstošs noformējums seko operacionālajai kontrolei, nevis otrādi.
Tā paša iemesla dēļ pārliecības rādītāju nevajadzētu uztvert kā morālās vērtības, ticamības vai tiesību mēru. Tas ir tehnisks apgalvojums ar ierobežotu pierādījumu līgumu. Tas var palīdzēt procesam. Tam nevajadzētu kļūt par neskaidru sociālu rangu tikai tāpēc, ka tā skaitliskā forma liek tam izskatīties izšķirošam.
Organizācija ir atbildīga par secinājumu
Piegādātāji var nodrošināt modeļus, dokumentāciju, rādītājus un testu rezultātus. Tie nevar klusējot piesavināties lēmuma nozīmi, kas pieņemts kāda cita dienestā. Organizācijai, kas savieno varbūtības iznākumu ar darbību, pašai jāizlemj, uz kuru pieņēmumu tā paļaujas, kura populācija ir būtiska, kurš slieksnis ir pieņemams, kurš izskata izņēmumus, kuri ieraksti tiek saglabāti un kad pierādījumi ir zaudējuši derīgumu. Līgumi var sadalīt uzdevumus. Tie nenovērš vajadzību pēc sprieduma.
Tas kļūst redzams iepirkumā. Pircējam būtu jāprasa potenciālajam piegādātājam ne tikai galvenais rādītājs, bet arī izvērtēšanas jautājums, populācija, marķējumi, izslēgšanas kritēriji, versijas, variācija, kalibrēšanas metode, ja tiek izteikts varbūtības apgalvojums, zināmie ierobežojumi un izmaiņu politika. Mērķis nav pieprasīt atklāt informāciju, ko piegādātājs likumīgi nevar sniegt. Mērķis ir noskaidrot, vai pircējs pietiekami labi saprot apgalvojuma robežas, lai to atbildīgi izmantotu Eiropas darbības kontekstā.
Atbilde dažkārt var būt tāda, ka pierādījumi nav pietiekami paredzētajam lietojumam. Tā nav neveiksmīga iepirkuma procedūra. Tas ir iepirkuma process, kas pilda savu faktisko uzdevumu, pirms organizācija ir kļuvusi atkarīga no neizskaidrota rādītāja. Iespējams joprojām ir iespējams mazāks, pārbaudāms lietojums. Var būt piemērots cits piegādātājs. Vai arī lēmums var palikt cilvēka ziņā, ja pierādījumi un labošanas ceļš nav pietiekami spēcīgi, lai attaisnotu automatizāciju. Pateikt nē ir daļa no pierādījumu disciplīnas.
Pierādījumiem pēc ieviešanas ir nepieciešams arī nosaukts īpašnieks. Kādam ir jābūt atbildīgam par to, vai populācija nav mainījusies, vai pārskatos nav atklāts jauns kļūdu modelis, vai slieksnis joprojām atbilst darba slodzei, vai ierakstus var interpretēt un vai izmaiņas izraisa atkārtotu izvērtēšanu. Īpašniekam nav personīgi jāveic katrs tests. Bet, ja neviena loma nav atbildīga par secinājumu, sistēma pamazām iegūs autoritāti ieraduma dēļ. Ieradums ir vājš lēmumu reģistra aizstājējs.
Visgrūtākā daļa bieži ir kultūras jautājums. Komandas ir pieradušas prezentēt veiksmīgus modeļus kā produktus un neveiksmīgus modeļus kā pētījumus. Varbūtības pierādījumi prasa saglabāt neskaidrību pa vidu: noderīgs, ierobežots, uzraudzīts un vēl nav pilnvarots kļūt par vairāk, nekā pierādījumi atbalsta. Tas var izklausīties mazāk aizraujoši. Tas ir ilgtspējīgāk.
Ko satur samērīgs pierādījumu reģistrs
Atbilstošais reģistrs ir atkarīgs no lietojuma. Rakstīšanas palīglīdzeklim, ko izmanto autors, ir citas sekas nekā sistēmai, kas ietekmē piekļuvi sabiedriskajam pakalpojumam. Tomēr samērīgam reģistram ir atpazīstama forma. Tajā ir identificēts apgalvojums un paredzētais mērķis. Tajā ir identificēts modelis, konfigurācija un apkārtējais darba process. Tajā ir definēts iznākums un populācija, ko izmanto apgalvojuma izvērtēšanai. Tajā ir saglabāta metode, rezultāts un jēgpilni ierobežojumi. Tajā ir identificēts lēmumu pieņemšanas noteikums, īpašnieks, pārskatīšanas ceļš un izmaiņu izraisītāji. Katrs lauks vēlākajam lasītājam dod vietu, kur sākt.
Reģistram būtu jānošķir mērījums no interpretācijas. Izmērīts novērojums varētu teikt, ka noteiktā datu kopā un periodā noteikta rādītāju kopa atbilda novērotajiem iznākumiem aprakstītajā diapazonā. Interpretācija varētu teikt, ka tas atbalsta izmantošanu kā pārskatīšanas secības signālu noteiktos apstākļos. Lēmums varētu teikt, ka sistēmu drīkst izmantot šim mērķim, līdz notiek noteikts izmaiņu izraisītājs. Ievietot visus trīs teikumus zem virsraksta, ko sauc par veiktspēju, ir efektīvi tikai tad, ja nevienam nekad nav jāapstrīd pamatojums.
Tam vajadzētu arī padarīt nezināmos lietojamus. Iespējams, etiķetes kavējas. Iespējams, nelielai valodu grupai trūkst pietiekami daudz gadījumu, lai veiktu stabilu kalibrācijas novērtējumu. Iespējams, ieviešana ir jauna un vēl nav operatīvu pierādījumu. Ieraksts to var norādīt, uz laiku ierobežot lietošanu, organizēt papildu novērošanu vai saglabāt cilvēka iesaisti. Izlikšanās, ka nezināmais ir atrisināts, tāpēc ka modelis ir radījis skaitli, tikai pārvērš nenoteiktību nedokumentētā saistībā.
Vizuālā disciplīna šeit ir noderīga. Uzzīmējiet ķēdi no ievades līdz rezultātam, no rezultāta līdz parādītajam skaidrojumam, no skaidrojuma līdz cilvēka rīcībai un no rīcības līdz novērotajam iznākumam un korekcijai. Uzzīmējiet, kur stāvoklis tiek fiksēts, kur tas tiek zaudēts un kur cilvēks var apturēt vai mainīt ceļu. Ja komanda nevar uzzīmēt ceļu, maz ticams, ka tā to spēs novērtēt. Diagrammas neaizstāj pierādījumus. Tās neļauj pierādījumus attiecināt uz nepareizu sistēmas daļu.
Pats svarīgākais ir pierakstīt, ko ieraksts nenosaka. Tas var nenoskaidrot cēloņsakarību. Tas var nenoskaidrot taisnīgumu visās grupās. Tas var nenoskaidrot uzvedību pēc piegādātāja maiņas. Tas var nenoskaidrot piemērotību nozīmīgākai darbībai. Šie neapgalvojumi nav atvainošanās. Tie ir tas, kas neļauj ierobežotu novērtējumu izmantot kā universālu atļauju.
Pierādījumi dod tiesības palikt nenoteiktam
Pastāv kārdinājums domāt, ka novērtējuma mērķis ir novērst nenoteiktību. Bieži vien labāks mērķis ir to lokalizēt. Varbūtību sistēma nav nepilnīga tāpēc, ka tā nevar katru gadījumu pārvērst noteiktībā. Tā kļūst bīstama, kad organizācija nenoteiktību uzskata par privātu tehnisku detaļu, vienlaikus piešķirot izvadei publisku autoritāti. Darbs ir izlemt, kura nenoteiktība ir pieļaujama, redzama un atgūstama attiecīgajam mērķim.
Šim lēmumam jākļūst stingrākam, pieaugot sekām. Zemas ietekmes ieteikumam var būt nepieciešams skaidrs tvērums, redzams ierobežojums un viegla korekcija. Sistēmai, kas ietekmē tiesības, drošību, piekļuvi vai materiālās iespējas, ir nepieciešami spēcīgāki pierādījumi par visu procesu, rūpīgāka uzraudzība, jēgpilna cilvēka autoritāte un iespēja apstrīdēt un saņemt kompensāciju. Modeļa rezultāts vien nenosaka šo standartu. To nosaka rīcības sekas.
Viens veiksmīgs izpildījums joprojām var būt vērts saglabāt. Tas var būt pirmais paraugs noderīgā ierakstā. Tas var atklāt spēju, kļūmes veidu vai jautājumu, kas ir pelnījis pienācīgu novērtējumu. Taču tam vajadzētu palikt paraugam, līdz organizācija ir pārbaudījusi apgalvojumu, uz kuru tā vēlas paļauties. Attālums starp šīm divām lietām ir vieta, kur dzīvo atbildīga inženierija.
Tātad atbilde uz jautājumu, kas tiek uzskatīts par pierādījumu, kad iekārta ir varbūtību sistēma, nav rezultāts, diagramma vai atbilstības zīme. Tas ir ierobežots arguments: šī izvade, šim jautājumam, šajā populācijā un periodā, šādos apstākļos, ir novērota šādā veidā; tas ir tas, ko mēs varam secināt; tas ir tas, ko mēs nevaram secināt; un tas ir tas, kādu rīcību mēs esam vai neesam gatavi tai ļaut mainīt. Šis arguments nav pievilcīgs. Tas ir pārbaudāms, kas ir labāk.