Etiķete ir līgums ar saucēju

Veiktspējas apgalvojumi kļūst noderīgi, ja pie skaitļa saglabājas darba slodze, tvērums, aparatūra, kvalitātes nosacījumi, bāzes līnija un nenoteiktība.

Etiķete ir līgums ar saucēju

The number that forgets its denominator

A benchmark result can be measured correctly and still answer the wrong question. The usual culprit is not a faulty timer or a dishonest engineer. It is the denominator that disappeared between the test harness and the presentation slide. “Twice as fast” sounds like a comparison, but it does not say twice as fast at what work, on which machine, with which software, under which quality condition, against which baseline, or for which users. Remove those conditions and a performance number becomes a polished fragment. It may remain numerically true. It no longer tells a buyer or an operator what they can expect.

The denominator is the work against which the result is expressed. For throughput, it is the work completed and the time over which completion is counted. For latency, it is the request definition, the path included, and the population of observations. For accuracy, it is the labelled set, the label rule, and the unit being judged. For energy, it is the boundary of the measured system and the work delivered inside that boundary. For cost, it is the cost period, the included resources, and the volume of useful work. A benchmark is honest when its numerator and denominator travel together.

That is why a benchmark is best treated as a contract. The contract names the question, the workload, the scope, the hardware and software, the metric, the baseline, the uncertainty and the method by which another party could check the result. A contract can be narrow. It can be exploratory. It can be useful only for one deployment. What it cannot be is an impressive number whose conditions are left for the reader to guess. Guessing is a poor way to allocate public money, and an even poorer way to design a service that somebody else must keep alive.

The European habit of writing down definitions is occasionally mocked as paperwork. In measurement work, definitions are the part that stops paperwork from becoming folklore. The benchmark table is not an administrative appendix to the result. It is the result’s identity card.

Read the unit before the headline

Start with the unit, but do not stop there. Requests per second, tokens per second, milliseconds, joules per query, euros per thousand records and percentage points all tell you something. None tells you what the system was asked to do. A result of 100 requests per second can describe tiny cached requests or large uncached requests that include retrieval, validation and a human hand-off. A latency of 20 milliseconds can cover a single kernel or an entire decision path. The unit is a door. The workload is the room behind it.

Suppose a procurement slide says that a new service is 40 per cent faster than the existing one. The sentence is not yet evidence. It needs at least the operation being timed, the input size and distribution, the work excluded from the clock, the concurrency, the warm-up state, the software versions, the hardware, and the baseline configuration. It also needs the quality condition. If the faster path returns fewer valid results, drops long inputs or skips an expensive verification step, the numerator has been made smaller by changing the work.

This is not a request for an enormous table before anyone may speak. It is a request to identify the few fields that change the meaning of the claim. A small parser benchmark may need record shape, input source, validation policy, compiler and processor. An inference benchmark may need model, precision, batch, scenario, quality target and power boundary. A public-sector queue may need the case definition, service clock, routing rule and escalation path. The fields differ. The obligation to name them does not.

Šeit ir noderīga disciplīna: rezultātu uzrakstiet kā teikumu, kas spētu izturēt otra lasītāja skatienu. “Pie šīs darba slodzes un šīs kvalitātes prasības, šajā sistēmā un versijā, izmērītā vērtība bija šāda, ar šādu izkliedi.” Ja teikumu nevar pabeigt bez tādiem vārdiem kā tipisks, labākais, produkcijai līdzīgs vai reprezentatīvs, metode vēl nav pabeigta. Šie vārdi var būt pamatoti, taču tiem ir vajadzīga operacionāla definīcija, nevis silta noskaņa.

Bencmarka kartīte nav rotājums ap skaitli. Tā ir mazākā lietderīgā skaitļa līguma forma.

Darbības joma ir daļa no rezultāta

Darbības joma atbild uz vienkāršu jautājumu: ko šis rezultāts aptver un kas paliek ārpus rāmja? Mašīnmācīšanās novērtēšanā darbības joma ietver uzdevumu, datu kopu, sadalījumu, valodu, ievades garumu, darbības scenāriju un atļautās implementācijas izvēles. Programmatūras pakalpojumā tā ietver maršrutu, datu krātuves, tīklu, kešatmiņu un darbu, ko lejupstraumes komanda veic pēc tam, kad izmērītais galapunkts ir atgriezis rezultātu. Rezultāts, kas izmērīts vienā slānī, nedrīkst klusi kļūt par solījumu par visu pakalpojumu.

MLCommons to padara redzamu savā MLPerf Inference dokumentācijā. Iesniegšanas rokasgrāmata nošķir datu centra un malu sistēmu tipus, uzskaita tādus scenārijus kā offline, server, interactive, single-stream un multi-stream, un atšķir slēgto divīziju no atvērtās divīzijas. Slēgtā divīzija ir paredzēta tiešam salīdzinājumam, izmantojot to pašu modeli un atsauces iestatījumu. Atvērtā divīzija pieļauj tādas izvēles kā pārmācīšana vai modeļa aizstāšana. Neviena no tām nav universāli pareizā divīzija. Tās atbild uz dažādiem jautājumiem. Virsraksts, kas tās sajauc, nav plašs skatījums. Tā ir kategoriju kļūda ar izcilu tipogrāfiju.

Tajā pašā dokumentācijā redzams, kāpēc benchmarkam ir nepieciešama skaidra kvalitātes puse. Uzskaitītais ResNet50 ieraksts nosauc ImageNet-2012 validācijas kopu, tās datu kopas un vaicājumu paraugu saraksta lielumus, atsauces precizitāti un servera latentuma ierobežojumu. Uzskaitītajam ResNet50 ierakstam lapa norāda validācijas kopu ar 50 000 attēliem, vaicājumu paraugu sarakstu ar 1 024 ierakstiem, atsauces precizitāti 76,46 procenti un 15 ms servera latentuma ierobežojumu. Šie lauki nav sīkumi cilvēkiem, kam patīk lasīt noteikumus. Tie izskaidro, ko ziņotajam ātrumam bija atļauts nozīmēt. Mainiet datu kopu, scenāriju vai kvalitātes prasību, un salīdzinājums ir mainījies, pat ja modeļa nosaukums izskatās pazīstams.

Eiropas pircējam vajadzētu būt piesardzīgam pret darbības jomu, ko norāda produkta etiķete. “AI platforma”, “paātrinātājs” un “uzņēmumu klase” nenosaka darbu. Sistēma, kas ir izcila ierobežotā darbībā, var būt tieši tas, kas pakalpojumam nepieciešams. Sistēma, kas apgalvo, ka aptver visu, var būt izmērījusi gandrīz neko, kas līdzinātos pakalpojumam. Šaura patiesība ir veselīgāka par universālu miglu.

Pārklājums maina nozīmi

Pārklājums nav zemsvītras piezīme par to, vai testu kopa bija liela. Tas apraksta, kuru gadījumi un kādas situācijas nonāk mērījumā. Etalons var aptvert daudzus piemērus no vienas šauras sadalījuma un joprojām maz pateikt par malām, kam ir nozīme darbībā. Un otrādi, neliela, rūpīgi izvēlēta kopa var atklāt svarīgu atteices veidu, neatbalstot vispārīgu veiktspējas apgalvojumu. Izvēle ir dizaina lēmums. Tai ir jābūt skaidri formulētai kā tādai.

OECD sistēma mākslīgā intelekta novērtēšanas instrumentu raksturošanai ir noderīga, jo tā atsakās reducēt novērtējumu līdz vienam rādītājam. Tā piedāvā 18 aspektus, tostarp pārklājumu, mērķi, reālismu, derīgumu, ticamību, caurskatāmību un nosacījumus, kādos rezultātus var interpretēt. Pārklājums jautā, vai novērtējums atspoguļo to, ko tas paredzēts mērīt. Mērķis nošķir etalonu, kas paredzēts pētniecībai, no tā, kas paredzēts atbilstības vai cita lietojuma pārbaudei. Reālisms jautā, vai vide ir rotaļlietas problēma, simulēta vai laboratorijas vide, vai reālā dzīve. Šie nošķīrumi nepadara etalonu vājāku. Tie padara tā apgalvojumu salasāmu.

Pārklājums ietver arī gadījumus, ko novērtējums izslēdz. Pakalpojums var ziņot par vidējo latentumu pēc taimautu noņemšanas. Klasifikators var ziņot par precizitāti pēc neskaidru etiķešu izlaišanas. Atgūšanas sistēma var skaitīt tikai vaicājumus, kam ir vismaz viens atbilstošs dokuments. Attēlu apstrādes cauruļvads var izlaist bojātus failus. Katrs izslēgums var būt aizstāvams. Rezultātā ir jānorāda, kas tika noņemts un kāpēc. Citādi saucējs klusi kļūst par sarakstu ar gadījumiem, kurus bija ērti pabeigt.

Šeit saucējs kļūst politisks, pat pirms kāds lieto vārdu politika. Iekļautā populācija saņem labumu no tā, ka tā tiek mērīta. Izslēgtā populācija saņem stāstu par sistēmu, kas to, iespējams, neapraksta. Eiropas publiskās iestādes to jau zina no oficiālās statistikas. Eurostat Eiropas statistikas prakses kodekss nosaka 16 principus un 84 rādītājus institucionālajai videi, procesiem un rezultātiem. Tā kvalitātes nodrošināšanas sistēma piedāvā metodes un rīkus, savukārt kvalitātes ziņojumi lietotājiem stāsta, kā dati tika vākti un validēti. Vēstījums mākslīgajam intelektam nav tas, ka katram modelim jākļūst par statistikas biroju. Tas ir tas, ka skaitlim, kas paredzēts publiskiem lēmumiem, ir nepieciešams redzams ražošanas un kvalitātes stāsts.

Precizitāte nav viens vārti

Veiktspējas apgalvojumi bieži savieno ātrumu ar vienu kvalitātes skaitli un pēc tam uzskata šo pāri par pilnīgu. Kvalitāte parasti ir jautājumu saime. Vai izvade atbilst uzdevuma definīcijai? Vai tā saglabā nepieciešamos ierobežojumus? Vai tā droši neizdodas, ja trūkst pierādījumu? Vai tā uzvedas pieņemami attiecībā uz attiecīgo populāciju? Vai tā paliek kvalitātes robežās, kamēr sistēma ir noslogota? Ātra atbilde, kas neizpilda uzdevumu, nav ātrāks risinājums. Tas ir cits darba apjoms, kas valkā to pašu nosaukumu.

MLPerf struktūra ir pamācoša, jo tās veiktspējas testi atrodas blakus precizitātes validācijai un modeļiem specifiskām prasībām. Iesniegšanas rokasgrāmata dalībniekiem liek identificēt divīziju, sistēmas tipu un scenāriju, izpildīt paredzēto etalonu, validēt precizitāti pret sliekšņiem un pēc tam sagatavot pārbaudītu iesniegumu. Etalona lapa uzskaita atsauces precizitāti un latentuma vai caurlaidspējas nosacījumus katram uzdevumam. Nošķīrums ir praktisks. Tas neļauj sistēmai uzvarēt veiktspējas kolonnā, klusi zaudējot uzdevumu.

Precizitātei pašai ir nepieciešams saucējs. "Deviņdesmit astoņi procenti precīzi" var nozīmēt procentuālo daļu no ierakstiem, marķieriem, attēliem, pieprasījumiem vai lēmumiem. Tas var izmantot mikro vai makro vidējošanu. Tas var skaitīt atturēšanos kā kļūdu, kā drošu atteikumu vai kā neizmērītu iznākumu. Tas var salīdzināt ar etiķetēm, ko izveidojis viens vai vairāki recenzenti. Etalona kartē ir jānorāda vienība, etiķešu noteikums, apkopošana, ticamība vai variācija un jebkurš slieksnis, kas pārvērš mērījumu par izlaišanas lēmumu.

Nedrīkst izmantot kvalitātes skaitli kā dekoratīvu atļaujas zīmogu. Modelis var atbilst publicētajam slieksnim un joprojām būt nepiemērots konkrētam pakalpojumam, jo uzdevums, lietotāju grupa vai kaitējuma profils atšķiras. Un otrādi, zemāks kopējais rādītājs var būt pieņemams rīkam, kas paredzēts melnrakstu veidošanai un kurā cilvēks paliek autors, bet tas pats rādītājs nav pieņemams automātiskai vārtu sistēmai. Kvalitāte ir attiecība starp rezultātu, mērķi un sekām.

Laiks nav viens skaitlis

Latence bieži tiek pasniegta tā, it kā sistēmai būtu viens ātrums. Reālām sistēmām ir sadalījums. Pirmais pieprasījums var ietvert palaišanas izmaksas. Kešatmiņa var mainīt vēlākos pieprasījumus. Vienlaicīgi lietotāji var sacensties par atmiņu vai datubāzes savienojumu. Garš ievaddatu apjoms var iziet citu ceļu nekā īss. Vidējais rādītājs var uzlaboties, kamēr gala rādītājs pasliktinās. Ja gala rādītājs ir vieta, kur pakalpojums nokavē termiņu, vidējais rādītājs ir traucēklis ar mērvienību.

Noderīgs latences ziņojums norāda, kas tika mērīts un kā novērojumi tika apkopoti. Tajā var būt mediāna, augšējie procentiļi, taimauta līmenis un pieprasījumu skaits. Tajā jānorāda, vai iesildīšanas pieprasījumi tika izslēgti, vai atkārtoti mēģinājumi tika iekļauti un vai rindas vai tīkla laiks pieder mērītajam ceļam. Šīs izvēles nav savstarpēji aizvietojamas. Komponentu etalons var būt vērtīgs, bet to nedrīkst pasniegt kā pilna cikla uzvedību.

Caurlaidspējai ir līdzīga lamatas. Augstu līmeni var sasniegt, apvienojot darbus partijās, palielinot vienlaicīgumu vai atvieglojot kvalitātes prasību. Tas var būt tieši pareizi bezsaistes darbam. Tas var būt nederīgs interaktīvam pakalpojumam, kam jāatbild uz katru pieprasījumu noteiktā termiņā. Etalonā jānorāda scenārijs un darbības punkts, pēc tam jāpaskaidro, kas notiktu, ja pieprasījums novirzītos no tā. Nav nekā apkaunojoša šaurā darbības punktā. Apkaunojoši ir izlikties, ka tas ir visa karte.

Laikam ir arī cilvēciskā puse. Pakalpojums, kas atbild ātri, bet rada vairāk pārskatīšanas, labojumu vai pārsūdzību darba, no iestādes viedokļa var būt lēnāks. Etalons, kas aptur pulksteni pirms nodošanas, var likt mērītajai sistēmai izskatīties ātrai, kamēr faktiskais pakalpojums uzkrāj rindu. Saucējam jāseko darbam, līdz tiek atbildēts uz uzdoto jautājumu. Pretējā gadījumā hronometrs mēra salu.

Aparatūra un programmatūra ir daļa no skaitītāja

“Uz servera” nav reproducējama vide. Procesora paaudze, instrukciju kopa, paātrinātājs, atmiņa, krātuve, termiskais stāvoklis, jaudas limits, operētājsistēma, draiveris, kompilators, izpildlaika vide, bibliotēka un konfigurācija var mainīt rezultātu. To var darīt arī modeļa formāts, kvantizācijas iestatījums, partijas lielums, kodola izvēle vai pavedienu politika. Etalonam nav jāuzskaita katrs kabelis. Tam ir jānorāda daļas, kas var ietekmēt mērījumu.

MLPerf sauc pilnu izmērīto iestatījumu par testējamo sistēmu un organizē rezultātus pēc sistēmas veida un pieejamības kategorijas. Šī vārdnīca ir noderīga arī ārpus MLPerf. Testējamai sistēmai ir robeža. Robeža norāda, kura aparatūra un programmatūra ir iekļauta, kuri pakalpojumi ir ārēji un kurš darbs ir izlaists. Jaudas rādītājs, kas mērīts pie kontaktligzdas, nozīmē ko citu nekā rādītājs, kas skaita tikai paātrinātāju. Latence, kas mērīta kodola iekšienē, nozīmē ko citu nekā tā, kas ietver pieprasījumu plānošanu.

Versijām ir nozīme, jo etalons ir salīdzinājums starp stāvokļiem, nevis produkta nosaukuma mūžīga īpašība. Ierakstiet modeļa vai lietojumprogrammas versiju, atkarību versijas, kompilatora karodziņus, draiveri un programmaparatūru, ja tie ietekmē rezultātu. Ierakstiet konfigurāciju, kas izvēlējās aizmugursistēmu vai precizitāti. Ja izpildlaika vide citā mašīnā izvēlas citu kodolu, tā ir daļa no rezultāta, nevis ieviešanas detaļa, ko vēlāk sakopt.

Aparatūras atklāšana nav aicinājums pārvērst emuāra ierakstu par detaļu katalogu. Tas ir veids, kā novērst maldinošu salīdzināšanu. Pircējam nav jāinteresējas par katru detaļu, ja apgalvojums attiecas uz pilnu pakalpojumu. Viņam gan ir jāzina, vai salīdzinājumā ir iekļauts tas pats darbs, tā pati precizitāte, tas pats ievades ceļš un sistēma, ko patiešām var iegūt un izmantot paredzētajā Eiropas vidē.

Bāzes līnijas ir solījumi

Bāzes līnija ir salīdzinājums, kas piešķir rezultātam virzienu. Bez tās skaitlis var raksturot sistēmu, bet ne uzlabojumu. Bāzes līnijai ir jāatbild uz to pašu jautājumu salīdzināmos apstākļos. Ja jaunais ceļš izmanto jaunāku kompilatoru, citu ievades sadalījumu vai citu kvalitātes mērķi, rezultāts joprojām var būt interesants, taču salīdzinājums vairs nav tīrs. Pasakiet, kas ir mainījies. Lasītājs tad var izlemt, vai atšķirība ir noderīga.

Bāzes līnijas izvēle ir interpretācijas akts. Salīdziniet ar pašreizējo risinājumu, ko lietotāji patiešām izmanto, ar atsauces ieviešanu, ar iepriekšējo laidienu vai ar teorētisko robežu, un jūs uzzināsiet dažādas lietas. Jauna sistēma var būt labāka par atsauci un sliktāka par pakalpojumu, ko tā aizstāj. Tā var būt ātrāka tīrā testā un lēnāka, kad tiek iekļauta validācija un krātuve. Etalonam ir jānosauc bāzes līnija un jāpaskaidro, kāpēc tā atbild uz darbības jautājumu.

Pāru testi bieži vien sniedz vairāk informācijas nekā viena uzvaras aplis. Saglabājiet darba slodzi un novērtēšanas definīciju nemainīgu, mainiet vienu būtisku faktoru un reģistrējiet atšķirību. Ja vairāki faktori mainās kopā, aprakstiet salīdzinājumu kā kopumu, nevis piedēvējiet visu efektu vienai sastāvdaļai. Tas izklausās pašsaprotami, līdz vienā laidienā ierodas jauninājums, datu atsvaidzināšana un jauna kešatmiņas politika. Tad diagrammā ir viena bultiņa un trīs iespējamie cēloņi, kas ir maza mīkla, kurai neviens nebija paredzējis budžetu.

Bāzes līnijai ir arī derīguma termiņš. Datu plūsma, piegādātājs, modelis, politika vai aparatūras platforma var mainīties. Salīdzinājums paliek spēkā tikai pārbaudītajām versijām un periodam. To nevajadzētu atkārtoti izmantot kā pašreizēju garantiju, nepārbaudot līgumu. Šeit versiju vēsture pierāda savu vērtību. Pārspēts rezultāts nav neveiksme. Tas ir vēsturisks apgalvojums, kura nosacījumiem jāpaliek redzamiem.

Nenoteiktība nav atvainošanās

Katrs mērījums satur mainīgumu. Daļa mainīguma nāk no sistēmas, daļa no darba slodzes un daļa no mērīšanas procesa. Atkārtoti testi to var atklāt, bet atkārtošana vien neizskaidro cēloni. Silta kešatmiņa var būt stabila. Trokšņains kaimiņš var nebūt. Neliela novērtēšanas kopa var radīt plašu iespējamo rezultātu diapazonu. Lielāka kopa var samazināt izlases troksni, vienlaikus atstājot neobjektīvu populāciju neskartu. Nenoteiktība lasītājam pasaka, cik tālu rezultātu var droši attiecināt.

Ziņojiet par nenoteiktību tādā formā, kas atbilst apgalvojumam. Tā var būt diapazons starp atkārtotiem testiem, ticamības intervāls, standartkļūda, latentuma sadalījums, jutīguma analīze vai zināmo ierobežojumu saraksts. Nepievienojiet ticamības intervālu tikai tāpēc, ka tabula izskatās tukša. Norādiet, kas tika atkārtots, kas tika turēts nemainīgs un ko intervāls atspoguļo un ko neatspoguļo. Statistiskā valoda nav burvestība. Tā ir vienošanās par mainīgumu.

Ir arī otrs nenoteiktības veids, ko skaitļi nevar novērst: nenoteiktība par to, vai mērījums atspoguļo paredzēto pakalpojumu. Rezultātam var būt niecīga mainība starp testiem un slikta reālās pasaules pārklājums. Etalons var būt pilnīgi reproducējams laboratorijā, vienlaikus neaptverot valodas, ievades formātus, maiņu modeļus vai ieviešanas sekas. Zems mērījumu troksnis nerada derīgumu. Tas tikai padara nepareizā jautājuma atbildi konsekventāku.

Nenoteiktībai tāpēc jābūt blakus apgalvojumam, nevis atrunā lapas apakšā. Ja slieksnis ir tuvu izmērītajai robežai, tam ir nozīme. Ja rezultāts būtiski mainās pie citas ievaddatu kombinācijas, tam ir nozīme. Ja enerģijas robeža neietver dzesēšanu vai datu pārvietošanu, tam ir nozīme. Godīgs teikums var būt mazāk triumfējošs, bet tas lēmumu pieņēmējam dod ko labāku par optimismu: vietu, kur ievietot piesardzību.

Atveidošana ir ķēde, nevis lejupielādes poga

Atkārtojamība bieži tiek reducēta uz koda publicēšanu. Kodam ir nozīme. Tas ir tikai viens posms ķēdē. Otrai pusei ir nepieciešama arī darba slodze vai tās likumīgs apraksts, datu versija, konfigurācija, vide, komanda vai izpildes ietvars, nejaušības stāvokļa politika, paredzamā rezultāta noteikums, rezultātu fails un metode, pēc kuras nosaka, vai izpilde sakrīt. Ja trūkst viena posma, otra puse var atveidot līdzīgu eksperimentu, nevis ziņoto eksperimentu.

Ķēdei būtu jānošķir precīza atkārtošana no neatkarīgas replikācijas. Precīza atkārtošana izmanto fiksēto artefaktu, stāvokli, ievaddatus, konfigurāciju un izpildes ceļu, lai pārbaudītu, vai to pašu izpildi var rekonstruēt. Neatkarīga replikācija izmanto atsevišķi sagatavotu vidi, lai pārbaudītu, vai rezultāts saglabājas ārpus sākotnējās mašīnas vai komandas. Abas ir vērtīgas. Tās atbild uz dažādiem jautājumiem. Baitos identisks rezultāts uz fiksētiem ievaddatiem pierāda spēcīgu identitātes apgalvojumu par šo izpildi. Tas nepierāda, ka dzīvā pasaule paliks nemainīga.

OECD novērtējuma sistēma šo atšķirību padara vieglāk saskatāmu, aplūkojot mērķi, reālismu, pārklājumu un ticamību kā atsevišķus aspektus. Novērtējums var būt lielisks regresijas testēšanai un vājš tiešsaistes pakalpojuma veiktspējas novērtēšanai. Tas var būt noderīgs pētniecībai un nepiemērots atbilstības pārbaudei. Atveidošana neizdzēš mērķi. Tā palīdz lasītājam pārbaudīt apgalvojumu, ko metode patiešām atbalsta.

Datiem, kurus nevar publiskot, publicējiet robežu un ceļu. Aprakstiet populāciju, izlases procesu, iezīmju marķēšanas metodi, izslēgšanas noteikumus un validācijas pārbaudes. Ja iespējams, nodrošiniet drošu atveidošanas pakotni un paskaidrojiet, kas paliek aizsargāts. “Dati ir konfidenciāli” ir likumīga robeža, nevis pabeigta metode. Lasītājam joprojām būtu jāspēj saprast, kas tika mērīts un kāpēc rezultāts būtu vai nebūtu vispārināms.

Atveidošana nav poga ar uzrakstu palaist vēlreiz. Tā ir identitāšu ķēde, kas ļauj citai komandai apstrīdēt apgalvojumu.

Publiskām iestādēm būtu jāatsakās no demonstrāciju teātra

Publiskajām iestādēm nav jānoraida etaloni. Tām ir jāatsaka etaloni, kas nevar norādīt savu līgumu. Pārdomāta demonstrācija var palīdzēt komitejai izprast iespēju. Tā nevar aizstāt pierādījumus par pakalpojumu, kas iestādei jānodrošina, cilvēkiem, kuriem tā kalpo, un nepilnībām, kas tai jānovērš. Šī atšķirība ir būtiska, jo demonstrācija ir optimizēta īsam kontaktam, savukārt publiskais pakalpojums tiek vērtēts gadalaiku, personāla maiņu, pārsūdzību, uzturēšanas un tiesību aktu griezumā.

Pirms iegādes lūdziet piegādātājam definēt darba slodzi pakalpojuma valodā. Kas nonāk sistēmā? Kas tiek mērīts? Kas ir izslēgts? Kādam kvalitātes noteikumam ir jāpastāv? Kāda cilvēka loma pārskata rezultātu? Kā tiek konstatēta novirze? Kā iestāde var eksportēt savus pierādījumus? Kas notiek, kad mainās modelis, avots, piegādātājs vai politika? Pret kuru versiju tiek veikts salīdzinājums? Kāds ir atgriešanās ceļš? Piegādātājs uz dažiem jautājumiem var atbildēt ar līgumu, uz dažiem ar testu un uz dažiem ar godīgu robežu. Šāds maisījums ir veselīgāks par atbildi, kas sastāv tikai no īpašības vārdiem.

ES Mākslīgā intelekta akts šo punktu augsta riska sistēmām izsaka juridiskā valodā. 15. pants pieprasa atbilstošu precizitātes, robustuma un kiberdrošības līmeni ar konsekventu sniegumu šajos aspektos visā dzīves ciklā. Etalons pats par sevi nevar nodrošināt visu juridisko pienākumu. Tas var pamatot daļu pierādījumu, ja ir skaidrs tā tvērums, kvalitātes nosacījumi un vieta dzīves ciklā. Viena rādītāja uzskatīšana par atbilstību būtu vēl viena saucēja kļūda. Likums nosauc rezultātu; inženierijai ir jāparāda ceļš.

Iepirkumā būtu arī jājautā, kam pieder etalons pēc līguma noslēgšanas. Piegādātāja sagatavots testa izpildījums var būt noderīgs, taču iestādei ir nepieciešama pietiekama informācija, lai uzraudzītu sistēmu savā kontekstā. Tai ir nepieciešams sākotnējais mērījums, ko var atkārtoti izpildīt, mainoties versijai, pārskatīšanas ceļš, kad rezultāti mainās, un lēmumu par pieņemamu sniegumu reģistrs. Pretējā gadījumā pirmais etalons ir iestājpārbaudījums, un ražošanas sistēmai ir atļauts absolvēt bez turpmākiem jautājumiem.

Padariet etalona kartīti pietiekami mazu lietošanai

Gari apraksti var būt nepieciešami. Tie ne vienmēr ir pirmais, kas lasītājam ir vajadzīgs. Etalona kartīte ir kompakts līguma rādītājs. Tā var atrasties blakus rezultātam ziņojumā, novērtējuma reģistrā vai iepirkuma dokumentācijā. Kartītē jānorāda jautājums, darba slodze, tvērums, sistēma, rādītājs, kvalitātes prasība, sākotnējais mērījums, nenoteiktība, reproducēšanas ceļš, īpašnieks un derīguma termiņš vai izmaiņu izraisītājs. Detalizēta metode var būt aiz tās. Kartīte neļauj apgalvojumam ceļot vienam.

Labas kartītes ir atlasošas, nevis pārpildītas. Tās izceļ laukus, kas var mainīt interpretāciju, un pēc tam saista ar pierādījumu kopumu. Latences kartītē varētu izcelt ievades lielumu, vienlaicīgumu, procentili, iesildīšanos, versiju un taimauta noteikumu. Enerģijas kartītē varētu izcelt sistēmas robežu, darba slodzi, mērīšanas instrumentu, ilgumu un izslēgto infrastruktūru. Precizitātes kartītē varētu izcelt populāciju, marķēšanas noteikumu, apkopošanu, atturēšanās apstrādi un kļūdu smagumu. Kopējā forma nav fiksēta veidne. Tas ir solījums, ka lasītājs var atrast saucēju.

Kartītei jānorāda epistemiskais statuss. Vai vērtība ir izmērīta, aprēķināta, sagaidāma, ierosināta vai ilustratīva? Vai sākotnējais mērījums ir aktuāls? Vai novērtējuma kopa ir sagatavota, bet vēl nav izpildīta? Vai rezultāti ir aizsargāti, jo testa materiāls satur personas datus? Šie marķējumi neļauj metodi sajaukt ar rezultātu. Tie arī ļauj organizācijai publicēt progresu, neradot mākslīgus panākumus. Sagatavots tests ir noderīga informācija. Tas nav pierādījums, ka sistēma to ir nokārtojusi.

Visbeidzot piešķiriet kartei īpašnieku un izmaiņu noteikumu. Rezultāts bez īpašnieka degradējas par slaidu. Rezultāts bez izmaiņu noteikuma paliek uz sienas pēc tam, kad darba slodze ir pārvietota. Īpašniekam nav jāaizstāv skaitlis mūžīgi. Viņam ir jāpasaka, kad apgalvojums būtu jāpalaiž no jauna, jāatsauc vai jāsašaurina. Mērīšana kļūst par darbības sastāvdaļu, kad kādam ir pilnvaras to uzturēt godīgu.

Divi godīgi veidi, kā publicēt rezultātu

Ir divi izplatīti publicēšanas veidi. Pirmais ir stingrs salīdzinājums. Tas nosaka uzdevumu, datus, kvalitātes noteikumu, sistēmas robežu un sākotnējo līmeni, lai lasītājs varētu salīdzināt alternatīvas. Otrais ir izpētes mērījums. Tas jautā, kas notiek, ja mainās dizains, darba slodze vai vide, un ziņo par novērojumiem ar to ierobežojumiem. Izpētes darbs var būt vērtīgs pirms stingra etalona pastāv. Tam nevajadzētu aizgūt atbilstības rezultāta valodu.

Stingri salīdzinājumi ir prasīgi, jo tie padara atšķirības redzamas. Ja komanda maina modeli un aparatūru vienlaikus, rezultātu var nebūt iespējams attiecināt. Ja jauna darba slodze ir reālistiskāka, bet vairs neatbilst sākotnējam līmenim, apgalvojums būtu jāpārformulē kā jauns mērījums. Ja optimizācija uzlabo ātrumu, vienlaikus mainot izvades kvalitāti, ziņojiet par abām pusēm. Disciplīna nav novērst progresu. Tā ir novērst to, ka progresa stāsts izdzēš nosacījumu, kas to padarīja iespējamu.

Izpētes mērījumiem ir nepieciešama sava godīgums. Sakiet, ka izlase ir maza, ka vide ir pagaidu, ka darba slodze ir sintētiska, ka rezultāts nav neatkarīgi atkārtots vai ka kvalitātes pārbaude ir nepilnīga. Tās nav vājības, ko slēpt līdz pulētai izlaišanai. Tā ir informācija, kas palīdz lasītājam izlemt, ko darīt tālāk. Eiropas inženierzinātņu kultūrai nav jāizliekas, ka katrs tests ir galīgais spriedums. Tai ir jāpārtrauc saukt jautājumu par atbildētu, pirms tests ir izlasīts.

Abiem veidiem noder rezultātu arhīvs. Saglabājiet vecās definīcijas, konfigurācijas un rezultātus identificējamus. Ierakstiet aizstāšanu, nevis dzēsiet pagātni. Mainīts etalons var būt pareizais etalons mainītam pakalpojumam, bet to nevar izmantot, lai pārrakstītu vecā rezultāta nozīmi. Versiju vēsture ir saucēja atmiņa.

Mūsu mazā piezīme

Uzņēmumā Dweve mēs aprakstām Core ar izpildes šūnu un determinisma līgumu. Šīs vārdnīcas noderīgā daļa nav produkta nosaukums. Tā ir uzstājība, ka darbība nes savu skaitlisko attēlojumu, aizmugursistēmu, instrukciju kopu, nosūtīšanas politiku un atkārtošanas stāvokli kā daļu no novērtētā ceļa. Tas ir tas pats ieradums, kas nepieciešams etalonam: saglabājiet nosacījumus piesaistītus rezultātam, nevis aprakstiet veiktspēju tā, it kā tā peldētu virs sistēmas.

Šī ir maza dizaina piezīme, nevis apgalvojums par ārēju izvietošanu vai izmērītu rezultātu. Plašākā mācība nav atkarīga no Dweve. Neatkarīgi no tā, vai sistēma ir publisks statistikas pakalpojums, rūpnieciskais kontrolieris, valodas rīks vai pētniecības prototips, skaitlis nopelna uzticību, nosaucot savu darbu un ierobežojumus. Mūsu pašu dokumentācija ir vienkārši viena vieta, kur mēs cenšamies padarīt šo robežu skaidru.

Saucējs ir daļa, kas ceļo

Etalona virsrakstu ir viegli kopēt. Saucēju ir grūtāk pārnēsāt, tāpēc tas bieži tiek atstāts aiz muguras. Pircējs kopē caurlaidspējas skaitli biznesa gadījumā. Regulators redz precizitātes rādītāju dokumentācijā. Inženieris salīdzina divas diagrammas no dažādām darba slodzēm. Žurnālists atkārto procentu bez populācijas. Katrs lasītājs saņem skaitli, kas ir zaudējis līgumu, kas to padarīja jēgpilnu.

Remonts nav sarežģīts, lai gan tas prasa disciplīnu. Nosauciet jautājumu. Definējiet darbu. Norādiet tvērumu un izņēmumus. Identificējiet sistēmu un versijas. Izvēlieties metriku, kas atbilst pakalpojumam. Saglabājiet bāzes līniju. Mēriet novirzes. Publicējiet metodi un pierādījumus. Atzīmējiet, kas paliek nezināms. Piešķiriet apgalvojumam īpašnieku un iemeslu, kāpēc to atkārtoti izpildīt. Ja rezultāts nevar pamatot plašu apgalvojumu, padariet apgalvojumu šaurāku.

Tā Eiropa var pretoties demonstrāciju teātrim, nekļūstot alerģiska pret ambīcijām. Valsts iestāde var iegādāties jaunas iespējas un joprojām pieprasīt etalonu, kas respektē pakalpojumu. Pētniecības komanda var publicēt aizraujošu rezultātu un joprojām norādīt darba apjomu, kas to radījis. Piegādātājs var parādīt ātru ceļu un joprojām pateikt, kur šis ceļš beidzas. Godīgs tvērums nav bremze inovācijai. Tas ir ceļa segums, kas ļauj braukt arī jebkuram citam.

Etalons ir līgums ar saucēju, jo saucējs norāda, kas patiesībā tika paveikts. Turiet to blakus skaitlim. Rezultāts kļūs mazāk maģisks, salīdzināmāks un daudz noderīgāks. Tas ir godīgs apmaiņas darījums. Sistēmām, uz kurām cilvēkiem jāpaļaujas, ir pelnījušas skaitļus, kas spēj izdzīvot lēnu lasīšanu.

Kad metrika ceļo starp pasaulēm

Etalonu skaitļi bieži pamet komandu, kas tos mērījusi, un nonāk citā lēmumu pieņemšanas sistēmā. Pētnieks publicē tabulu. Produkta komanda pārvērš vienu rindu par mērķi. Iepirkums pārvērš mērķi par līgumu. Operācijas pārvērš līgumu par pakalpojuma līmeņa gaidām. Katrs solis maina to, ko skaitlim tiek lūgts darīt. Sākotnējais saucējs var joprojām būt dokumentā vai repozitorijā, bet tas ir kļuvis sociāli attāls no lēmuma. Metrikai ir nepieciešama tulkošanas piezīme ikreiz, kad tā šķērso šo robežu.

Tulkošanas piezīme var būt vienkārša. Šis rezultāts attiecas uz komponentu caurlaidspēju, nevis pabeigtiem gadījumiem. Šis precizitātes rādītājs izmanto fiksētu etiķešu kopu, nevis reālus rezultātus. Šī enerģijas vērtība neietver datu centra dzesēšanas robežu. Šī bāzes līnija ir atsauces implementācija, nevis esošais pakalpojums. Šie teikumi neļauj noderīgam mērījumam kļūt par maldinošu solījumu. Tie arī atvieglo domstarpības. Lasītājs var apstrīdēt robežu, nevis strīdēties par to, vai skaitlis šķiet iespaidīgs.

Dažādas komandas var apzināti izvēlēties atšķirīgus saucējus. Platformas komandai var rūpēt darbs uz džoulu. Pakalpojuma īpašniekam var rūpēt pabeigti lēmumi uz nostrādātu stundu. Valsts iestādei var rūpēt pareizi, izskaidrojami rezultāti noteiktai populācijai un atbildes laiks. Tās nav konkurējošas patiesības, ja katra ir nosaukta. Problēmas sākas, kad vienkāršākajam saucējam ļauj aizstāt misiju. Ātrākais kodols automātiski nenozīmē labāko pakalpojumu, tāpat kā lielākā testa kopa automātiski nenozīmē visatbilstošāko.

Pirms etalona atkārtotas izmantošanas jautājiet, kas ir mainījies: darba apjoms, īpašnieks, sekas vai laika horizonts. Ja kāds no tiem ir mainījies, atkārtoti veiciet interpretāciju pat tad, ja pamatā esošais skaitlis nav mainījies. Mērījums nav relikvija, ko pārnēsāt starp telpām. Tās ir attiecības, kas jāatjauno, kad telpa mainās.

Rezultātam būtu jāzina, kad beidzies tā derīguma termiņš

Rezultātiem ir noderīgs dzīves ilgums. Etalons, kas piesaistīts modeļa versijai, avota momentuzņēmumam vai aparatūras konfigurācijai, kļūst vēsturisks, kad šie nosacījumi mainās. Tas nepadara veco rezultātu nepatiesu. Tas maina jautājumu, uz kuru tas var atbildēt. Ziņojumā būtu jānorāda, kurš notikums padara apgalvojumu novecojušu: jauns modelis, mainīts kompilators, jauna datu sadalījuma struktūra, pārskatīts etiķešu noteikums, aparatūras nomaiņa, politikas maiņa vai novērots novirzes signāls. Derīguma termiņa noteikums ir neliela institucionālās atmiņas daļa.

Bez derīguma termiņa skaitļi krājas kā mēteļi uz krēsla. Katrs tehniski joprojām ir tur, un neviens nezina, kurš pieder šodienai. Rezultātu reģistrs var saglabāt pilnu vēsturi, vienlaikus iezīmējot pašreizējo salīdzinājumu, aizstāto definīciju un atkārtotas izpildes iemeslu. Atkārtota izpilde tad ir parasta uzturēšana, nevis krīzes risināšana. Tas ir īpaši svarīgi publiskajiem pakalpojumiem, kur rezultāts var pārdzīvot komandu, kas to radījusi.

Derīguma termiņš aizsargā arī godīgu progresu. Ja jauna darba slodze atklāj, ka agrāks etalons bijis pārāk šaurs, organizācija var publicēt izmaiņas, saglabāt veco metodi un izskaidrot jauno robežu. Tai nav jāaizstāv novecojis skaitlis vai jāizliekas, ka vecais skaitlis nekad nav pastāvējis. Etalons, ko var sašaurināt, aizstāt un saprast, ir noderīgāks par tādu, kam jāpaliek iespaidīgam mūžīgi.

Avoti