Merilo je pogodba z imenovalcem.

Trditve o zmogljivosti so uporabne, ko so ob številki navedeni obremenitev, obseg, strojna oprema, pogoj kakovosti, izhodišče in negotovost.

Merilo je pogodba z imenovalcem.

Število, ki pozabi svoj imenovalec

Rezultat primerjalnega merjenja je lahko izmerjen pravilno in še vedno odgovarja na napačno vprašanje. Običajni krivec ni pokvarjen merilnik časa ali nepošten inženir. Krivec je imenovalec, ki je izginil med preskusnim okoljem in predstavitvenim diapozitivom. »Dvakrat hitreje« zveni kot primerjava, vendar ne pove, dvakrat hitreje pri kakšnem delu, na katerem stroju, s katero programsko opremo, pod kakšnim pogojem kakovosti, glede na katero izhodišče ali za katere uporabnike. Odstranite te pogoje in številka zmogljivosti postane uglašen drobec. Še vedno je lahko številčno resnična. Toda kupcu ali upravljavcu ne pove več, kaj lahko pričakujeta.

Imenovalec je delo, glede na katero je rezultat izražen. Pri prepustnosti je to opravljeno delo in čas, v katerem se opravljenost šteje. Pri zakasnitvi je to opredelitev zahteve, vključena pot in populacija opazovanj. Pri točnosti je to označeni niz, pravilo označevanja in enota, ki se ocenjuje. Pri energiji je to meja merjenega sistema in delo, opravljeno znotraj te meje. Pri stroških je to obdobje stroškov, vključeni viri in obseg koristnega dela. Primerjalno merjenje je pošteno, kadar števec in imenovalec potujeta skupaj.

Zato je najbolje, da primerjalno merjenje obravnavamo kot pogodbo. Pogodba imenuje vprašanje, delovno obremenitev, obseg, strojno in programsko opremo, metriko, izhodišče, negotovost in metodo, s katero bi druga stran lahko preverila rezultat. Pogodba je lahko ozka. Lahko je raziskovalna. Lahko je uporabna samo za eno uvedbo. Kar ne more biti, je impresivna številka, katere pogoje mora bralec ugibati. Ugibanje je slab način za razporejanje javnega denarja in še slabši način za načrtovanje storitve, ki jo mora nekdo drug vzdrževati pri življenju.

Evropska navada zapisovanja definicij je včasih zasmehovana kot birokracija. Pri merilnem delu so definicije tisti del, ki preprečuje, da bi birokracija postala folklora. Tabela primerjalnega merjenja ni upravna priloga k rezultatu. Je osebna izkaznica rezultata.

Preberite enoto pred naslovom

Začnite z enoto, vendar se tam ne ustavite. Zahteve na sekundo, žetoni na sekundo, milisekunde, džuli na poizvedbo, evri na tisoč zapisov in odstotne točke vam povedo nekaj. Nobena od teh vam ne pove, kaj je bilo od sistema zahtevano. Rezultat 100 zahtev na sekundo lahko opisuje majhne predpomnjene zahteve ali velike nepredpomnjene zahteve, ki vključujejo pridobivanje, preverjanje in človeško predajo. Zakasnitev 20 milisekund lahko zajema eno samo jedro ali celotno pot odločanja. Enota so vrata. Delovna obremenitev je prostor za njimi.

Recimo, da na nabavnem diapozitivu piše, da je nova storitev 40 odstotkov hitrejša od obstoječe. Ta stavek še ni dokaz. Potrebuje vsaj operacijo, ki se meri, velikost in porazdelitev vnosa, delo, izključeno iz merjenja časa, sočasnost, stanje ogrevanja, različice programske opreme, strojno opremo in izhodiščno konfiguracijo. Potrebuje tudi pogoj kakovosti. Če hitrejša pot vrne manj veljavnih rezultatov, zavrže dolge vnose ali preskoči drag korak preverjanja, je bil števec zmanjšan s spremembo dela.

To ni zahteva po ogromni tabeli, preden kdorkoli spregovori. To je zahteva, da se opredeli nekaj polj, ki spremenijo pomen trditve. Majhno merjenje razčlenjevalnika lahko potrebuje obliko zapisa, vir vnosa, politiko preverjanja, prevajalnik in procesor. Merjenje sklepanja lahko potrebuje model, natančnost, paket, scenarij, cilj kakovosti in mejo porabe energije. Čakalna vrsta v javnem sektorju lahko potrebuje opredelitev primera, storitveno uro, pravilo usmerjanja in pot eskalacije. Polja se razlikujejo. Obveznost, da jih poimenujemo, se ne.

Tu je koristna disciplina: rezultat zapišite kot stavek, ki bi preživel drugega bralca. »Pri tej delovni obremenitvi in tej zahtevi glede kakovosti, na tem sistemu in različici, je bila izmerjena vrednost to, s to variabilnostjo.« Če stavka ni mogoče dokončati brez besed, kot so tipično, najboljše, produkcijsko podobno ali reprezentativno, metoda še ni dokončana. Te besede so lahko veljavne, vendar potrebujejo operativno definicijo, ne prijaznega tona.

Merilna kartica ni okras okoli številke. Je najmanjša uporabna oblika pogodbe, ki jo številka sklepa.

Obseg je del rezultata

Obseg odgovarja na preprosto vprašanje: kaj ta rezultat zajema in kaj pušča zunaj okvira? Pri vrednotenju strojnega učenja obseg vključuje nalogo, nabor podatkov, razdelitev, jezik, dolžino vnosa, operativni scenarij in dovoljene izbire pri implementaciji. Pri programski storitvi vključuje pot, podatkovne shrambe, omrežje, predpomnilnik in delo, ki ga po vrnitvi izmerjene končne točke opravi nadaljnja ekipa. Rezultat, izmerjen na eni plasti, ne sme tiho postati obljuba o celotni storitvi.

MLCommons to prikaže v dokumentaciji za sklepanje MLPerf. Navodila za oddajo ločujejo podatkovne centre in robne tipe sistemov, navajajo scenarije, kot so brez povezave, strežnik, interaktivno, enojni tok in večtokovno, ter razlikujejo zaprto divizijo od odprte divizije. Zaprta divizija je namenjena primerjavi enakega z enakim z uporabo istega modela in referenčne postavitve. Odprta divizija omogoča izbire, kot sta ponovno usposabljanje ali zamenjava modela. Nobena ni univerzalno pravilna divizija. Odgovarjata na različna vprašanja. Naslov, ki ju meša, ni širok pogled. Je kategorična napaka z odlično tipografijo.

Ista dokumentacija pokaže, zakaj merilo uspešnosti potrebuje izrecno plat kakovosti. Naveden vnos ResNet50 imenuje nabor za preverjanje ImageNet-2012, njegovi velikosti nabora podatkov in seznama vzorcev poizvedb, referenčno točnost in omejitev zakasnitve strežnika. Za navedeni vnos ResNet50 stran navaja nabor za preverjanje s 50 000 slikami, seznam vzorcev poizvedb s 1 024, referenčno točnost 76,46 odstotka in omejitev zakasnitve strežnika 15 ms. Ta polja niso nepomembnost za ljudi, ki uživajo v branju pravil. Pojasnjujejo, kaj je prijavljeni hitrosti bilo dovoljeno pomeniti. Spremenite nabor podatkov, scenarij ali zahtevo glede kakovosti in primerjava se je spremenila, tudi če ime modela izgleda znano.

Evropski kupec bi moral biti sumničav do obsega, ki ga implicira oznaka izdelka. »Platforma umetne inteligence«, »pospeševalnik« in »podjetniški razred« ne opredeljujejo dela. Sistem, ki je odličen pri omejeni operaciji, je lahko natanko tisto, kar storitev potrebuje. Sistem, ki trdi, da zajema vse, je morda izmeril skoraj nič, kar spominja na storitev. Ozka resnica je bolj zdrava kot univerzalna megla.

Pokritost spremeni pomen

Pokritost ni opomba o tem, ali je bil nabor testov velik. Opisuje, čigavi primeri in katere situacije vstopijo v meritev. Merilo uspešnosti lahko zajema veliko primerov iz ene ozke porazdelitve in še vedno pove malo o robnih primerih, ki so pomembni v delovanju. Nasprotno lahko majhen, skrbno izbran nabor razkrije pomemben način odpovedi, ne da bi podprl splošno trditev o uspešnosti. Izbira je oblikovalska odločitev. Kot taka mora biti tudi predstavljena.

Okvir OECD za opisovanje instrumentov za vrednotenje umetne inteligence je uporaben, ker zavrača redukcijo vrednotenja na en sam rezultat. Predlaga 18 vidikov, vključno s pokritostjo, namenom, realističnostjo, veljavnostjo, zanesljivostjo, preglednostjo in pogoji, pod katerimi je mogoče rezultate interpretirati. Pokritost sprašuje, ali vrednotenje predstavlja tisto, kar namerava meriti. Namen razlikuje merilo uspešnosti, namenjeno raziskavam, od tistega, namenjenega ugotavljanju skladnosti ali drugi uporabi. Realističnost sprašuje, ali gre za poenostavljen problem, simulirano ali laboratorijsko okolje ali resnično življenje. Te razlike ne oslabijo merila uspešnosti. Naredijo njegovo trditev berljivo.

Pokritost vključuje tudi primere, ki so iz vrednotenja izključeni. Storitev lahko poroča o povprečni zakasnitvi po odstranitvi časovnih omejitev. Klasifikator lahko poroča o točnosti po izpustitvi dvoumnih oznak. Sistem za iskanje lahko šteje samo poizvedbe z vsaj enim ustreznim dokumentom. Ceview za slike lahko preskoči poškodovane datoteke. Vsaka izključitev je lahko obrambna. Rezultat mora povedati, kaj je bilo odstranjeno in zakaj. V nasprotnem primeru imenovalec tiho postane seznam primerov, ki jih je bilo priročno dokončati.

Tu imenovalec postane političen, še preden kdo uporabi besedo politika. Vključena populacija prejme korist, da je izmerjena. Izključena populacija prejme zgodbo o sistemu, ki je morda ne opisuje. Evropske javne institucije to že poznajo iz uradne statistike. Eurostatov Evropski statistični kodeks ravnanja določa 16 načel in 84 kazalnikov za institucionalno okolje, procese in rezultate. Njegov okvir za zagotavljanje kakovosti ponuja metode in orodja, medtem ko poročila o kakovosti uporabnikom povedo, kako so bili podatki zbrani in preverjeni. Sporočilo za umetno inteligenco ni, da mora vsak model postati statistični urad. Je, da številka, namenjena javnim odločitvam, potrebuje vidno zgodbo o produkciji in kakovosti.

Točnost ni ena sama vrata

Trditve o uspešnosti pogosto združijo hitrost z eno samo številko kakovosti, nato pa par obravnavajo kot popoln. Kakovost je običajno družina vprašanj. Ali rezultat izpolnjuje definicijo naloge? Ali ohranja zahtevane omejitve? Ali varno odpove, ko dokazi manjkajo? Ali se obnaša sprejemljivo v ustrezni populaciji? Ali ostaja znotraj meje kakovosti, medtem ko je sistem obremenjen? Hiter odgovor, ki ne opravi naloge, ni hitrejša rešitev. Je drugačna delovna obremenitev, ki nosi isti samostalnik.

Struktura MLPerf je poučna, ker njegova merjenja uspešnosti potekajo ob preverjanju točnosti in zahtevah, specifičnih za model. Navodila za oddajo udeležencem povedo, naj opredelijo divizijo, vrsto sistema in scenarij, zaženejo predvideno merilo uspešnosti, preverijo točnost glede na pragove in nato pripravijo preverjeno oddajo. Stran merila uspešnosti navaja referenčno točnost ter pogoje zakasnitve ali prepustnosti za vsako nalogo. Ločitev je praktična. Sistemu preprečuje, da bi zmagal v stolpcu uspešnosti, medtem ko tiho izgublja nalogo.

Točnost sama potrebuje imenovalec. »Devetindevetdeset odstotkov točno« lahko pomeni odstotek zapisov, žetonov, slik, zahtevkov ali odločitev. Lahko uporablja mikro ali makro povprečenje. Lahko šteje vzdržanje kot napako, kot varno zavrnitev ali kot neizmerjen rezultat. Lahko primerja z oznakami, ki jih je ustvaril en ali več pregledovalcev. Kartica merila uspešnosti mora navesti enoto, pravilo označevanja, agregacijo, zaupanje ali variabilnost ter vsak prag, ki meritev spremeni v odločitev o izdaji.

Številke kakovosti ne uporabljajte kot okrasno dovoljenje. Model lahko doseže objavljen prag in še vedno ni primeren za določeno storitev, ker se naloga, populacija ali profil škode razlikujejo. Nasprotno je lahko nižja skupna ocena sprejemljiva za orodje za osnutke, ki ohranja človeka kot avtorja, medtem ko je ista ocena nesprejemljiva za samodejna vrata. Kakovost je razmerje med rezultatom, namenom in posledico.

Čas ni ena številka

Zakasnitev je pogosto predstavljena, kot da ima sistem eno hitrost. Realni sistemi imajo porazdelitev. Prva zahteva lahko plača stroške zagona. Predpomnilnik lahko spremeni poznejše zahteve. Hkratni uporabniki lahko tekmujejo za pomnilnik ali povezavo s podatkovno zbirko. Dolg vnos lahko ubere drugačno pot kot kratek. Povprečje se lahko izboljša, medtem ko se rep poslabša. Če je rep tam, kjer storitev zamudi svoj rok, je povprečje motnja z enoto.

Uporabno poročilo o zakasnitvi pove, kaj je bilo merjeno in kako so bila opažanja povzeta. Vključuje lahko mediano, zgornje percentile, stopnjo časovne omejitve in število zahtev. Navesti mora, ali so bila ogrevalna povpraševanja izključena, ali so bili ponovni poskusi vključeni in ali čas čakanja ali omrežni čas spada v merjeno pot. Te izbire niso medsebojno zamenljive. Merilo uspešnosti komponente je lahko dragoceno, vendar ga ne smemo prikazovati kot obnašanje od konca do konca.

Prepustnost ima podobno past. Visoko stopnjo je mogoče doseči s paketno obdelavo dela, povečanjem sočasnosti ali sprostitvijo zahteve glede kakovosti. To je lahko povsem pravilno za delo brez povezave. Za interaktivno storitev, ki mora odgovoriti na vsako zahtevo v roku, pa je lahko neuporabno. Merilo uspešnosti mora navesti scenarij in delovno točko, nato pa pojasniti, kaj bi se zgodilo, ko se povpraševanje oddalji od nje. Ni sramote v ozki delovni točki. Sramota je v pretvarjanju, da je to celoten zemljevid.

Čas ima tudi človeško plat. Storitev, ki se odzove hitro, vendar ustvari več dela s pregledovanjem, popravki ali pritožbami, je lahko počasnejša z vidika institucije. Merilo uspešnosti, ki ustavi uro pred predajo, lahko prikaže merjeni sistem kot živahen, medtem ko se dejanska storitev kopiči v čakalni vrsti. Imenovalec naj sledi delu, dokler ni odgovorjeno na zastavljeno vprašanje. V nasprotnem primeru štoparica meri otok.

Strojna in programska oprema sta del števca

»Na strežniku« ni ponovljivo okolje. Generacija procesorja, nabor ukazov, pospeševalnik, pomnilnik, shramba, toplotno stanje, omejitev moči, operacijski sistem, gonilnik, prevajalnik, izvajalno okolje, knjižnica in konfiguracija lahko spremenijo rezultat. Prav tako lahko format modela, nastavitev kvantizacije, velikost serije, izbira jedra ali politika niti. Merilo uspešnosti ne potrebuje seznama vsakega kabla. Mora pa opredeliti dele, ki lahko spremenijo meritev.

MLPerf celotno merjeno postavitev imenuje sistem v preskusu in rezultate organizira po vrsti sistema in kategoriji razpoložljivosti. Ta besednjak je uporaben tudi zunaj MLPerf. Sistem v preskusu ima mejo. Meja pove, katera strojna in programska oprema je vključena, katere storitve so zunanje in katero delo je izpuščeno. Podatek o moči, izmerjen na vtičnici, ima drugačen pomen kot podatek, ki šteje samo pospeševalnik. Zakasnitev, izmerjena znotraj jedra, ima drugačen pomen kot tista, ki vključuje razporejanje zahtev.

Različice so pomembne, ker je merilo uspešnosti primerjava med stanji, ne brezčasna lastnost imena izdelka. Zabeležite različico modela ali aplikacije, različice odvisnosti, zastavice prevajalnika, gonilnik in vdelano programsko opremo, kjer vplivajo na rezultat. Zabeležite konfiguracijo, ki je izbrala zaledni sistem ali natančnost. Če izvajalno okolje na drugem računalniku izbere drugo jedro, je to del rezultata, ne podrobnost izvedbe, ki bi jo bilo treba pozneje pospraviti.

Razkritje strojne opreme ni povabilo, da bi objavo na blogu spremenili v katalog delov. Je način za preprečevanje lažne primerljivosti. Kupec se mu ni treba ukvarjati z vsako podrobnostjo, če trditev zadeva celovito storitev. Vedeti pa mora, ali primerjava vključuje enako delo, enako natančnost, enako vhodno pot in sistem, ki ga je v predvidenem evropskem okolju dejansko mogoče pridobiti in upravljati.

Izhodišča so obljube

Izhodišče je primerjava, ki rezultatu daje smer. Brez njega številka morda opisuje sistem, ne pa tudi izboljšave. Izhodišče mora odgovoriti na isto vprašanje pod primerljivimi pogoji. Če nova pot uporablja novejši prevajalnik, drugačno porazdelitev vhodnih podatkov ali drugačen cilj kakovosti, je rezultat lahko še vedno zanimiv, vendar primerjava ni več čista. Povejte, kaj se je spremenilo. Bralec se lahko nato sam odloči, ali je razlika uporabna.

Izbira izhodišča je dejanje interpretacije. Če primerjate s trenutno rešitvijo, ki jo uporabniki dejansko uporabljajo, z referenčno izvedbo, s prejšnjo različico ali s teoretično mejo, se boste naučili različnih stvari. Nov sistem je lahko boljši od reference in slabši od storitve, ki jo nadomešča. Lahko je hitrejši pri čistem preizkusu in počasnejši, ko sta vključena preverjanje in shranjevanje. Merilo uspešnosti mora poimenovati izhodišče in pojasniti, zakaj odgovarja na operativno vprašanje.

Seznanjena izvajanja so pogosto bolj informativna kot en sam zmagoslavni krog. Obremenitev in definicijo vrednotenja ohranite nespremenjeni, spremenite en pomemben dejavnik in zabeležite razliko. Če se spremeni več dejavnikov hkrati, primerjavo opišite kot celoto in ne pripisujte celotnega učinka eni komponenti. To se sliši očitno, dokler v isti izdaji ne pridejo nadgradnja, osvežitev podatkov in nova politika predpomnilnika. Graf ima nato eno puščico in tri možne vzroke, kar je majhna skrivnost, za katero nihče ni predvidel sredstev.

Izhodišče ima tudi rok uporabnosti. Vir podatkov, dobavitelj, model, politika ali platforma strojne opreme se lahko spremenijo. Primerjava ostane veljavna za preizkušene različice in obdobje. Ne bi je smeli znova uporabljati kot trenutno jamstvo brez preverjanja pogodbe. Tu se zgodovina različic obrestuje. Preklican rezultat ni neuspeh. Je zgodovinska trditev, katere pogoji morajo ostati vidni.

Negotovost ni opravičilo

Vsaka meritev vsebuje variabilnost. Del variabilnosti izvira iz sistema, del iz obremenitve in del iz postopka merjenja. Ponovljena izvajanja jo lahko razkrijejo, vendar ponavljanje samo po sebi ne pojasni vzroka. Topel predpomnilnik je lahko stabilen. Hrupen sosed pa morda ni. Majhen nabor za vrednotenje lahko privede do širokega razpona verjetnih rezultatov. Večji nabor lahko zmanjša vzorčni šum, a pusti pristransko populacijo nespremenjeno. Negotovost bralcu pove, kako daleč lahko rezultat varno potuje.

Negotovost poročajte v obliki, ki ustreza trditvi. Lahko je razpon med ponovljenimi izvajanji, interval zaupanja, standardna napaka, porazdelitev zakasnitev, analiza občutljivosti ali seznam znanih omejitev. Ne dodajajte intervala zaupanja samo zato, ker tabela izgleda prazna. Navedite, kaj je bilo ponovljeno, kaj je ostalo nespremenjeno in kaj interval predstavlja ter česa ne. Statistični jezik ni čarovnija. Je pogodba o variabilnosti.

Obstaja še druga vrsta negotovosti, ki je številke ne morejo odpraviti: negotovost o tem, ali meritev predstavlja predvideno storitev. Rezultat ima lahko majhno variabilnost med izvajanji in slabo pokritost resničnega sveta. Merilo uspešnosti je lahko v laboratoriju popolnoma ponovljivo, a spregleda jezike, vhodne formate, vzorce izmen ali posledice napak pri uvajanju. Nizek merilni šum ne ustvarja veljavnosti. Le omogoča, da se na napačno vprašanje odgovarja dosledneje.

Negotovost zato sodi k trditvi, ne v izjavo o omejitvi odgovornosti na dnu. Če je prag blizu izmerjene meje, je to pomembno. Če se rezultat bistveno spremeni ob drugačni sestavi vhodnih podatkov, je to pomembno. Če energetska meja izključuje hlajenje ali prenos podatkov, je to pomembno. Iskren stavek je morda manj zmagoslaven, a odločevalcu da nekaj boljšega od optimizma: prostor za previdnost.

Reprodukcija je veriga, ne gumb za prenos

Reproducibilnost se pogosto zoži na objavo kode. Koda je pomembna. A je le en člen v verigi. Druga stran potrebuje tudi delovno obremenitev ali njen zakonit opis, različico podatkov, konfiguracijo, okolje, ukaz ali preizkusno ogrodje, politiko naključnega stanja, pravilo za pričakovani izid, datoteko z rezultati in metodo, s katero se odloči, ali se izvedba ujema. Če en člen manjka, lahko druga stran reproducira podoben poskus, ne pa poročanega.

Veriga mora ločevati natančno ponovitev od neodvisne replikacije. Natančna ponovitev uporabi zajeti artefakt, stanje, vhodne podatke, konfiguracijo in pot izvajanja, da preveri, ali je mogoče isto izvedbo poustvariti. Neodvisna replikacija uporabi ločeno pripravljeno okolje, da preizkusi, ali rezultat preživi zunaj prvotnega stroja ali ekipe. Oboje je dragoceno. Odgovarjata na različna vprašanja. Bistveno enak rezultat na zajetih vhodnih podatkih dokazuje močno trditev o istovetnosti te izvedbe. Ne dokazuje pa, da bo živi svet ostal nespremenjen.

OECD-jev ocenjevalni okvir to razliko olajša tako, da namen, realističnost, pokritost in zanesljivost obravnava kot ločene vidike. Ocena je lahko odlična za regresijsko testiranje in slaba za ocenjevanje delovanja storitve v živo. Lahko je uporabna za raziskave in neprimerna za ugotavljanje skladnosti. Reprodukcija ne izbriše namena. Bralcu pomaga preveriti trditev, ki jo metoda dejansko podpira.

Za podatke, ki jih ni mogoče objaviti, objavite mejo in pot. Opišite populacijo, postopek vzorčenja, metodo označevanja, pravila izključitve in preverjanja veljavnosti. Kadar je mogoče, zagotovite varen paket za reprodukcijo in pojasnite, kaj ostaja zaščiteno. »Podatki so zaupni« je legitimna meja, ne dokončana metoda. Bralec bi moral še vedno razumeti, kaj je bilo izmerjeno in zakaj bi bilo treba rezultat posplošiti ali ne.

Reprodukcija ni gumb z napisom zaženi znova. Je veriga istovetnosti, ki drugi ekipi omogoča, da izpodbija trditev.

Javne institucije naj zavrnejo demonstracijsko gledališče

Javne institucije ni treba, da zavračajo primerjalne preskuse. Zavrniti morajo tiste, ki ne morejo navesti svoje pogodbe. Izpiljena predstavitev lahko odboru pomaga razumeti možnost. Ne more nadomestiti dokazov o storitvi, ki jo mora institucija izvajati, o ljudeh, ki jim služi, in o napakah, ki jih mora odpraviti. Razlika je pomembna, ker je predstavitev optimizirana za kratek stik, medtem ko se javna storitev presoja skozi letne čase, menjave osebja, pritožbe, vzdrževanje in zakonodajo.

Pred nakupom prosite dobavitelja, naj delovno obremenitev opredeli v jeziku storitve. Kaj vstopa v sistem? Kaj se meri? Kaj je izključeno? Katero pravilo kakovosti mora veljati? Katera človeška vloga pregleda rezultat? Kako se odkrije odmik? Kako lahko institucija izvozi svoje dokaze? Kaj se zgodi, ko se spremenijo model, vir, dobavitelj ali politika? S katero različico se primerja? Kakšna je pot vračanja? Dobavitelj lahko na nekatera vprašanja odgovori s pogodbo, na nekatera s preskusom in na nekatera s pošteno mejo. Ta mešanica je bolj zdrava kot odgovor, sestavljen iz samih pridevnikov.

Akt EU o umetni inteligenci to točko izraža v pravnem jeziku za visokotvegane sisteme. Člen 15 zahteva ustrezno raven točnosti, robustnosti in kibernetske varnosti z doslednim delovanjem na teh področjih skozi celoten življenjski cikel. Primerjalni preskus sam po sebi ne more vzpostaviti celotne pravne obveznosti. Lahko podpre del dokazov, če so njegov obseg, pogoji kakovosti in položaj v življenjskem ciklu jasni. Obravnavanje enega rezultata kot skladnosti bi bila še ena napaka pri imenovalcu. Zakon imenuje izid; inženiring mora pokazati pot.

Pri javnem naročilu je treba vprašati tudi, kdo je lastnik primerjalnega preskusa po oddaji naročila. Preskus, ki ga pripravi dobavitelj, je lahko koristen, vendar institucija potrebuje dovolj informacij za spremljanje sistema v svojem okolju. Potrebuje izhodišče, ki ga je mogoče ponovno zagnati ob spremembi različice, pot pregleda, ko se rezultati spremenijo, in zapis odločitev o sprejemljivi učinkovitosti. V nasprotnem primeru je prvi primerjalni preskus sprejemni izpit, proizvodni sistem pa lahko diplomira brez nadaljnjih vprašanj.

Naredite kartico primerjalnega preskusa dovolj majhno za uporabo

Dolge metode so lahko potrebne. Niso pa vedno prva stvar, ki jo bralec potrebuje. Kartica primerjalnega preskusa je strnjen kazalec na pogodbo. Lahko stoji poleg rezultata v poročilu, registru vrednotenj ali dokumentaciji javnega naročila. Kartica mora navesti vprašanje, delovno obremenitev, obseg, sistem, metriko, zahtevo glede kakovosti, izhodišče, negotovost, pot reprodukcije, lastnika ter rok veljavnosti ali sprožilec spremembe. Podrobna metoda je lahko za njo. Kartica preprečuje, da bi trditev potovala sama.

Dobre kartice so izbirne in ne prenatrpane. Izpostavijo polja, ki lahko spremenijo razlago, nato pa povežejo na paket dokazov. Kartica za zakasnitev lahko izpostavi velikost vnosa, sočasnost, percentil, ogrevanje, različico in pravilo o časovni omejitvi. Kartica za energijo lahko izpostavi mejo sistema, delovno obremenitev, merilni instrument, trajanje in izključeno infrastrukturo. Kartica za točnost lahko izpostavi populacijo, pravilo označevanja, agregacijo, obravnavo vzdržanja in resnost napak. Skupna oblika ni fiksna predloga. Je obljuba, da lahko bralec najde imenovalec.

Kartica mora označiti epistemski status. Ali je vrednost izmerjena, ocenjena, pričakovana, predlagana ali ilustrativna? Ali je izhodišče trenutno? Ali je nabor za vrednotenje pripravljen, a še ne izveden? Ali so rezultati zaščiteni, ker preskusno gradivo vsebuje osebne podatke? Te oznake preprečujejo, da bi metodo zamenjali z rezultatom. Organizaciji tudi omogočajo, da objavi napredek brez izdelovanja uspeha. Pripravljen preskus je koristna informacija. Ni dokaz, da ga je sistem opravil.

Na koncu kartici dodelite lastnika in pravilo sprememb. Rezultat brez lastnika se sčasoma spremeni v diapozitiv. Rezultat brez pravila sprememb ostane na steni, ko se delovna obremenitev že premakne. Lastniku ni treba zagovarjati številke v nedogled. Mora pa povedati, kdaj je treba trditev ponovno zagnati, umakniti ali zožiti. Merjenje postane del delovanja, ko ima nekdo pooblastilo, da ga ohranja pošteno.

Dva poštena načina objave rezultata

Obstajata dva pogosta načina objave. Prvi je stroga primerjava. Določi nalogo, podatke, pravilo kakovosti, mejo sistema in izhodišče, tako da lahko bralec primerja alternative. Drugi je raziskovalno merjenje. Sprašuje, kaj se zgodi, ko se spremenijo zasnova, delovna obremenitev ali okolje, in poroča o ugotovitvah z njihovimi omejitvami. Raziskovalno delo je lahko dragoceno, preden obstaja strog benchmark. Ne sme pa si sposojati jezika rezultata skladnosti.

Stroge primerjave so zahtevne, ker naredijo razlike vidne. Če ekipa spremeni model in strojno opremo hkrati, rezultata morda ne bo mogoče pripisati enemu ali drugemu. Če je nova delovna obremenitev bolj realistična, vendar ne ustreza več izhodišču, je treba trditev preoblikovati kot novo merjenje. Če optimizacija izboljša hitrost, hkrati pa spremeni kakovost izhoda, poročajte o obeh straneh. Disciplina ni v tem, da bi preprečevala napredek. Je v tem, da zgodba o napredku ne izbriše pogoja, ki ga je omogočil.

Raziskovalna merjenja potrebujejo svojo poštenost. Povejte, da je vzorec majhen, da je okolje začasno, da je delovna obremenitev sintetična, da rezultat ni bil neodvisno ponovljen ali da je preverjanje kakovosti nepopolno. To niso slabosti, ki bi jih bilo treba skrivati do dodelane objave. To so informacije, ki bralcu pomagajo pri odločitvi, kaj storiti naprej. Evropska inženirska kultura se ne sme pretvarjati, da je vsak test dokončna sodba. Nehati mora imenovati vprašanje za odgovorjeno, preden je bil test sploh prebran.

Oba načina imata koristi od arhiva rezultatov. Stare definicije, konfiguracije in izide je treba ohraniti prepoznavne. Zabeležite nadomestitev, namesto da bi izbrisali preteklost. Spremenjen benchmark je lahko pravi benchmark za spremenjeno storitev, vendar ga ni mogoče uporabiti za prepisovanje pomena starega rezultata. Zgodovina različic je spomin imenovalca.

Naša kratka opomba

Pri Dweve opisujemo Core z izvedbeno celico in pogodbo o determinizmu. Uporabni del tega besednjaka ni ime izdelka. Je vztrajanje, da operacija nosi svojo numerično predstavitev, zaledje, nabor ukazov, politiko razporejanja in način ponovnega zagona kot del poti, ki se vrednoti. To je ista navada, ki jo potrebuje benchmark: pogoje je treba priložiti rezultatu, namesto da bi zmogljivost opisovali, kot da lebdi nad sistemom.

To je kratka oblikovna opomba, ne trditev o zunanji uvedbi ali izmerjenem rezultatu. Širša lekcija ni odvisna od Dweve. Ne glede na to, ali je sistem javna statistična storitev, industrijski krmilnik, jezikovno orodje ali raziskovalni prototip, številka zasluži zaupanje tako, da poimenuje svoje delo in svoje omejitve. Naša lastna dokumentacija je preprosto eno od mest, kjer poskušamo to mejo narediti eksplicitno.

Imenovalec je del, ki potuje

Naslov benchmarka je enostavno kopirati. Imenovalec je težje prenašati, zato ga pogosto pustimo za seboj. Kupec prepiše številko pretočnosti v poslovni načrt. Regulator vidi oceno točnosti v dokumentaciji. Inženir primerja dva grafa iz različnih delovnih obremenitev. Novinar ponovi odstotek brez populacije. Vsak bralec prejme številko, ki je izgubila pogodbo, ki ji je dajala pomen.

Popravilo ni zapleteno, čeprav zahteva disciplino. Poimenujte vprašanje. Določite delo. Navedite obseg in izključitve. Določite sistem in različice. Izberite metriko, ki ustreza storitvi. Ohranite izhodišče. Merite odstopanja. Objavite metodo in dokaze. Označite, kaj ostaja neznano. Dajte trditvi lastnika in razlog za ponovno izvajanje. Če rezultat ne more podpreti široke trditve, zožite trditev.

Tako lahko Evropa kljubuje gledališkim demonstracijam, ne da bi postala alergična na ambicije. Javna ustanova lahko kupi novo zmogljivost in še vedno zahteva merilo uspešnosti, ki spoštuje storitev. Raziskovalna skupina lahko objavi vznemirljiv rezultat in še vedno navede delovno obremenitev, ki ga je ustvarila. Dobavitelj lahko pokaže hitro pot in še vedno pove, kje se pot konča. Pošten obseg ni zavora za inovacije. Je cestna površina, po kateri lahko vozi kdor koli drug.

Merilo uspešnosti je pogodba z imenovalcem, ker nam imenovalec pove, kaj je bilo dejansko narejeno. Naj bo poleg številke. Rezultat bo postal manj čaroben, bolj primerljiv in veliko bolj uporaben. To je poštena menjava. Sistemi, na katere se ljudje morajo zanesti, si zaslužijo številke, ki preživijo počasno branje.

Ko metrika potuje med svetovi

Številke meril uspešnosti pogosto zapustijo ekipo, ki jih je izmerila, in vstopijo v drugačen sistem odločanja. Raziskovalec objavi tabelo. Produktna ekipa spremeni eno vrstico v cilj. Nabava spremeni cilj v pogodbo. Operacije spremenijo pogodbo v pričakovanje glede ravni storitve. Vsak premik spremeni, kaj naj bi številka počela. Prvotni imenovalec je morda še vedno prisoten v prispevku ali repozitoriju, vendar je postal družbeno oddaljen od odločitve. Metrika potrebuje pojasnilo o prevodu, kadar koli prečka to mejo.

Pojasnilo o prevodu je lahko preprosto. Ta rezultat se nanaša na prepustnost komponent, ne na zaključene primere. Ta številka točnosti uporablja fiksni nabor oznak, ne dejanske rezultate. Ta vrednost energije izključuje mejo hlajenja podatkovnega centra. Ta izhodiščna vrednost je referenčna izvedba, ne obstoječa storitev. Ti stavki preprečijo, da bi uporabna meritev postala zavajajoča obljuba. Prav tako olajšajo nestrinjanje. Bralec lahko izpodbija mejo, namesto da bi razpravljal o tem, ali je številka videti impresivna.

Različne ekipe lahko namerno izberejo različne imenovalce. Ekipa za platformo lahko skrbi za delo na joul. Lastnik storitve lahko skrbi za zaključene odločitve na uro dela. Javni organ lahko skrbi za pravilne, pojasnljive rezultate za določeno populacijo in odzivni čas. To niso nasprotujoče si resnice, če je vsaka poimenovana. Težave se začnejo, ko najlažjemu imenovalcu dovolimo, da nadomesti poslanstvo. Najhitrejše jedro samodejno ne pomeni najboljše storitve, tako kot največji nabor podatkov samodejno ne pomeni najustreznejšega.

Preden merilo uspešnosti znova uporabimo, se vprašajte, kaj se je spremenilo: delovna obremenitev, lastnik, posledica ali časovni horizont. Če se je kateri koli od teh spremenil, znova preverite razlago, tudi če je osnovna številka nespremenjena. Merjenje ni relikvija, ki bi jo prenašali med prostori. Je odnos, ki ga je treba obnoviti, ko se prostor spremeni.

Rezultat bi moral vedeti, kdaj poteče

Rezultati imajo življenjsko dobo uporabnosti. Merilo uspešnosti, vezano na različico modela, posnetek vira ali strojno konfiguracijo, postane zgodovinsko, ko se ti pogoji spremenijo. To starega rezultata ne naredi napačnega. Spremeni vprašanje, na katerega lahko odgovori. Poročilo bi moralo povedati, kateri dogodek naredi trditev zastarelo: nov model, spremenjen prevajalnik, nova porazdelitev podatkov, spremenjeno pravilo označevanja, zamenjava strojne opreme, sprememba politike ali opažen signal odstopanja. Pravilo o preteku je majhen del institucionalnega spomina.

Brez pravila o preteku se številke kopičijo kot plašči na stolu. Vsaka je tehnično še vedno tam in nihče ne ve, katera pripada današnjemu dnevu. Register rezultatov lahko ohrani celotno zgodovino, hkrati pa označi trenutno primerjavo, nadomeščeno definicijo in razlog za ponovni zagon. Dejanje ponovnega zagona je nato običajno vzdrževanje in ne odziv na krizo. To je še posebej pomembno za javne storitve, kjer lahko rezultat preživi ekipo, ki ga je ustvarila.

Pretek ščiti tudi pošten napredek. Če nova delovna obremenitev razkrije, da je bilo prejšnje merilo preozko, lahko organizacija objavi spremembo, ohrani staro metodo in pojasni novo mejo. Ni ji treba braniti zastarele številke ali se pretvarjati, da stara številka nikoli ni obstajala. Merilo, ki ga je mogoče zožiti, nadomestiti in razumeti, je uporabnejše od tistega, ki mora ostati impresivno za vedno.

Merilo je pogodba z imenovalcem.