Mjerilo je ugovor s nazivnikom

Mjerenja performansi imaju smisla tek kad su uz broj navedeni opterećenje, doseg, hardver, uvjeti kvalitete, polazna točka i nesigurnost.

Mjerilo je ugovor s nazivnikom

Broj koji zaboravlja svoj nazivnik

Rezultat mjerila može biti točno izmjeren, a opet odgovarati na pogrešno pitanje. Uobičajeni krivac nije neispravan mjerač vremena niti nepošten inženjer. To je nazivnik koji je nestao između ispitnog okvira i prezentacijskog slajda. „Dvostruko brže” zvuči kao usporedba, ali ne govori dvostruko brže u kojem poslu, na kojem stroju, s kojim softverom, pod kojim uvjetom kvalitete, u odnosu na koju osnovicu ili za koje korisnike. Uklonite te uvjete i brojka o izvedbi postaje uglačani ulomak. Može ostati brojčano istinita. No više ne govori kupcu ili operateru što mogu očekivati.

Nazivnik je posao u odnosu na koji se izražava rezultat. Za propusnost, to je dovršeni posao i vrijeme tijekom kojeg se dovršenost broji. Za latenciju, to su definicija zahtjeva, uključeni put i populacija opažanja. Za točnost, to su označeni skup, pravilo označavanja i jedinica koja se ocjenjuje. Za energiju, to je granica mjerenog sustava i posao isporučen unutar te granice. Za trošak, to su razdoblje troška, uključeni resursi i količina korisnog posla. Mjerilo je pošteno kada njegov brojnik i nazivnik putuju zajedno.

Zato je mjerilo najbolje tretirati kao ugovor. Ugovor imenuje pitanje, opterećenje, opseg, hardver i softver, metriku, osnovicu, nesigurnost i metodu kojom druga strana može provjeriti rezultat. Ugovor može biti uzak. Može biti istraživački. Može biti koristan samo za jednu implementaciju. Ono što ne može biti jest dojmljiv broj čije uvjete čitatelj mora pogađati. Pogađanje je loš način raspodjele javnog novca, a još lošiji način osmišljavanja usluge koju netko drugi mora održavati na životu.

Europska navika zapisivanja definicija ponekad se ismijava kao papirologija. U mjernom radu definicije su dio koji sprječava da papirologija postane folklorna predaja. Tablica mjerila nije administrativni dodatak rezultatu. To je osobna iskaznica rezultata.

Pročitajte jedinicu prije naslova

Počnite s jedinicom, ali nemojte stati na tome. Zahtjevi u sekundi, tokeni u sekundi, milisekunde, džuli po upitu, euri po tisuću zapisa i postotni bodovi govore vam nešto. Ništa od toga ne govori što se od sustava tražilo. Rezultat od 100 zahtjeva u sekundi može opisivati sitne predmemorirane zahtjeve ili velike nepredmemorirane zahtjeve koji uključuju dohvat, provjeru i ljudsku predaju. Latencija od 20 milisekundi može pokrivati jedno jezgro ili cijeli put odlučivanja. Jedinica su vrata. Opterećenje je prostorija iza njih.

Pretpostavimo da slajd za nabavu kaže da je nova usluga 40 posto brža od postojeće. Ta rečenica još nije dokaz. Treba joj barem operacija koja se mjeri, veličina i raspodjela ulaza, posao isključen iz mjerenja vremena, istodobnost, stanje zagrijavanja, verzije softvera, hardver i osnovna konfiguracija. Treba joj i uvjet kvalitete. Ako brži put vraća manje valjanih rezultata, odbacuje duge ulaze ili preskače skupi korak provjere, brojnik je smanjen promjenom posla.

To nije zahtjev za ogromnom tablicom prije nego itko progovori. To je zahtjev za prepoznavanjem nekoliko polja koja mijenjaju značenje tvrdnje. Malo mjerilo za raščlanjivanje može trebati oblik zapisa, izvor ulaza, pravila provjere, prevoditelj i procesor. Mjerilo za zaključivanje može trebati model, preciznost, skupinu, scenarij, cilj kvalitete i granicu snage. Red čekanja u javnom sektoru može trebati definiciju slučaja, sat usluge, pravilo usmjeravanja i put eskalacije. Polja se razlikuju. Obveza da ih se imenuje ne razlikuje se.

Ovdje postoji korisna disciplina: rezultat zapišite kao rečenicu koja može preživjeti drugog čitatelja. „Pod ovim opterećenjem i ovim zahtjevom kvalitete, na ovom sustavu i verziji, izmjerena vrijednost bila je ova, s ovom varijacijom.“ Ako se rečenica ne može dovršiti bez riječi poput tipično, najbolje, nalik produkcijskom ili reprezentativno, metoda nije dovršena. Te riječi mogu biti valjane, ali trebaju operativnu definiciju, a ne topao ton.

Kartica mjerila nije ukras oko broja. To je najmanji korisni oblik ugovora tog broja.

Opseg je dio rezultata

Opseg odgovara na jednostavno pitanje: što ovaj rezultat pokriva i što ostavlja izvan okvira? U evaluaciji strojnog učenja opseg uključuje zadatak, skup podataka, podjelu, jezik, duljinu ulaza, operativni scenarij i dopuštene odabire implementacije. U softverskoj usluzi uključuje rutu, pohrane podataka, mrežu, predmemoriju i posao koji nizvodni tim obavlja nakon što se izmjereni krajnji uređaj vrati. Rezultat izmjeren na jednoj razini ne bi trebao tiho postati obećanje o cijeloj usluzi.

MLCommons to čini vidljivim u svojoj dokumentaciji za MLPerf Inference. Vodič za podnošenje odvaja vrste sustava podatkovnog centra i rubnih sustava, navodi scenarije poput izvanmrežnog, poslužiteljskog, interaktivnog, jednostrukog toka i višestrukog toka te razlikuje zatvorenu podjelu od otvorene podjele. Zatvorena podjela namijenjena je usporedbi jabuka s jabukama koristeći isti model i referentnu postavu. Otvorena podjela dopušta odabire poput ponovnog treniranja ili zamjene modela. Nijedna nije univerzalno ispravna podjela. One odgovaraju na različita pitanja. Naslov koji ih miješa nije širok pogled. To je pogreška kategorije s izvrsnom tipografijom.

Ista dokumentacija pokazuje zašto mjerilo treba izričitu stranu kvalitete. Navedeni unos ResNet50 imenuje skup za validaciju ImageNet-2012, njegove veličine skupa podataka i popisa uzoraka upita, referentnu točnost i ograničenje latencije poslužitelja. Za navedeni unos ResNet50, stranica daje skup za validaciju od 50 000 slika, popis uzoraka upita od 1 024, referentnu točnost od 76,46 posto i ograničenje latencije poslužitelja od 15 ms. Ta polja nisu trivijalnost za ljude koji uživaju čitati pravila. Ona objašnjavaju što je prijavljenoj brzini bilo dopušteno značiti. Promijenite skup podataka, scenarij ili zahtjev kvalitete i usporedba se promijenila, čak i ako naziv modela izgleda poznato.

Europski kupac trebao bi biti sumnjičav prema opsegu koji se podrazumijeva oznakom proizvoda. „AI platforma“, „akcelerator“ i „razina poduzeća“ ne definiraju posao. Sustav koji je izvrstan u ograničenoj operaciji može biti upravo ono što usluga treba. Sustav koji tvrdi da pokriva sve možda je izmjerio gotovo ništa što nalikuje usluzi. Uska istina zdravija je od univerzalne magle.

Pokrivenost mijenja značenje

Pokrivenost nije fusnota o tome je li skup za testiranje bio velik. Ona opisuje čiji se slučajevi i koje situacije uključuju u mjerenje. Referentna mjerila mogu obuhvatiti mnogo primjera iz jedne uske distribucije, a i dalje reći malo o rubnim slučajevima koji su važni u primjeni. Suprotno tome, mali, pažljivo odabrani skup može otkriti važan način kvara bez podupiranja opće tvrdnje o izvedbi. Izbor je dizajnerska odluka. Mora biti tako i naveden.

OECD-ov okvir za karakterizaciju instrumenata za procjenu umjetne inteligencije koristan je jer odbija svesti procjenu na jedan rezultat. Predlaže 18 aspekata, uključujući pokrivenost, svrhu, realističnost, valjanost, pouzdanost, transparentnost i uvjete pod kojima se rezultati mogu tumačiti. Pokrivenost postavlja pitanje predstavlja li procjena ono što namjerava mjeriti. Svrha razlikuje referentno mjerilo namijenjeno istraživanju od onog namijenjenog provjeri sukladnosti ili nekoj drugoj uporabi. Realističnost postavlja pitanje je li riječ o pojednostavljenom problemu, simuliranom ili laboratorijskom okruženju ili stvarnom životu. Te razlike ne čine referentno mjerilo slabijim. One čine njegovu tvrdnju čitljivom.

Pokrivenost također uključuje slučajeve koje procjena isključuje. Usluga može izvijestiti prosječno kašnjenje nakon uklanjanja vremenskih ograničenja. Klasifikator može izvijestiti točnost nakon odbacivanja dvosmislenih oznaka. Sustav za pronalaženje informacija može brojati samo upite s barem jednim relevantnim dokumentom. Cjevovod za obradu slika može preskočiti oštećene datoteke. Svako isključenje može biti obranjivo. Rezultat mora navesti što je uklonjeno i zašto. U suprotnom, nazivnik tiho postaje popis slučajeva koje je bilo zgodno dovršiti.

Ovdje nazivnik postaje političan, čak i prije nego itko upotrijebi riječ politika. Uključena populacija dobiva korist od toga što se mjeri. Isključena populacija dobiva priču o sustavu koji je možda ne opisuje. Europske javne institucije to već znaju iz službene statistike. Eurostatov Kodeks prakse europske statistike utvrđuje 16 načela i 84 pokazatelja za institucionalno okruženje, procese i rezultate. Njegov Okvir osiguranja kvalitete pruža metode i alate, dok izvješća o kvaliteti korisnicima govore kako su podaci prikupljeni i potvrđeni. Poruka za umjetnu inteligenciju nije da svaki model mora postati statistički ured. Poruka je da broj namijenjen javnim odlukama treba vidljivu priču o proizvodnji i kvaliteti.

Točnost nije jedna prepreka

Tvrdnje o izvedbi često uparuju brzinu s jednim brojem za kvalitetu, a zatim taj par tretiraju kao potpun. Kvaliteta je obično obitelj pitanja. Zadovoljava li izlaz definiciju zadatka? Čuva li potrebna ograničenja? Otkazuje li sigurno kada nedostaju dokazi? Ponaša li se prihvatljivo na relevantnoj populaciji? Ostaje li unutar granice kvalitete dok je sustav opterećen? Brz odgovor koji ne ispunjava zadatak nije brže rješenje. To je drugačije radno opterećenje koje nosi istu imenicu.

Struktura MLPerfa poučna je jer se njegova izvođenja nalaze uz provjeru točnosti i zahtjeve specifične za model. Vodič za podnošenje govori sudionicima da identificiraju odjel, vrstu sustava i scenarij, pokrenu namijenjeno referentno mjerilo, potvrde točnost prema pragovima i zatim pripreme provjereno podnošenje. Stranica referentnog mjerila navodi referentnu točnost i uvjete kašnjenja ili propusnosti po zadatku. Razdvajanje je praktično. Ono sprječava sustav da pobijedi u stupcu izvedbe tako što tiho gubi zadatak.

Točnost sama treba nazivnik. „Točan devedeset osam posto” može značiti postotak zapisa, tokena, slika, zahtjeva ili odluka. Može koristiti mikro ili makro usrednjavanje. Može brojati suzdržanost kao pogrešku, kao sigurno odbijanje ili kao neizmjereni ishod. Može se uspoređivati s oznakama koje je stvorio jedan ili više pregledavatelja. Kartica referentnog mjerila treba navesti jedinicu, pravilo označavanja, agregaciju, pouzdanost ili varijaciju te svaki prag koji pretvara mjerenje u odluku o objavi.

Ne koristite broj kvalitete kao ukrasnu dozvolu. Model može zadovoljiti objavljeni prag, a i dalje biti neprikladan za određenu uslugu jer se profil zadatka, populacije ili štete razlikuje. Obrnuto, niži prosječni rezultat može biti prihvatljiv za alat za izradu nacrta koji zadržava čovjeka kao autora, dok je isti rezultat neprihvatljiv za automatska vrata. Kvaliteta je odnos između rezultata, svrhe i posljedice.

Vrijeme nije jedan broj

Latencija se često prikazuje kao da sustav ima jednu brzinu. Pravi sustavi imaju distribuciju. Prvi zahtjev može platiti trošak pokretanja. Predmemorija može promijeniti kasnije zahtjeve. Istodobni korisnici mogu se natjecati za memoriju ili vezu s bazom podataka. Dug unos može ići drugim putem od kratkog. Prosjek se može poboljšati dok rep postaje lošiji. Ako je rep mjesto gdje usluga propušta svoj rok, prosjek je smetnja s jedinicom.

Koristan izvještaj o latenciji navodi što je mjereno i kako su opažanja sažeta. Može uključivati medijan, gornje percentile, stopu vremenskog ograničenja i broj zahtjeva. Treba navesti jesu li zahtjevi za zagrijavanje isključeni, jesu li ponovni pokušaji uključeni te pripada li vrijeme čekanja u redu ili mrežno vrijeme mjerenom putu. Ti izbori nisu međusobno zamjenjivi. Referentno mjerenje komponente može biti vrijedno, ali se ne smije prikazivati kao ponašanje od kraja do kraja.

Propusnost ima sličnu zamku. Visoka stopa može se postići grupiranjem posla, povećanjem istodobnosti ili ublažavanjem zahtjeva kvalitete. To može biti potpuno ispravno za izvanmrežni posao. Može biti beskorisno za interaktivnu uslugu koja mora odgovoriti na svaki zahtjev unutar roka. Referentno mjerenje treba navesti scenarij i radnu točku, a zatim objasniti što bi se dogodilo kada se potražnja udalji od nje. Nema srama u uskoj radnoj točki. Sram je pretvarati se da je to cijela karta.

Vrijeme također ima ljudsku stranu. Usluga koja se brzo vraća, ali stvara više posla pregleda, ispravaka ili žalbi, može biti sporija s gledišta institucije. Referentno mjerenje koje zaustavlja sat prije primopredaje može učiniti da mjereni sustav izgleda brzo dok stvarna usluga nakuplja red čekanja. Nazivnik bi trebao pratiti posao dok se ne odgovori na postavljeno pitanje. Inače štoperica mjeri otok.

Hardver i softver dio su brojnika

„Na poslužitelju” nije ponovljivo okruženje. Generacija procesora, skup instrukcija, akcelerator, memorija, pohrana, toplinsko stanje, ograničenje snage, operativni sustav, upravljački program, prevoditelj, izvršno okruženje, knjižnica i konfiguracija mogu promijeniti rezultat. To mogu učiniti i format modela, postavka kvantizacije, veličina serije, odabir jezgre ili pravila niti. Referentno mjerenje ne mora navesti svaki kabel. Mora identificirati dijelove koji mogu promijeniti mjerenje.

MLPerf cijelu izmjerenu postavu naziva sustavom koji se testira i organizira rezultate prema vrsti sustava i kategoriji dostupnosti. Taj je rječnik koristan i izvan MLPerfa. Sustav koji se testira ima granicu. Granica navodi koji su hardver i softver uključeni, koje su usluge vanjske i koji je posao izostavljen. Vrijednost snage izmjerena na zidu ima drugačije značenje od vrijednosti koja broji samo akcelerator. Latencija izmjerena unutar jezgre ima drugačije značenje od one koja uključuje raspoređivanje zahtjeva.

Verzije su važne jer je referentno mjerenje usporedba između stanja, a ne bezvremensko svojstvo naziva proizvoda. Zabilježite verziju modela ili aplikacije, verzije ovisnosti, zastavice prevoditelja, upravljački program i firmver tamo gdje utječu na rezultat. Zabilježite konfiguraciju koja je odabrala pozadinski sustav ili preciznost. Ako izvršno okruženje odabere drugu jezgru na drugom stroju, to je dio rezultata, a ne detalj implementacije koji će se kasnije pospremiti.

Otkrivanje hardvera nije poziv da se post na blogu pretvori u katalog dijelova. To je način da se spriječi lažna usporedivost. Kupac ne mora paziti na svaku uputu ako se tvrdnja odnosi na cjelokupnu uslugu. No mora znati uključuje li usporedba isti posao, istu točnost, isti ulazni put i sustav koji se doista može nabaviti i koristiti u predviđenom europskom okruženju.

Polazne vrijednosti su obećanja

Polazna vrijednost je usporedba koja rezultatu daje smjer. Bez nje broj može opisivati sustav, ali ne i poboljšanje. Polazna vrijednost mora odgovoriti na isto pitanje u usporedivim uvjetima. Ako novi put koristi noviji prevoditelj, drugačiju raspodjelu ulaznih podataka ili drugačiji cilj kvalitete, rezultat i dalje može biti zanimljiv, ali usporedba više nije čista. Recite što se promijenilo. Čitatelj tada može odlučiti je li razlika korisna.

Odabir polazne vrijednosti čin je tumačenja. Usporedite li se s postojećim rješenjem koje korisnici doista koriste, s referentnom implementacijom, s prethodnom verzijom ili s teoretskom granicom, naučit ćete različite stvari. Novi sustav može biti bolji od reference, a lošiji od usluge koju zamjenjuje. Može biti brži na čistom testu, a sporiji kada se uključe provjera i pohrana. Mjerilo bi trebalo imenovati polaznu vrijednost i objasniti zašto ona odgovara na operativno pitanje.

Usporedna izvođenja često su informativnija od jednog pobjedničkog kruga. Zadržite opterećenje i definiciju vrednovanja nepromijenjenima, promijenite jedan bitan čimbenik i zabilježite razliku. Ako se nekoliko čimbenika promijeni zajedno, opišite usporedbu kao cjelinu, a ne pripisujte cijeli učinak jednoj komponenti. To zvuči očito sve dok nadogradnja, osvježavanje podataka i nova politika predmemorije ne stignu u istoj verziji. Grafikon tada ima jednu strelicu i tri moguća uzroka, što je mala misterija koju nitko nije predvidio.

Polazna vrijednost također ima rok trajanja. Izvor podataka, dobavljač, model, politika ili hardverska platforma mogu se promijeniti. Usporedba ostaje važeća za testirane verzije i razdoblje. Ne bi je trebalo ponovno koristiti kao trenutačno jamstvo bez provjere ugovora. Tu povijest verzija pokazuje svoju vrijednost. Nadjačani rezultat nije neuspjeh. To je povijesna tvrdnja čiji uvjeti trebaju ostati vidljivi.

Nesigurnost nije isprika

Svako mjerenje sadrži varijaciju. Dio varijacije dolazi od sustava, dio od opterećenja, a dio od postupka mjerenja. Ponovljena izvođenja mogu je otkriti, ali ponavljanje samo po sebi ne objašnjava uzrok. Topla predmemorija može biti stabilna. Bučni susjed možda nije. Mali skup za vrednovanje može proizvesti širok raspon mogućih ishoda. Veći skup može smanjiti šum uzorkovanja, a pristranu populaciju ostaviti netaknutom. Nesigurnost govori čitatelju koliko daleko rezultat može sigurno putovati.

Izvijestite o nesigurnosti u obliku primjerenom tvrdnji. To može biti raspon ponovljenih izvođenja, interval pouzdanosti, standardna pogreška, raspodjela latencije, analiza osjetljivosti ili popis poznatih ograničenja. Nemojte dodati interval pouzdanosti samo zato što tablica izgleda prazno. Recite što je ponovljeno, što je zadržano nepromijenjenim i što interval predstavlja, a što ne. Statistički jezik nije čarolija. To je ugovor o varijaciji.

Postoji i druga vrsta nesigurnosti koju brojevi ne mogu ukloniti: nesigurnost o tome predstavlja li mjerenje predviđenu uslugu. Rezultat može imati malu varijaciju između izvođenja, a lošu pokrivenost stvarnog okruženja. Mjerilo može biti savršeno ponovljivo u laboratoriju, a propustiti jezike, formate ulaznih podataka, rasporede smjena ili posljedice kvara u stvarnoj primjeni. Nizak šum mjerenja ne stvara valjanost. On samo čini da se na pogrešno pitanje dosljednije odgovara.

Nesigurnost bi stoga trebala stajati uz tvrdnju, a ne u odricanju na dnu. Ako je prag blizu izmjerene granice, to je važno. Ako se rezultat bitno promijeni pri drukčijem sastavu ulaza, to je važno. Ako energetska granica isključuje hlađenje ili prijenos podataka, to je važno. Iskrena rečenica možda zvuči manje trijumfalno, ali donositelju odluke daje nešto bolje od optimizma: mjesto za oprez.

Reprodukcija je lanac, a ne gumb za preuzimanje

Reproducibilnost se često svodi na objavljivanje koda. Kod je važan. No on je samo jedna karika u lancu. Druga strana također treba radno opterećenje ili njegov zakonit opis, verziju podataka, konfiguraciju, okruženje, naredbu ili okvir za pokretanje, politiku slučajnog stanja, pravilo očekivanog izlaza, datoteku s rezultatima i metodu kojom se odlučuje slaže li se pokretanje. Ako jedna karika nedostaje, druga strana može reproducirati sličan eksperiment, a ne onaj prijavljeni.

Lanac bi trebao razlikovati točno ponavljanje od neovisne replikacije. Točno ponavljanje koristi zabilježeni artefakt, stanje, ulaze, konfiguraciju i put izvođenja kako bi provjerilo može li se isto pokretanje rekonstruirati. Neovisna replikacija koristi zasebno pripremljeno okruženje kako bi ispitala preživljava li rezultat izvan izvornog stroja ili tima. Obje su vrijedne. Odgovaraju na različita pitanja. Rezultat koji je bajt za bajtom jednak na zabilježenom ulazu dokazuje snažnu tvrdnju o identitetu tog pokretanja. Ne dokazuje da će živi svijet ostati nepromijenjen.

OECD-ov okvir za evaluaciju olakšava uočavanje te razlike tako što svrhu, realističnost, pokrivenost i pouzdanost tretira kao zasebne aspekte. Evaluacija može biti izvrsna za regresijsko testiranje, a slaba za procjenu izvedbe uživo. Može biti korisna za istraživanje, a neprikladna za provjeru sukladnosti. Reprodukcija ne briše svrhu. Pomaže čitatelju provjeriti tvrdnju koju metoda doista podupire.

Za podatke koji se ne mogu objaviti objavite granicu i put. Opišite populaciju, postupak uzorkovanja, metodu označavanja, pravila isključenja i provjere valjanosti. Kada je moguće, osigurajte siguran paket za reprodukciju i objasnite što ostaje zaštićeno. „Podaci su povjerljivi” legitimna je granica, a ne dovršena metoda. Čitatelj bi i dalje trebao moći razumjeti što je izmjereno i zašto rezultat treba ili ne treba generalizirati.

Reprodukcija nije gumb s natpisom pokreni ponovno. To je lanac identiteta koji drugoj strani omogućuje da ospori tvrdnju.

Javne institucije trebale bi odbiti demonstracijski teatar

Javne institucije ne moraju odbacivati benchmarkove. Moraju odbiti benchmarkove koji ne mogu navesti svoj ugovor. Dotjerana demonstracija može pomoći odboru da razumije mogućnost. Ona ne može zamijeniti dokaze o usluzi koju institucija mora pružati, ljudima kojima služi i kvarovima koje mora otklanjati. Ta je razlika važna jer je demonstracija optimizirana za kratak susret, dok se javna usluga procjenjuje kroz sezone, promjene osoblja, žalbe, održavanje i zakon.

Prije kupnje zatražite od dobavljača da definira opterećenje jezikom usluge. Što ulazi u sustav? Što se mjeri? Što je isključeno? Koje pravilo kvalitete mora vrijediti? Koja ljudska uloga pregledava rezultat? Kako se otkriva odstupanje? Kako institucija može izvesti svoje dokaze? Što se događa kada se model, izvor, dobavljač ili politika promijene? S kojom se verzijom uspoređuje? Koji je put vraćanja? Dobavljač može odgovoriti na neka pitanja ugovorom, na neka testom, a na neka poštenom granicom. Ta je mješavina zdravija od odgovora sastavljenog isključivo od pridjeva.

EU akt o umjetnoj inteligenciji tu poantu iznosi pravnim jezikom za sustave visokog rizika. Članak 15. zahtijeva odgovarajuću razinu točnosti, robusnosti i kibersigurnosti, uz dosljednu izvedbu u tim pogledima tijekom cijelog životnog ciklusa. Benchmark sam po sebi ne može uspostaviti cijelu pravnu obvezu. Može poduprijeti dio dokaza ako su njegov opseg, uvjeti kvalitete i položaj u životnom ciklusu jasni. Tretiranje jednog rezultata kao usklađenosti bila bi još jedna pogreška nazivnika. Zakon imenuje ishod; inženjerstvo mora pokazati put.

Nabava bi također trebala pitati tko je vlasnik benchmarka nakon dodjele. Testna izvedba koju je pripremio dobavljač može biti korisna, ali institucija treba dovoljno informacija za praćenje sustava u vlastitom kontekstu. Treba joj osnovna vrijednost koja se može ponovno pokrenuti kada se verzija promijeni, put pregleda kada se rezultati pomaknu i zapis odluka donesenih o prihvatljivoj izvedbi. Inače je prvi benchmark prijamni ispit, a proizvodni sustav smije diplomirati bez daljnjih pitanja.

Neka kartica benchmarka bude dovoljno mala za upotrebu

Duge metode mogu biti potrebne. Nisu uvijek prvo što čitatelj treba. Kartica benchmarka kompaktan je indeks ugovora. Može stajati uz rezultat u izvješću, registru evaluacija ili dokumentaciji nabave. Kartica treba navesti pitanje, opterećenje, opseg, sustav, metriku, zahtjev kvalitete, osnovnu vrijednost, nesigurnost, put reprodukcije, vlasnika te istek ili okidač promjene. Detaljna metoda može stajati iza nje. Kartica sprječava da tvrdnja putuje sama.

Dobre kartice selektivne su, a ne pretrpane. Iznose polja koja mogu promijeniti tumačenje, a zatim povezuju na paket dokaza. Kartica latencije može istaknuti veličinu ulaza, konkurentnost, percentil, zagrijavanje, verziju i pravilo vremenskog ograničenja. Kartica energije može istaknuti granicu sustava, opterećenje, mjerni instrument, trajanje i isključenu infrastrukturu. Kartica točnosti može istaknuti populaciju, pravilo označavanja, agregaciju, postupanje sa suzdržanošću i težinu pogreške. Zajednički oblik nije fiksni predložak. To je obećanje da čitatelj može pronaći nazivnik.

Kartica treba označiti epistemički status. Je li vrijednost izmjerena, procijenjena, očekivana, predložena ili ilustrativna? Je li osnovna vrijednost aktualna? Je li skup za evaluaciju pripremljen, ali još nije pokrenut? Jesu li rezultati zaštićeni jer testni materijal sadrži osobne podatke? Te oznake sprječavaju da se metoda zamijeni s rezultatom. One također omogućuju organizaciji da objavi napredak bez proizvodnje uspjeha. Pripremljeni test korisna je informacija. To nije dokaz da ga je sustav prošao.

Na kraju, dodijelite kartici vlasnika i pravilo izmjene. Rezultat bez vlasnika degradira u slajd. Rezultat bez pravila izmjene ostaje na zidu nakon što se radno opterećenje pomakne. Vlasnik ne mora zauvijek braniti broj. Ali mora reći kada bi tvrdnju trebalo ponovno pokrenuti, povući ili suziti. Mjerenje postaje dio operacija kada netko ima ovlast održavati ga poštenim.

Dva poštena načina objave rezultata

Postoje dva uobičajena načina objave. Prvi je stroga usporedba. Ona fiksira zadatak, podatke, pravilo kvalitete, granicu sustava i osnovnu vrijednost kako bi čitatelj mogao usporediti alternative. Drugi je istraživačko mjerenje. Ono pita što se događa kada se promijeni dizajn, radno opterećenje ili okruženje te izvještava o opažanjima s njihovim ograničenjima. Istraživački rad može biti vrijedan prije nego što postoji strogi benchmark. Ne bi trebao posuđivati jezik rezultata usklađenosti.

Stroge usporedbe su zahtjevne jer čine razlike vidljivima. Ako tim promijeni model i hardver zajedno, možda će biti nemoguće pripisati rezultat. Ako je novo radno opterećenje realnije, ali više ne odgovara osnovnoj vrijednosti, tvrdnju treba preoblikovati kao novo mjerenje. Ako optimizacija poboljša brzinu, ali promijeni kvalitetu izlaza, izvijestite o obje strane. Disciplina nije spriječiti napredak. Ona je spriječiti da priča o napretku izbriše uvjet koji ga je omogućio.

Istraživačka mjerenja zahtijevaju vlastitu poštenost. Recite da je uzorak mali, da je okruženje privremeno, da je radno opterećenje sintetičko, da rezultat nije neovisno repliciran ili da je provjera kvalitete nepotpuna. To nisu slabosti koje treba skrivati do uglačanog izdanja. To su informacije koje pomažu čitatelju odlučiti što učiniti sljedeće. Europska inženjerska kultura ne mora pretvarati da je svaki test konačna presuda. Treba prestati nazivati pitanje odgovorenim prije nego što je test pročitan.

Oba načina imaju koristi od arhiva rezultata. Održavajte stare definicije, konfiguracije i ishode prepoznatljivima. Zabilježite zamjenu umjesto brisanja prošlosti. Promijenjeni benchmark može biti pravi benchmark za promijenjenu uslugu, ali se ne može koristiti za prepisivanje značenja starog rezultata. Povijest verzija pamćenje je nazivnika.

Naša mala bilješka

U Dweveu, Core opisujemo izvršnom ćelijom i ugovorom o determinizmu. Korisni dio tog rječnika nije naziv proizvoda. To je inzistiranje da operacija nosi svoju numeričku reprezentaciju, pozadinski sustav, skup instrukcija, politiku raspoređivanja i držanje ponavljanja kao dio puta koji se procjenjuje. To je ista navika koju benchmark treba: zadržati uvjete vezane uz rezultat umjesto opisivanja performansi kao da lebde iznad sustava.

Ovo je mala dizajnerska bilješka, a ne tvrdnja o vanjskoj implementaciji ili izmjerenom rezultatu. Šira lekcija ne ovisi o Dweveu. Bilo da je sustav javna statistička služba, industrijski upravljač, jezični alat ili istraživački prototip, broj zaslužuje povjerenje imenovanjem svog rada i svojih ograničenja. Naša vlastita dokumentacija jednostavno je jedno mjesto gdje pokušavamo tu granicu učiniti eksplicitnom.

Nazivnik je dio koji putuje

Naslov benchmarka lako je kopirati. Nazivnik je teže prenijeti, zbog čega se često ostavlja iza. Kupac kopira broj propusnosti u poslovni slučaj. Regulator vidi ocjenu točnosti u dosjeu. Inženjer uspoređuje dva grafikona iz različitih radnih opterećenja. Novinar ponavlja postotak bez populacije. Svaki čitatelj prima broj koji je izgubio ugovor koji ga je činio smislenim.

Popravak nije kompliciran, iako traži disciplinu. Imenujte pitanje. Definirajte posao. Odredite opseg i izuzetke. Identificirajte sustav i verzije. Odaberite metriku koja odgovara usluzi. Vodite osnovnu vrijednost. Mjerite odstupanja. Objavite metodu i dokaze. Označite što ostaje nepoznato. Dajte tvrdnji vlasnika i razlog za ponovno pokretanje. Ako rezultat ne može poduprijeti široku tvrdnju, suzite tvrdnju.

Ovako Europa može odoljeti kazalištu demonstracija, a da ne postane alergična na ambicije. Javna institucija može kupiti novu sposobnost i i dalje zahtijevati mjerilo koje poštuje uslugu. Istraživački tim može objaviti uzbudljiv rezultat i i dalje navesti opterećenje koje ga je proizvelo. Dobavljač može pokazati brz put i i dalje reći gdje taj put staje. Iskren opseg nije kočnica inovacijama. To je podloga ceste koja svima drugima omogućuje vožnju.

Mjerilo je ugovor s nazivnikom jer nazivnik govori što je zapravo učinjeno. Držite ga uz broj. Rezultat će postati manje čaroban, usporediviji i mnogo korisniji. To je poštena razmjena. Sustavi na koje se ljudi moraju osloniti zaslužuju brojeve koji mogu preživjeti sporo čitanje.

Kada metrika putuje između svjetova

Brojevi mjerila često napuštaju tim koji ih je izmjerio i ulaze u drugi sustav odlučivanja. Istraživač objavljuje tablicu. Tim proizvoda pretvara jedan redak u cilj. Nabava pretvara cilj u ugovor. Operacije pretvaraju ugovor u očekivanje razine usluge. Svaki pomak mijenja ono što se od broja traži. Izvorni nazivnik i dalje može biti prisutan u radu ili repozitoriju, ali je postao društveno udaljen od odluke. Metrika treba bilješku o prevođenju kad god prijeđe tu granicu.

Bilješka o prevođenju može biti jednostavna. Ovaj se rezultat odnosi na propusnost komponente, ne na dovršene slučajeve. Ova brojka točnosti koristi fiksni skup oznaka, ne stvarne ishode. Ova vrijednost energije isključuje granicu hlađenja podatkovnog centra. Ova osnovna vrijednost je referentna implementacija, ne postojeća usluga. Ove rečenice sprječavaju da korisno mjerenje postane pogrešno obećanje. One također olakšavaju neslaganje. Čitatelj može osporiti granicu umjesto da raspravlja o tome čini li se broj dojmljivim.

Različiti timovi mogu namjerno odabrati različite nazivnike. Platformskom timu može biti važan rad po džulu. Vlasniku usluge mogu biti važne dovršene odluke po radnom satu. Javnom tijelu mogu biti važni točni, objašnjivi ishodi za definiranu populaciju i vrijeme odziva. To nisu suprotstavljene istine ako je svaka imenovana. Problemi počinju kada najlakši nazivnik smije zamijeniti misiju. Najbrže jezgro ne čini automatski najbolju uslugu, kao što ni najveći skup za testiranje ne čini automatski najrelevantniji.

Prije nego što se mjerilo ponovno upotrijebi, pitajte što se pomaknulo: opterećenje, vlasnik, posljedica ili vremenski horizont. Ako se bilo što od toga pomaknulo, ponovno protumačite čak i kada je temeljni broj nepromijenjen. Mjerenje nije relikvija koju treba nositi između prostorija. To je odnos koji se mora obnoviti kada se prostorija promijeni.

Rezultat bi trebao znati kada istječe

Rezultati imaju korisni vijek trajanja. Mjerilo vezano uz verziju modela, snimku izvora ili konfiguraciju hardvera postaje povijesno kada se ti uvjeti promijene. To ne čini stari rezultat netočnim. Mijenja pitanje na koje može odgovoriti. Izvješće bi trebalo reći koji događaj čini tvrdnju zastarjelom: novi model, promijenjeni prevodilac, nova distribucija podataka, revidirano pravilo označavanja, zamjena hardvera, promjena politike ili uočeni signal odstupanja. Pravilo isteka je mali dio institucionalnog pamćenja.

Bez pravila o isteku, brojevi se gomilaju poput kaputa na stolici. Svaki je tehnički još uvijek tu i nitko ne zna koji pripada današnjem danu. Registar rezultata može čuvati punu povijest, a istovremeno označavati trenutnu usporedbu, zamijenjenu definiciju i razlog ponovnog pokretanja. Sam čin ponovnog pokretanja tada je obično održavanje, a ne reakcija na krizu. To je posebno važno za javne službe, gdje rezultat može nadživjeti tim koji ga je proizveo.

Istek također štiti pošten napredak. Ako novo opterećenje otkrije da je ranije mjerilo bilo preusko, organizacija može objaviti promjenu, sačuvati staru metodu i objasniti novu granicu. Ne mora braniti zastarjeli broj niti se pretvarati da stari broj nikada nije postojao. Mjerilo koje se može suziti, zamijeniti i razumjeti korisnije je od onoga koje mora zauvijek ostati impresivno.

Izvori