A benchmark is a contract with a denominator

Našumo teiginiai tampa naudingi, kai prie skaičiaus lieka pririšta darbo krūvis, apimtis, aparatinė įranga, kokybės sąlyga, atskaitos taškas ir neapibrėžtumas.

A benchmark is a contract with a denominator

Skaičius, pamiršęs savo vardiklį

Etaloninio testo rezultatas gali būti išmatuotas teisingai ir vis tiek atsakyti į netinkamą klausimą. Dažniausias kaltininkas nėra sugedęs laikmatis ar nesąžiningas inžinierius. Tai vardiklis, kuris dingo kažkur tarp testo aplinkos ir pristatymo skaidrės. „Dvigubai greičiau“ skamba kaip palyginimas, bet nepasako, dvigubai greičiau atliekant kokį darbą, kurioje mašinoje, su kokia programine įranga, esant kokiai kokybės sąlygai, palyginti su kokiu atskaitos tašku ar kokiems vartotojams. Pašalinkite šias sąlygas ir našumo skaičius tampa nugludinta nuotrupa. Jis gali išlikti skaitmeniškai teisingas. Tačiau jis nebepasako pirkėjui ar operatoriui, ko jie gali tikėtis.

Vardiklis yra darbas, kurio atžvilgiu išreiškiamas rezultatas. Pralaidumui tai yra atliktas darbas ir laikas, per kurį jis atliktas. Vėlavimui tai yra užklausos apibrėžimas, įtrauktas kelias ir stebėjimų visuma. Tikslumui tai yra pažymėtas rinkinys, žymėjimo taisyklė ir vertinamas vienetas. Energijai tai yra matuojamos sistemos riba ir darbas, atliktas tose ribose. Sąnaudoms tai yra sąnaudų laikotarpis, įtraukti ištekliai ir naudingo darbo apimtis. Etaloninis testas yra sąžiningas, kai jo skaitiklis ir vardiklis keliauja kartu.

Štai kodėl etaloninį testą geriausia laikyti sutartimi. Sutartis įvardija klausimą, darbo krūvį, apimtį, aparatinę ir programinę įrangą, metriką, atskaitos tašką, neapibrėžtumą ir metodą, kuriuo kita šalis galėtų patikrinti rezultatą. Sutartis gali būti siaura. Ji gali būti tiriamojo pobūdžio. Ji gali būti naudinga tik vienam diegimui. Ko ji negali būti, tai įspūdingas skaičius, kurio sąlygos paliekamos skaitytojui spėti. Spėjimas yra prastas būdas skirstyti viešuosius pinigus ir dar prastesnis būdas kurti paslaugą, kurią kažkas kitas turi palaikyti gyvą.

Europos įprotis užrašyti apibrėžimus kartais pašiepiamas kaip popierizmas. Matavimo darbuose apibrėžimai yra ta dalis, kuri neleidžia popierizmui virsti folkloru. Etaloninių testų lentelė nėra administracinis rezultato priedas. Tai rezultato tapatybės kortelė.

Skaitykite vienetą prieš antraštę

Pradėkite nuo vieneto, bet tuo nesustokite. Užklausos per sekundę, žetonai per sekundę, milisekundės, džauliai už užklausą, eurai už tūkstantį įrašų ir procentiniai punktai visi kažką pasako. Nė vienas nepasako, ko buvo paprašyta sistemą atlikti. 100 užklausų per sekundę rezultatas gali apibūdinti mažas talpykloje saugomas užklausas arba dideles nelaikomas talpykloje užklausas, apimančias gavimą, tikrinimą ir žmogiškąjį perdavimą. 20 milisekundžių vėlavimas gali apimti vieną branduolį arba visą sprendimo kelią. Vienetas yra durys. Darbo krūvis yra kambarys už jų.

Tarkime, pirkimo skaidrėje teigiama, kad nauja paslauga yra 40 procentų greitesnė nei esama. Šis sakinys dar nėra įrodymas. Jam reikia bent jau matuojamos operacijos, įvesties dydžio ir pasiskirstymo, iš laiko matavimo neįtraukto darbo, lygiagretumo, įšilimo būsenos, programinės įrangos versijų, aparatinės įrangos ir atskaitos konfigūracijos. Taip pat reikia kokybės sąlygos. Jei greitesnis kelias grąžina mažiau tinkamų rezultatų, atmeta ilgas įvestis arba praleidžia brangų tikrinimo žingsnį, skaitiklis buvo sumažintas pakeitus darbą.

Tai nėra prašymas pateikti didžiulę lentelę prieš kam nors kalbant. Tai prašymas įvardyti keletą laukų, kurie keičia teiginio prasmę. Mažam analizatoriaus etaloniniam testui gali prireikti įrašo formos, įvesties šaltinio, tikrinimo politikos, kompiliatoriaus ir procesoriaus. Išvadų etaloniniam testui gali prireikti modelio, tikslumo, paketo, scenarijaus, kokybės tikslo ir galios ribos. Viešojo sektoriaus eilei gali prireikti atvejo apibrėžimo, paslaugos laikrodžio, maršruto parinkimo taisyklės ir eskalavimo kelio. Laukai skiriasi. Pareiga juos įvardyti nesikeičia.

Čia verta laikytis vienos disciplinos: rezultatą užrašykite sakiniu, kurį galėtų perskaityti ir antras skaitytojas. „Esant tokiai darbo krūviui ir tokiam kokybės reikalavimui, šioje sistemoje ir šioje versijoje išmatuota reikšmė buvo tokia, su tokia variacija.“ Jei sakinio negalima užbaigti be žodžių, tokių kaip įprastas, geriausias, artimas realiam ar reprezentatyvus, metodas dar nėra baigtas. Tie žodžiai gali būti tinkami, bet jiems reikia operacinio apibrėžimo, o ne šiltos intonacijos.

Etaloninė kortelė nėra puošmena aplink skaičių. Tai mažiausia naudinga skaičiaus sutarties forma.

Apimtis yra rezultato dalis

Apimtis atsako į paprastą klausimą: ką šis rezultatas apima ir ką palieka už kadro? Mašininio mokymo vertinime apimtis apima užduotį, duomenų rinkinį, duomenų padalijimą, kalbą, įvesties ilgį, veikimo scenarijų ir leidžiamus diegimo sprendimus. Programinės įrangos paslaugoje apimtis apima maršrutą, duomenų saugyklas, tinklą, talpyklą ir darbą, kurį atlieka vėlesnė komanda po to, kai išmatuotas galutinis taškas grąžina atsakymą. Viename lygmenyje išmatuotas rezultatas neturėtų tyliai tapti pažadu apie visą paslaugą.

MLCommons tai aiškiai parodo savo MLPerf Inference dokumentacijoje. Pateikimo vadove atskiriami duomenų centro ir krašto įrenginių tipai, išvardijami scenarijai, tokie kaip neprisijungus, serveris, interaktyvus, vienas srautas ir keli srautai, ir skiriama uždara kategorija nuo atviros kategorijos. Uždara kategorija skirta tiesioginiam palyginimui naudojant tą patį modelį ir referencinę sąranką. Atvira kategorija leidžia tokius pasirinkimus kaip perkvalifikavimas ar modelio pakeitimas. Nė viena iš jų nėra visuotinai teisinga kategorija. Jos atsako į skirtingus klausimus. Antraštė, kuri jas sumaišo, nėra platus požiūris. Tai kategorijos klaida su puikia tipografika.

Ta pati dokumentacija parodo, kodėl etalonui reikia aiškios kokybės pusės. Išvardytas ResNet50 įrašas nurodo ImageNet-2012 validavimo rinkinį, jo duomenų rinkinio ir užklausų pavyzdžių sąrašo dydžius, referencinį tikslumą ir serverio delsos apribojimą. Išvardytam ResNet50 įrašui puslapyje nurodomas 50 000 vaizdų validavimo rinkinys, 1 024 užklausų pavyzdžių sąrašas, 76,46 procentų referencinis tikslumas ir 15 ms serverio delsos apribojimas. Šie laukai nėra smulkmenos žmonėms, kuriems patinka skaityti taisykles. Jie paaiškina, ką praneštam greičiui buvo leista reikšti. Pakeiskite duomenų rinkinį, scenarijų ar kokybės reikalavimą, ir palyginimas pasikeitė, net jei modelio pavadinimas atrodo pažįstamas.

Europos pirkėjas turėtų įtariai vertinti apimtį, kurią numano produkto etiketė. „Dirbtinio intelekto platforma“, „greitintuvas“ ir „įmonės lygio“ neapibrėžia darbo. Sistema, puikiai atliekanti ribotą operaciją, gali būti būtent tai, ko reikia paslaugai. Sistema, teigianti apimanti viską, gali būti išmatavusi beveik nieko, kas panašu į paslaugą. Siaura tiesa yra sveikesnė už visuotinį rūką.

Aprėptis keičia prasmę

Aprėptis nėra išnaša apie tai, ar testų rinkinys buvo didelis. Ji apibūdina, kieno atvejai ir kokios situacijos patenka į matavimą. Etalonas gali apimti daug pavyzdžių iš vieno siauro skirstinio ir vis tiek mažai pasakyti apie kraštinius atvejus, kurie svarbūs veikloje. Ir atvirkščiai, mažas, kruopščiai parinktas rinkinys gali atskleisti svarbų gedimo būdą be pagrindo teigti bendrą veikimo rezultatą. Pasirinkimas yra dizaino sprendimas. Jis turi būti taip ir įvardytas.

EOBPO sistema, skirta dirbtinio intelekto vertinimo priemonėms apibūdinti, yra naudinga, nes atsisako redukuoti vertinimą iki vieno balo. Ji siūlo 18 aspektų, įskaitant aprėptį, paskirtį, realistiškumą, pagrįstumą, patikimumą, skaidrumą ir sąlygas, kuriomis galima interpretuoti rezultatus. Aprėptis klausia, ar vertinimas atspindi tai, ką ketina matuoti. Paskirtis skiria tyrimams skirtą etaloną nuo etalono, skirto atitikčiai ar kitam naudojimui. Realistiškumas klausia, ar aplinka yra žaislinė problema, imituota ar laboratorinė aplinka, ar realus gyvenimas. Šie skirtumai nesusilpnina etalono. Jie padaro jo teiginį įskaitomą.

Aprėptis taip pat apima atvejus, kuriuos vertinimas pašalina. Paslauga gali pranešti vidutinį delsos laiką pašalinusi skirtuosius laiko tarpus. Klasifikatorius gali pranešti tikslumą išmetęs dviprasmiškas etiketes. Paieškos sistema gali skaičiuoti tik užklausas, turinčias bent vieną atitinkamą dokumentą. Vaizdų apdorojimo grandinė gali praleisti sugadintus failus. Kiekvienas pašalinimas gali būti pagrįstas. Rezultatas turi nurodyti, kas buvo pašalinta ir kodėl. Priešingu atveju vardiklis tyliai tampa sąrašu atvejų, kuriuos buvo patogu užbaigti.

Čia vardiklis tampa politinis, net prieš kam nors ištariant žodį politika. Įtraukta populiacija gauna naudą būti matuojama. Pašalinta populiacija gauna pasakojimą apie sistemą, kuri gali jos neapibūdinti. Europos viešosios institucijos tai jau žino iš oficialiosios statistikos. Eurostato Europos statistikos praktikos kodeksas nustato 16 principų ir 84 rodiklius institucinei aplinkai, procesams ir rezultatams. Jo kokybės užtikrinimo sistema pateikia metodus ir priemones, o kokybės ataskaitos informuoja vartotojus, kaip duomenys buvo renkami ir tikrinami. Žinia dirbtiniam intelektui nėra ta, kad kiekvienas modelis turi tapti statistikos tarnyba. Ji yra ta, kad skaičius, skirtas viešiems sprendimams, turi turėti matomą gamybos ir kokybės istoriją.

Tikslumas nėra vieni vartai

Veikimo teiginiai dažnai suporuoja greitį su vienu kokybės skaičiumi ir laiko porą išsamia. Kokybė paprastai yra klausimų šeima. Ar rezultatas atitinka užduoties apibrėžimą? Ar jis išlaiko reikalaujamus apribojimus? Ar jis saugiai nepavyksta, kai trūksta įrodymų? Ar jis priimtinai elgiasi visoje atitinkamoje populiacijoje? Ar jis lieka kokybės ribose, kai sistema yra apkrauta? Greitas atsakymas, kuris nepavyksta užduotyje, nėra greitesnis sprendimas. Tai kitoks darbo krūvis, dėvintis tą patį daiktavardį.

MLPerf struktūra yra pamokoma, nes jos veikimo testai vyksta greta tikslumo patikros ir modeliui būdingų reikalavimų. Pateikimo vadovas sako dalyviams nustatyti padalinį, sistemos tipą ir scenarijų, paleisti numatytą etaloną, patikrinti tikslumą pagal ribas ir tada parengti patikrintą pateikimą. Etalono puslapyje išvardija orientacinį tikslumą ir delsos ar pralaidumo sąlygas kiekvienai užduočiai. Atskyrimas yra praktiškas. Jis neleidžia sistemai laimėti veikimo stulpelį tyliai pralaimint užduotį.

Pats tikslumas turi vardiklį. „Devyniasdešimt aštuoni procentai tikslumo“ gali reikšti įrašų, žetonų, vaizdų, užklausų ar sprendimų procentą. Jis gali naudoti mikro ar makro vidurkį. Jis gali skaičiuoti susilaikymą kaip klaidą, kaip saugų atsisakymą ar kaip neišmatuotą rezultatą. Jis gali lyginti su etiketėmis, sukurtomis vieno ar kelių vertintojų. Etalono kortelė turi įvardyti vienetą, etikečių taisyklę, agregavimą, pasitikėjimą ar kitimą ir bet kokią ribą, kuri paverčia matavimą sprendimu išleisti.

Nenaudokite kokybės skaičiaus kaip dekoratyvaus leidimo antspaudo. Modelis gali atitikti paskelbtą ribą ir vis tiek būti netinkamas konkrečiai paslaugai, nes užduotis, vartotojų grupė ar žalos profilis skiriasi. Ir atvirkščiai, mažesnis bendras balas gali būti priimtinas rengimo įrankiui, kuriame žmogus lieka autoriumi, o tas pats balas yra nepriimtinas automatiniam vartų mechanizmui. Kokybė yra rezultato, paskirties ir pasekmių ryšys.

Laikas nėra vienas skaičius

Vėlavimas dažnai pateikiamas taip, tarsi sistema turėtų vieną greitį. Tikros sistemos turi pasiskirstymą. Pirmoji užklausa gali pareikalauti paleidimo sąnaudų. Talpykla gali pakeisti vėlesnes užklausas. Vienu metu dirbantys vartotojai gali varžytis dėl atminties ar duomenų bazės ryšio. Ilgas įvesties tekstas gali eiti kitu keliu nei trumpas. Vidurkis gali gerėti, o uodega blogėti. Jei uodegoje paslauga nepasiekia savo termino, vidurkis yra blaškantis dydis su matavimo vienetu.

Naudingoje vėlavimo ataskaitoje nurodoma, kas buvo matuojama ir kaip buvo apibendrinti stebėjimai. Joje gali būti mediana, viršutiniai procentiliai, laukimo laiko viršijimo dažnis ir užklausų skaičius. Joje turėtų būti nurodyta, ar įšilimo užklausos buvo pašalintos, ar įtraukti pakartotiniai bandymai ir ar eilės ar tinklo laikas priklauso matuojamam keliui. Šie pasirinkimai nėra tarpusavyje keičiami. Komponento etaloninis testas gali būti vertingas, bet jis neturi būti pristatomas kaip viso kelio elgsena.

Pralaidumas turi panašų spąstą. Didelį rodiklį galima pasiekti grupuojant darbą, didinant lygiagretumą arba sušvelninant kokybės reikalavimą. Tai gali būti visiškai tinkama neprisijungus veikiančiai užduočiai. Tai gali būti nenaudinga interaktyviai paslaugai, kuri turi atsakyti į kiekvieną užklausą per nustatytą terminą. Etaloniniame teste turėtų būti nurodytas scenarijus ir veikimo taškas, o tada paaiškinta, kas nutiktų, kai paklausa nutoltų nuo jo. Nėra gėdos siaurame veikimo taške. Gėda yra apsimesti, kad jis yra visas žemėlapis.

Laikas taip pat turi žmogiškąją pusę. Paslauga, kuri atsako greitai, bet sukuria daugiau peržiūros, taisymo ar skundų darbo, institucijos požiūriu gali būti lėtesnė. Etaloninis testas, kuris sustabdo laikmatį prieš perdavimą, gali priversti išmatuotą sistemą atrodyti žvalią, o tikroji paslauga kaupia eilę. Vardiklis turėtų sekti darbą tol, kol bus atsakyta į užduotą klausimą. Priešingu atveju chronometras matuoja salą.

Techninė ir programinė įranga yra skaitiklio dalis

„Serveryje“ nėra atkuriama aplinka. Procesoriaus karta, komandų rinkinys, greitintuvas, atmintis, saugykla, šiluminė būsena, galios limitas, operacinė sistema, tvarkyklė, kompiliatorius, vykdymo aplinka, biblioteka ir konfigūracija gali pakeisti rezultatą. Taip pat gali pakeisti modelio formatas, kvantizavimo nustatymas, paketo dydis, branduolio pasirinkimas ar gijų politika. Etaloniniam testui nereikia išvardyti kiekvieno laido. Jis turi nustatyti dalis, kurios gali pakeisti matavimą.

MLPerf visą išmatuotą sąranką vadina bandomąja sistema ir grupuoja rezultatus pagal sistemos tipą ir prieinamumo kategoriją. Šis žodynas naudingas ir už MLPerf ribų. Bandomoji sistema turi ribą. Riba nurodo, kuri techninė ir programinė įranga įtraukta, kurios paslaugos yra išorinės ir koks darbas praleidžiamas. Galios rodiklis, išmatuotas prie sieninio lizdo, turi kitą reikšmę nei rodiklis, skaičiuojantis tik greitintuvą. Vėlavimas, išmatuotas branduolio viduje, turi kitą reikšmę nei tas, kuris apima užklausų planavimą.

Versijos svarbios, nes etaloninis testas yra palyginimas tarp būsenų, o ne nesenstanti produkto pavadinimo savybė. Užfiksuokite modelio ar programos versiją, priklausomybių versijas, kompiliatoriaus vėliavėles, tvarkyklę ir programinę-aparatinę įrangą ten, kur jie veikia rezultatą. Užfiksuokite konfigūraciją, kuri pasirinko backendą arba tikslumą. Jei vykdymo aplinka kitoje mašinoje pasirenka kitą branduolį, tai yra rezultato dalis, o ne įgyvendinimo detalė, kurią vėliau reikia sutvarkyti.

Techninės įrangos atskleidimas nėra kvietimas paversti tinklaraščio įrašą dalių katalogu. Tai būdas išvengti klaidingo palyginimo. Pirkėjui nereikia rūpėti kiekviena instrukcija, jei teiginys susijęs su visa paslauga. Tačiau jis turi žinoti, ar palyginimas apima tą patį darbą, tą patį tikslumą, tą patį įvesties kelią ir sistemą, kurią iš tikrųjų galima įsigyti ir naudoti numatytoje Europos aplinkoje.

Pamatinės sistemos yra pažadai

Pamatinė sistema yra palyginimas, suteikiantis rezultatui kryptį. Be jos skaičius gali apibūdinti sistemą, bet ne patobulinimą. Pamatinė sistema turi atsakyti į tą patį klausimą panašiomis sąlygomis. Jei naujasis kelias naudoja naujesnį kompiliatorių, kitokį įvesties pasiskirstymą ar kitokį kokybės tikslą, rezultatas vis tiek gali būti įdomus, bet palyginimas nebėra švarus. Pasakykite, kas pasikeitė. Skaitytojas tada gali nuspręsti, ar skirtumas naudingas.

Pamatinės sistemos pasirinkimas yra interpretacijos aktas. Palyginkite su dabartine sistema, kurią vartotojai iš tikrųjų naudoja, su etalonine įgyvendinimo versija, su ankstesne versija arba su teorine riba, ir sužinosite skirtingus dalykus. Nauja sistema gali būti geresnė už etaloną ir blogesnė už paslaugą, kurią ji keičia. Ji gali būti greitesnė atliekant švarų testą ir lėtesnė, kai įtraukiama patikra ir saugykla. Etalonas turi įvardyti pamatinę sistemą ir paaiškinti, kodėl ji atsako į veiklos klausimą.

Suporuoti paleidimai dažnai yra informatyvesni nei vienas triumfo ratas. Laikykite darbo krūvį ir vertinimo apibrėžimą fiksuotus, pakeiskite vieną esminį veiksnį ir užfiksuokite skirtumą. Jei keli veiksniai keičiasi kartu, apibūdinkite palyginimą kaip visumą, o ne priskirkite visą poveikį vienam komponentui. Tai skamba akivaizdžiai, kol atnaujinimas, duomenų atnaujinimas ir nauja talpyklos politika pasirodo tame pačiame leidime. Tada diagramoje yra viena rodyklė ir trys galimos priežastys, o tai yra maža paslaptis, kuriai niekas nesuplanavo biudžeto.

Pamatinė sistema taip pat turi galiojimo laiką. Duomenų srautas, tiekėjas, modelis, politika ar techninės įrangos platforma gali pasikeisti. Palyginimas lieka galiojantis tik toms versijoms ir tam laikotarpiui, kurie buvo išbandyti. Jis neturėtų būti naudojamas kaip dabartinė garantija nepatikrinus sutarties. Čia versijų istorija atsiperka. Pakeistas rezultatas nėra nesėkmė. Tai istorinis teiginys, kurio sąlygos turėtų likti matomos.

Neapibrėžtumas nėra atsiprašymas

Kiekviename matavime yra variacijų. Dalis variacijų kyla iš sistemos, dalis iš darbo krūvio, o dalis iš matavimo proceso. Pakartotiniai paleidimai gali tai atskleisti, bet vien pakartojimas nepaaiškina priežasties. Įšilusi talpykla gali būti stabili. Triukšmingas kaimynas gali nebūti. Mažas vertinimo rinkinys gali duoti platų tikėtinų rezultatų diapazoną. Didesnis rinkinys gali sumažinti atrankos triukšmą, palikdamas šališką populiaciją nepaliestą. Neapibrėžtumas pasako skaitytojui, kiek toli rezultatas gali saugiai keliauti.

Pateikite neapibrėžtumą tokia forma, kuri tinka teiginiui. Tai gali būti diapazonas tarp pakartotinių paleidimų, pasikliautinasis intervalas, standartinė paklaida, delsos pasiskirstymas, jautrumo analizė arba žinomų apribojimų sąrašas. Nepridėkite pasikliautinojo intervalo vien todėl, kad lentelė atrodo vieniša. Nurodykite, kas buvo pakartota, kas buvo laikoma fiksuota ir ką intervalas reiškia bei ko nereiškia. Statistinė kalba nėra burtažodis. Tai sutartis dėl variacijų.

Yra ir antroji neapibrėžtumo rūšis, kurios skaičiai negali pašalinti: neapibrėžtumas, ar matavimas atspindi numatytą paslaugą. Rezultatas gali turėti mažą variaciją tarp paleidimų ir prastą realaus pasaulio aprėptį. Etalonas gali būti puikiai atkuriamas laboratorijoje, bet praleisti kalbas, įvesties formatus, pamainų modelius ar gedimų pasekmes diegimo aplinkoje. Mažas matavimo triukšmas nesukuria pagrįstumo. Jis tik leidžia nuosekliau atsakyti į neteisingą klausimą.

Neapibrėžtumas todėl turi būti šalia teiginio, o ne atsakomybės atsisakyme apačioje. Jei ribinė vertė yra arti išmatuotos ribos, tai svarbu. Jei rezultatas iš esmės pasikeičia esant kitokiam įvesties deriniui, tai svarbu. Jei energijos riba neapima aušinimo ar duomenų judėjimo, tai svarbu. Sąžiningas sakinys gali būti mažiau triumfališkas, bet sprendimų priėmėjui jis suteikia ką nors geriau nei optimizmą: vietą atsargumui.

Atgaminimas yra grandinė, o ne atsisiuntimo mygtukas

Atkuriamumas dažnai susiaurinamas iki kodo paskelbimo. Kodas svarbus. Jis yra tik viena grandinės grandis. Antrajai šaliai taip pat reikia darbo krūvio arba teisėto jo aprašymo, duomenų versijos, konfigūracijos, aplinkos, komandos arba vykdymo priemonės, atsitiktinių būsenų politikos, numatomo rezultato taisyklės, rezultatų failo ir metodo, naudojamo nuspręsti, ar vykdymas atitinka. Jei trūksta vienos grandies, antroji šalis gali atkurti panašų eksperimentą, o ne tą, apie kurį pranešta.

Grandinė turėtų skirti tikslų pakartotinį vykdymą nuo nepriklausomo pakartojimo. Tikslus pakartotinis vykdymas naudoja užfiksuotą artefaktą, būseną, įvestis, konfigūraciją ir vykdymo kelią, kad patikrintų, ar tą patį vykdymą galima atkurti. Nepriklausomas pakartojimas naudoja atskirai parengtą aplinką, kad patikrintų, ar rezultatas išlieka už pradinės mašinos ar komandos ribų. Abu yra vertingi. Jie atsako į skirtingus klausimus. Bitų lygmens identiškas rezultatas su užfiksuota įvestimi įrodo stiprų tapatybės teiginį apie tą vykdymą. Jis neįrodo, kad gyvas pasaulis liks nepakitęs.

EBPO vertinimo sistema padeda lengviau pamatyti šį skirtumą, traktuodama tikslą, realistiškumą, aprėptį ir patikimumą kaip atskirus aspektus. Vertinimas gali būti puikus regresiniam testavimui ir prastas vertinant tiesioginės paslaugos veikimą. Jis gali būti naudingas moksliniams tyrimams ir netinkamas atitikčiai. Atgaminimas nepanaikina tikslo. Jis padeda skaitytojui patikrinti teiginį, kurį metodas iš tikrųjų pagrindžia.

Duomenims, kurių negalima atskleisti, paskelbkite ribą ir kelią. Apibūdinkite populiaciją, atrankos procesą, žymėjimo metodą, atmetimo taisykles ir tikrinimo patikras. Jei įmanoma, pateikite saugų atgaminimo paketą ir paaiškinkite, kas lieka apsaugota. „Duomenys yra konfidencialūs“ yra teisėta riba, o ne baigtas metodas. Skaitytojas vis tiek turėtų galėti suprasti, kas buvo išmatuota ir kodėl rezultatas turėtų arba neturėtų būti apibendrintas.

Atgaminimas nėra mygtukas, pažymėtas „vykdyti dar kartą“. Tai tapatybių grandinė, leidžianti kitai komandai užginčyti teiginį.

Viešosios institucijos turėtų atsisakyti demonstracijų teatro

Viešosios įstaigos neturi atsisakyti etalonų. Jos turi atsisakyti etalonų, kurie negali nurodyti savo sutarties. Poliruota demonstracija gali padėti komitetui suprasti galimybę. Ji negali pakeisti įrodymų apie paslaugą, kurią įstaiga turi teikti, žmones, kuriems ji skirta, ir gedimus, kuriuos reikia pašalinti. Šis skirtumas svarbus, nes demonstracija optimizuota trumpam susidūrimui, o viešoji paslauga vertinama per sezonus, personalo kaitą, skundus, priežiūrą ir teisės aktus.

Prieš pirkdami paprašykite tiekėjo apibrėžti darbo krūvį paslaugos kalba. Kas patenka į sistemą? Kas matuojama? Kas neįtraukiama? Kuri kokybės taisyklė turi galioti? Kuris žmogaus vaidmuo peržiūri rezultatą? Kaip nustatomas nuokrypis? Kaip įstaiga gali eksportuoti savo įrodymus? Kas atsitinka, kai keičiasi modelis, šaltinis, tiekėjas ar politika? Su kuria versija lyginama? Koks yra grįžimo kelias? Tiekėjas į kai kuriuos klausimus gali atsakyti sutartimi, į kai kuriuos testu, o į kai kuriuos sąžininga riba. Toks mišinys yra sveikesnis nei atsakymas, sudarytas vien iš būdvardžių.

ES dirbtinio intelekto aktas tą patį tašką išreiškia teisine kalba didelės rizikos sistemoms. 15 straipsnis reikalauja tinkamo tikslumo, patikimumo ir kibernetinio saugumo lygio, užtikrinant nuoseklų veikimą šiais aspektais visą gyvavimo ciklą. Etalonas pats vienas negali nustatyti visos teisinės prievolės. Jis gali pagrįsti dalį įrodymų, jei aiškios jo apimtis, kokybės sąlygos ir vieta gyvavimo cikle. Vieno balo laikymas atitiktimi būtų dar viena vardiklio klaida. Įstatymas įvardija rezultatą; inžinerija turi parodyti kelią.

Perkančioji organizacija taip pat turėtų klausti, kam etalonas priklauso po sutarties sudarymo. Tiekėjo parengtas bandomasis paleidimas gali būti naudingas, tačiau įstaigai reikia pakankamai informacijos, kad galėtų stebėti sistemą savo kontekste. Jai reikia pradinio matavimo, kurį būtų galima pakartoti pasikeitus versijai, peržiūros kelio, kai rezultatai keičiasi, ir sprendimų dėl priimtino veikimo įrašo. Priešingu atveju pirmasis etalonas yra stojamasis egzaminas, o gamybos sistemai leidžiama baigti be papildomų klausimų.

Padarykite etalono kortelę pakankamai mažą, kad ją būtų galima naudoti

Ilgi metodai gali būti būtini. Jie ne visada yra pirmas dalykas, kurio skaitytojui reikia. Etalono kortelė yra kompaktiška sutarties rodyklė. Ji gali būti šalia rezultato ataskaitoje, vertinimo registre ar pirkimo byloje. Kortelėje turėtų būti nurodytas klausimas, darbo krūvis, apimtis, sistema, metrika, kokybės reikalavimas, pradinis matavimas, neapibrėžtumas, atkūrimo kelias, savininkas ir galiojimo pabaiga arba pakeitimo priežastis. Išsamus metodas gali būti už jos. Kortelė neleidžia teiginiui keliauti vienam.

Gerose kortelėse informacija atrenkama, o ne perpildoma. Jos iškelia laukus, kurie gali pakeisti interpretaciją, ir susieja su įrodymų paketu. Vėlavimo kortelėje gali būti pabrėžtas įvesties dydis, konkurencija, procentilis, įšilimas, versija ir laiko ribos taisyklė. Energijos kortelėje gali būti pabrėžta sistemos riba, darbo krūvis, matavimo priemonė, trukmė ir neįtraukta infrastruktūra. Tikslumo kortelėje gali būti pabrėžta populiacija, etikečių taisyklė, agregavimas, susilaikymo tvarka ir klaidų sunkumas. Bendra forma nėra fiksuotas šablonas. Tai pažadas, kad skaitytojas galės rasti vardiklį.

Kortelėje turėtų būti pažymėtas episteminis statusas. Ar vertė išmatuota, įvertinta, numatoma, siūloma ar iliustracinė? Ar pradinis matavimas yra dabartinis? Ar vertinimo rinkinys parengtas, bet dar nepaleistas? Ar rezultatai saugomi, nes testo medžiagoje yra asmens duomenų? Šios etiketės neleidžia metodo supainioti su rezultatu. Jos taip pat leidžia organizacijai skelbti pažangą nesukuriant sėkmės. Parengtas testas yra naudinga informacija. Tai nėra įrodymas, kad sistema jį išlaikė.

Finally, give the card an owner and a change rule. A result without an owner decays into a slide. A result without a change rule stays on the wall after the workload has moved. The owner does not have to defend the number forever. They do have to say when the claim should be rerun, withdrawn or narrowed. Measurement becomes part of operations when someone has the authority to keep it honest.

Two honest ways to publish a result

There are two common publication modes. The first is a strict comparison. It fixes the task, data, quality rule, system boundary and baseline so that a reader can compare alternatives. The second is an exploratory measurement. It asks what happens when a design, workload or environment changes, and it reports the observations with their limits. Exploratory work can be valuable before a strict benchmark exists. It should not borrow the language of a conformance result.

Strict comparisons are demanding because they make differences visible. If a team changes the model and the hardware together, it may be impossible to attribute the result. If a new workload is more realistic but no longer matches the baseline, the claim should be reframed as a new measurement. If an optimisation improves speed while changing output quality, report both sides. The discipline is not to prevent progress. It is to prevent a progress story from erasing the condition that made it possible.

Exploratory measurements need their own honesty. Say that the sample is small, that the environment is provisional, that the workload is synthetic, that the result has not been independently replicated or that the quality check is incomplete. These are not weaknesses to hide until a polished release. They are the information that helps a reader decide what to do next. A European engineering culture does not need to pretend every test is a final verdict. It needs to stop calling a question answered before the test has been read.

Both modes benefit from a result archive. Keep old definitions, configurations and outcomes identifiable. Record supersession rather than deleting the past. A changed benchmark can be the right benchmark for a changed service, but it cannot be used to rewrite the meaning of the old result. Version history is the denominator’s memory.

Our small note

At Dweve, we describe Core with an execution cell and a determinism contract. The useful part of that vocabulary is not the product name. It is the insistence that an operation carries its numerical representation, backend, instruction set, dispatch policy and replay posture as part of the path being evaluated. That is the same habit a benchmark needs: keep the conditions attached to the result instead of describing performance as if it floated above the system.

This is a small design note, not a claim about an external deployment or a measured result. The broader lesson does not depend on Dweve. Whether the system is a public statistical service, an industrial controller, a language tool or a research prototype, a number earns trust by naming its work and its limits. Our own documentation is simply one place where we try to make that boundary explicit.

The denominator is the part that travels

A benchmark headline is easy to copy. The denominator is harder to carry, which is why it is often left behind. A buyer copies a throughput figure into a business case. A regulator sees an accuracy score in a dossier. An engineer compares two charts from different workloads. A journalist repeats a percentage without the population. Each reader receives a number that has lost the contract that made it meaningful.

Remontas nėra sudėtingas, nors reikalauja disciplinos. Įvardykite klausimą. Apibrėžkite darbą. Nurodykite apimtį ir išimtis. Identifikuokite sistemą ir versijas. Pasirinkite metriką, atitinkančią paslaugą. Laikykite pradinį matavimą. Stebėkite pokyčius. Paskelbkite metodą ir įrodymus. Pažymėkite, kas lieka nežinoma. Suteikite teiginiui atsakingą asmenį ir priežastį jį pakartoti. Jei rezultatas negali pagrįsti plataus teiginio, susiaurinkite teiginį.

Taip Europa gali atsispirti demonstracijų teatrui netapdama alergiška ambicijoms. Viešoji įstaiga gali įsigyti naujų galimybių ir vis tiek reikalauti etalono, kuris gerbia paslaugą. Tyrimų komanda gali paskelbti įspūdingą rezultatą ir vis tiek nurodyti darbo krūvį, kuris jį sukūrė. Tiekėjas gali parodyti greitą kelią ir vis tiek pasakyti, kur tas kelias baigiasi. Sąžininga apimtis nėra inovacijų stabdis. Tai kelio danga, leidžianti važiuoti ir visiems kitiems.

Etalonas yra sutartis su vardikliu, nes vardiklis parodo, kas iš tikrųjų buvo padaryta. Laikykite jį šalia skaičiaus. Rezultatas taps mažiau stebuklingas, labiau palyginamas ir gerokai naudingesnis. Tai sąžiningi mainai. Sistemos, kuriomis žmonės turi pasikliauti, nusipelno skaičių, kurie išliktų patikimi ir atidžiai skaitomi.

Kai metrika keliauja tarp pasaulių

Etalonų skaičiai dažnai palieka juos išmatavusią komandą ir patenka į kitą sprendimų sistemą. Mokslininkas paskelbia lentelę. Produkto komanda paverčia vieną eilutę tikslu. Pirkimų skyrius paverčia tikslą sutartimi. Operacijų skyrius paverčia sutartį paslaugos lygio lūkesčiu. Kiekvienas žingsnis pakeičia, ko prašoma iš skaičiaus. Pradinis vardiklis vis dar gali būti dokumente ar saugykloje, tačiau jis tapo socialiai nutolęs nuo sprendimo. Metrikai reikia vertimo pastabos kaskart, kai ji kerta šią ribą.

Vertimo pastaba gali būti paprasta. Šis rezultatas susijęs su komponentų pralaidumu, o ne su užbaigtais atvejais. Šis tikslumo skaičius naudoja fiksuotą etikečių rinkinį, o ne realius rezultatus. Ši energijos vertė neapima duomenų centro aušinimo ribos. Šis pradinis matavimas yra orientacinė realizacija, o ne dabartinė paslauga. Šie sakiniai neleidžia naudingam matavimui tapti klaidinančiu pažadu. Jie taip pat palengvina nesutarimus. Skaitytojas gali užginčyti ribą, užuot ginčijęsis, ar skaičius atrodo įspūdingai.

Skirtingos komandos gali sąmoningai pasirinkti skirtingus vardiklius. Platformos komandai gali rūpėti darbas vienam džauliui. Paslaugos savininkui gali rūpėti užbaigti sprendimai per vieną darbo valandą. Viešajai institucijai gali rūpėti teisingi, paaiškinami rezultatai apibrėžtai populiacijai ir atsako laikas. Tai nėra konkuruojančios tiesos, jei kiekviena yra įvardyta. Bėdos prasideda, kai lengviausias vardiklis leidžiamas pakeisti misiją. Greičiausias branduolys automatiškai nereiškia geriausios paslaugos, kaip ir didžiausias testų rinkinys automatiškai nereiškia tinkamiausio.

Prieš pakartotinai naudojant etaloną, paklauskite, kas pasikeitė: darbo krūvis, savininkas, pasekmė ar laiko horizontas. Jei pasikeitė bent vienas iš jų, pakartokite interpretaciją net tada, kai pagrindinis skaičius nepakito. Matavimas nėra reliktas, kurį reikia nešiotis tarp kambarių. Tai ryšys, kurį reikia atnaujinti, kai pasikeičia kambarys.

Rezultatas turėtų žinoti, kada pasensta

Rezultatai turi naudingo gyvavimo laiką. Etalonas, susietas su modelio versija, šaltinio momentine kopija ar aparatinės įrangos konfigūracija, tampa istoriniu, kai šios sąlygos pasikeičia. Tai nereiškia, kad senas rezultatas yra klaidingas. Tai pakeičia klausimą, į kurį jis gali atsakyti. Ataskaitoje turėtų būti nurodyta, koks įvykis padaro teiginį pasenusį: naujas modelis, pakeistas kompiliatorius, naujas duomenų pasiskirstymas, pataisyta etikečių taisyklė, pakeista aparatinė įranga, pasikeitusi politika ar pastebėtas dreifo signalas. Galiojimo pabaigos taisyklė yra maža institucinės atminties dalis.

Be galiojimo taisyklės skaičiai kaupiasi kaip paltai ant kėdės. Kiekvienas iš jų techniškai vis dar yra, ir niekas nežino, kuris priklauso šiai dienai. Rezultatų registras gali išsaugoti visą istoriją, pažymėdamas dabartinį palyginimą, pakeistą apibrėžimą ir pakartotinio vykdymo priežastį. Tada pakartotinis vykdymas tampa įprasta priežiūra, o ne reagavimu į krizę. Tai ypač svarbu viešosioms paslaugoms, kuriose rezultatas gali išgyventi jį sukūrusią komandą.

Galiojimas taip pat apsaugo sąžiningą pažangą. Jei naujas darbo krūvis atskleidžia, kad ankstesnis etalonas buvo per siauras, organizacija gali paskelbti pakeitimą, išsaugoti seną metodą ir paaiškinti naują ribą. Jai nereikia ginti pasenusio skaičiaus ar apsimesti, kad senojo skaičiaus niekada nebuvo. Etalonas, kurį galima susiaurinti, pakeisti ir suprasti, yra naudingesnis nei tas, kuris turi amžinai atrodyti įspūdingai.

Šaltiniai