Benchmark huwa kuntratt b'denominatur

Il-pretensjonijiet dwar il-prestazzjoni jsiru utli meta l-piż tax-xogħol, l-ambitu, il-ħardwer, il-kundizzjoni tal-kwalità, il-bażi u l-inċertezza jibqgħu...

Benchmark huwa kuntratt b'denominatur

In-numru li jinsa d-denominatur tiegħu

Riżultat ta' benchmark jista' jitkejjel b'mod korrett u xorta jwieġeb il-mistoqsija ħażina. Il-ħati tas-soltu mhux timer difettuż jew inġinier mhux onest. Huwa d-denominatur li sparixxa bejn l-ambjent tat-test u l-preżentazzjoni. “Darbtejn aktar mgħaġġel” jinstema' bħala paragun, imma ma jgħidlekx darbtejn aktar mgħaġġel f'liema xogħol, fuq liema magna, b'liema softwer, taħt liema kundizzjoni ta' kwalità, kontra liema bażi, jew għal liema utenti. Neħħi dawk il-kundizzjonijiet u numru ta' prestazzjoni jsir framment illustrat. Jista' jibqa' veru b'mod numeriku. Imma ma jgħidlekx aktar lil xerrej jew lil min jopera x'jista' jistenna.

Id-denominatur huwa x-xogħol li kontra tiegħu jingħad ir-riżultat. Għall-throughput, huwa x-xogħol mitmum u l-ħin li fuqu jingħadd it-tlestija. Għal-latency, hija d-definizzjoni tat-talba, il-mogħdija inkluża, u l-popolazzjoni tal-osservazzjonijiet. Għall-eżattezza, huwa s-sett ittikkettjat, ir-regola tat-tikketti, u l-unità li qed tiġi ġġudikata. Għall-enerġija, huwa l-konfini tas-sistema mkejla u x-xogħol mogħti ġewwa dak il-konfini. Għall-ispiża, huwa l-perjodu tal-ispiża, ir-riżorsi inklużi, u l-volum ta' xogħol utli. Benchmark huwa onest meta n-numeratur u d-denominatur tiegħu jivvjaġġaw flimkien.

Huwa għalhekk li benchmark huwa l-aħjar li jitqies bħala kuntratt. Il-kuntratt isemmi l-mistoqsija, il-workload, l-ambitu, il-hardware u s-softwer, il-metrika, il-bażi, l-inċertezza u l-metodu li bih parti oħra tista' tiċċekkja r-riżultat. Kuntratt jista' jkun dejjaq. Jista' jkun esploratorju. Jista' jkun utli biss għal implimentazzjoni waħda. Dak li ma jistax ikun huwa numru impressjonanti li l-kundizzjonijiet tiegħu jitħallew għall-qarrej biex jaħsibhom. Li taħseb hija mod ħażin kif talloka flus pubbliċi, u mod agħar biex tfassal servizz li xi ħadd ieħor irid iżommu ħaj.

Il-vizzju Ewropew li jinkitbu d-definizzjonijiet kultant jidħak bih bħala burokrazija. Fix-xogħol tal-kejl, id-definizzjonijiet huma l-parti li ma tħallix il-burokrazija ssir folklor. It-tabella tal-benchmark mhijiex appendiċi amministrattiv tar-riżultat. Hija l-karta tal-identità tar-riżultat.

Aqra l-unità qabel l-aħbar prinċipali

Ibda bl-unità, imma tieqafx hemm. Talbiet kull sekonda, tokens kull sekonda, millisekondi, joules kull mistoqsija, ewro kull elf rekord u punti perċentwali kollha jgħidulek xi ħaġa. Ħadd minnhom ma jgħidlekx x'intalbet tagħmel is-sistema. Riżultat ta' 100 talba kull sekonda jista' jiddeskrivi talbiet żgħar f'cache jew talbiet kbar mhux f'cache li jinkludu rkupru, validazzjoni u konsenja lil bniedem. Latency ta' 20 millisekonda tista' tkopri kernel wieħed jew mogħdija sħiħa ta' deċiżjoni. L-unità hija bieb. Il-workload huwa l-kamra warajh.

Ejja ngħidu li slide ta' akkwist jgħid li servizz ġdid huwa 40 fil-mija aktar mgħaġġel minn dak eżistenti. Is-sentenza għadha mhijiex evidenza. Għandha bżonn tal-inqas l-operazzjoni li qed titkejjel, id-daqs u d-distribuzzjoni tal-input, ix-xogħol eskluż mill-arloġġ, il-konkorrenza, l-istat ta' tisħin, il-verżjonijiet tas-softwer, il-hardware, u l-konfigurazzjoni bażi. Għandha bżonn ukoll il-kundizzjoni tal-kwalità. Jekk il-mogħdija aktar mgħaġġla tirritorna inqas riżultati validi, twarrab inputs twal jew taqbeż pass ta' verifikazzjoni għali, in-numeratur sar iżgħar billi nbiddel ix-xogħol.

Dan mhux talba għal tabella enormi qabel ma ħadd jitkellem. Hija talba biex jiġu identifikati l-ftit oqsma li jbiddlu t-tifsira tal-allegazzjoni. Benchmark żgħir ta' parser jista' jkollu bżonn il-forma tar-rekord, is-sors tal-input, il-politika ta' validazzjoni, il-kompilatur u l-proċessur. Benchmark ta' inferenza jista' jkollu bżonn il-mudell, il-preċiżjoni, il-batch, ix-xenarju, il-mira tal-kwalità u l-konfini tal-enerġija. Kju tas-settur pubbliku jista' jkollu bżonn id-definizzjoni tal-każ, l-arloġġ tas-servizz, ir-regola tar-routing u l-mogħdija tal-eskalazzjoni. L-oqsma jvarjaw. L-obbligu li jsemmihom ma jvarjax.

Hawnhekk hemm dixxiplina utli: ikteb ir-riżultat bħala sentenza li tista’ tgħaddi minn qarrej ieħor. “Taħt din il-piż tax-xogħol u dan ir-rekwiżit tal-kwalità, fuq din is-sistema u din il-verżjoni, il-valur imkejjel kien dan, b’din il-varjazzjoni.” Jekk is-sentenza ma tistax titlesta mingħajr kliem bħal tipiku, l-aħjar, bħal ta’ produzzjoni jew rappreżentattiv, il-metodu għadu mhux lest. Dik il-kliem tista’ tkun valida, imma teħtieġ definizzjoni operazzjonali, mhux ton sħun.

Karta ta’ benchmark mhix dekorazzjoni madwar numru. Hija l-iżgħar forma utli tal-kuntratt ta’ dak in-numru.

L-ambitu huwa parti mir-riżultat

L-ambitu jwieġeb mistoqsija sempliċi: x’ikopri dan ir-riżultat, u x’jibqa’ barra mill-qafas? Fl-evalwazzjoni tat-tagħlim tal-magni, l-ambitu jinkludi l-kompitu, is-sett tad-dejta, il-qasma, il-lingwa, it-tul tal-input, ix-xenarju operattiv u l-għażliet permessi tal-implimentazzjoni. F’servizz ta’ softwer, jinkludi r-rotta, il-ħażniet tad-dejta, in-netwerk, il-cache u x-xogħol li tim wettaq wara li l-endpoint imkejjel jirritorna. Riżultat imkejjel fuq saff wieħed m’għandux bil-kwiet isir wegħda dwar is-servizz kollu.

MLCommons jagħmel dan viżibbli fid-dokumentazzjoni tiegħu tal-Inferenza MLPerf. Il-gwida tas-sottomissjoni tifred it-tipi ta’ sistemi taċ-ċentru tad-dejta minn dawk tal-edge, telenka xenarji bħal offline, server, interattiv, single-stream u multi-stream, u tiddistingwi diviżjoni magħluqa minn diviżjoni miftuħa. Id-diviżjoni magħluqa hija maħsuba għal tqabbil ta’ tuffieħa ma’ tuffieħa bl-istess mudell u setup ta’ referenza. Id-diviżjoni miftuħa tippermetti għażliet bħal taħriġ mill-ġdid jew sostituzzjoni tal-mudell. La waħda u lanqas l-oħra mhija d-diviżjoni universalment korretta. Huma jwieġbu mistoqsijiet differenti. Aħbar li tħallathom mhix ħarsa wiesgħa. Hija żball ta’ kategorija b’tipografija eċċellenti.

L-istess dokumentazzjoni turi għaliex benchmark jeħtieġ naħa espliċita tal-kwalità. Daħla elenkata ta’ ResNet50 ssemmi s-sett ta’ validazzjoni ImageNet-2012, id-daqsijiet tas-sett tad-dejta u tal-lista tal-kampjuni tal-mistoqsijiet, preċiżjoni ta’ referenza u restrizzjoni tal-latenza tas-server. Għad-daħla elenkata ta’ ResNet50, il-paġna tagħti sett ta’ validazzjoni ta’ 50 000 immaġni, lista tal-kampjuni tal-mistoqsijiet ta’ 1 024, preċiżjoni ta’ referenza ta’ 76.46 fil-mija u restrizzjoni tal-latenza tas-server ta’ 15 ms. Dawk l-oqsma mhumiex trivia għal nies li jgawdu jaqraw ir-regoli. Huma jispjegaw x’kien permess li jfisser il-veloċità rrappurtata. Ibdel is-sett tad-dejta, ix-xenarju jew ir-rekwiżit tal-kwalità u t-tqabbil inbidel, anki jekk l-isem tal-mudell jidher familjari.

Xerrej Ewropew għandu jissuspetta ambitu li huwa implikat minn tikketta ta’ prodott. “Pjattaforma tal-IA”, “aċċeleratur” u “grad ta’ intrapriża” ma jiddefinixxux ix-xogħol. Sistema li hija eċċellenti f’operazzjoni limitata tista’ tkun eżattament dak li s-servizz jeħtieġ. Sistema li titlob li tkopri kollox setgħet kejlet kważi xejn li jixbah lis-servizz. Verità dejqa hija iktar b’saħħitha minn ċpar universali.

Il-kopertura tbiddel it-tifsira

Il-kopertura mhijiex nota f’qiegħ il-paġna dwar jekk is-sett tat-test kienx kbir. Hija tiddeskrivi liema każijiet u liema sitwazzjonijiet jidħlu fil-kejl. Benchmark jista’ jkopri ħafna eżempji minn distribuzzjoni waħda dejqa u xorta jgħid ftit dwar it-truf li jgħoddu fl-operat. Bil-maqlub, sett żgħir u magħżul bir-reqqa jista’ jikxef mod importanti ta’ falliment mingħajr ma jappoġġa pretensjoni ġenerali ta’ prestazzjoni. L-għażla hija deċiżjoni ta’ disinn. Għandha tiġi ddikjarata bħala tali.

Il-qafas tal-OECD għall-karatterizzazzjoni tal-istrumenti ta’ evalwazzjoni tal-AI huwa utli għax jirrifjuta li jnaqqas evalwazzjoni għal punteġġ wieħed. Huwa jipproponi 18-il aspett, inklużi l-kopertura, l-iskop, ir-realiżmu, il-validità, l-affidabbiltà, it-trasparenza u l-kundizzjonijiet li taħthom jistgħu jiġu interpretati r-riżultati. Il-kopertura tistaqsi jekk l-evalwazzjoni tirrappreżentax dak li biħsiebha tkejjel. L-iskop jiddistingwi bejn benchmark maħsub għar-riċerka u wieħed maħsub għall-konformità jew għal użu ieħor. Ir-realiżmu jistaqsi jekk l-ambjent huwiex problema tal-logħob, ambjent simulat jew tal-laboratorju, jew il-ħajja reali. Dawn id-distinzjonijiet ma jdgħajfux benchmark. Huma jagħmlu l-pretensjoni tiegħu leġġibbli.

Il-kopertura tinkludi wkoll il-każijiet li evalwazzjoni teskludi. Servizz jista’ jirrapporta l-latenza medja wara li jneħħi l-timeouts. Klassifikatur jista’ jirrapporta l-eżattezza wara li jwaqqa’ tikketti ambigwi. Sistema ta’ rkupru tista’ tgħodd biss mistoqsijiet li jkollhom mill-inqas dokument wieħed rilevanti. Pipeline tal-immaġini jista’ jaqbeż fajls korrotti. Kull esklużjoni tista’ tkun difendibbli. Ir-riżultat irid jgħid x’tneħħa u għaliex. Inkella d-denominatur fis-skiet isir lista ta’ każijiet li kienu konvenjenti biex jitlestew.

Hawnhekk id-denominatur isir politiku, anki qabel ma xi ħadd juża l-kelma politika. Il-popolazzjoni inkluża tirċievi l-benefiċċju li titkejjel. Il-popolazzjoni eskluża tirċievi storja dwar sistema li forsi ma tiddeskrivihiex. L-istituzzjonijiet pubbliċi Ewropej diġà jafu dan mill-istatistika uffiċjali. Il-Kodiċi ta’ Prattika tal-Istatistika Ewropea tal-Eurostat jistabbilixxi 16-il prinċipju u 84 indikatur għall-ambjent istituzzjonali, il-proċessi u l-outputs. Il-Qafas ta’ Assigurazzjoni tal-Kwalità tiegħu jipprovdi metodi u għodod, filwaqt li r-rapporti tal-kwalità jgħidu lill-utenti kif inġabret u ġiet ivvalidata d-data. Il-messaġġ għall-AI mhuwiex li kull mudell irid isir uffiċċju tal-istatistika. Huwa li numru maħsub għal deċiżjonijiet pubbliċi jeħtieġ storja viżibbli ta’ produzzjoni u kwalità.

L-eżattezza mhijiex daħla waħda

Il-pretensjonijiet ta’ prestazzjoni spiss iqabblu l-veloċità ma’ numru wieħed ta’ kwalità, u mbagħad jittrattaw il-par bħala komplet. Il-kwalità ġeneralment hija familja ta’ mistoqsijiet. L-output jissodisfa d-definizzjoni tal-kompitu? Jippreserva l-vinkoli meħtieġa? Jfalli b’mod sikur meta n-nuqqas ta’ evidenza? Iġib ruħu b’mod aċċettabbli mal-popolazzjoni rilevanti kollha? Jibqa’ fil-limitu tal-kwalità waqt li s-sistema tkun mgħobbija? Tweġiba mgħaġġla li tfalli l-kompitu mhijiex soluzzjoni aktar mgħaġġla. Hija workload differenti liebsa l-istess nom.

L-istruttura tal-MLPerf hija istruttiva għax il-ġirjiet tal-prestazzjoni tagħha joqogħdu maġenb il-validazzjoni tal-eżattezza u r-rekwiżiti speċifiċi għall-mudell. Il-gwida tas-sottomissjoni tgħid lill-parteċipanti jidentifikaw id-diviżjoni, it-tip ta’ sistema u x-xenarju, imexxu l-benchmark maħsub, jivvalidaw l-eżattezza kontra l-limiti u mbagħad iħejju sottomissjoni kkontrollata. Il-paġna tal-benchmark telenka l-eżattezza ta’ referenza u l-kundizzjonijiet tal-latenza jew tal-throughput għal kull kompitu. Is-separazzjoni hija prattika. Iżżomm sistema milli tirbaħ il-kolonna tal-prestazzjoni billi fis-skiet titlef il-kompitu.

L-eżattezza nnifisha teħtieġ denominatur. “Disgħa u disgħin fil-mija eżatt” jista’ jfisser persentaġġ ta’ rekords, tokens, immaġinijiet, talbiet, jew deċiżjonijiet. Jista’ juża l-medja mikro jew makro. Jista’ jgħodd astensjoni bħala żball, bħala rifjut sikur, jew bħala riżultat mhux imkejjel. Jista’ jqabbel ma’ tikketti maħluqa minn reviżur wieħed jew aktar. Karta tal-benchmark għandha ssemmi l-unità, ir-regola tat-tikketti, l-aggregazzjoni, il-konfidenza jew il-varjazzjoni, u kwalunkwe limitu li jibdel kejl f’deċiżjoni ta’ rilaxx.

Tużax numru ta' kwalità bħala permess dekorattiv. Mudell jista' jilħaq limitu ppubblikat u xorta jibqa' mhux adattat għal servizz partikolari minħabba li l-kompitu, il-popolazzjoni jew il-profil tal-ħsara jkunu differenti. Bil-maqlub, punteġġ aggregat aktar baxx jista' jkun aċċettabbli għal għodda ta' abbozzar li żżomm lill-bniedem bħala awtur, filwaqt li l-istess punteġġ ma jkunx aċċettabbli għal gate awtomatiku. Il-kwalità hija relazzjoni bejn il-produzzjoni, l-iskop u l-konsegwenza.

Il-ħin mhuwiex numru wieħed

Il-latenza spiss tiġi ppreżentata bħallikieku sistema għandha veloċità waħda. Sistemi reali għandhom distribuzzjoni. L-ewwel talba tista' tħallas l-ispiża tal-istartjar. Cache jista' jibdel talbiet aktar tard. Utenti konkorrenti jistgħu jikkontendu għall-memorja jew għal konnessjoni ta' database. Input twil jista' jieħu triq differenti minn wieħed qasir. Il-medja tista' titjieb filwaqt li d-denb jiggrava. Jekk id-denb huwa fejn servizz jonqos milli jilħaq l-iskadenza tiegħu, il-medja hija distrazzjoni b'unità.

Rapport utli tal-latenza jgħid x'gie mkejjel u kif ġew imqassra l-osservazzjonijiet. Jista' jinkludi medjan, perċentili ogħla, rata ta' timeout u n-numru ta' talbiet. Għandu jiddikjara jekk it-talbiet ta' tisħin kinux esklużi, jekk il-provi mill-ġdid kinux inklużi, u jekk il-ħin tal-kju jew tan-netwerk jappartjenix għall-mogħdija mkejla. Dawk l-għażliet mhumiex interkambjabbli. Benchmark ta' komponent jista' jkun ta' valur, iżda ma jridx jiġi rrakkontat bħala mġiba minn tarf sa tarf.

It-throughput għandu nassa simili. Rata għolja tista' tinkiseb billi tiġi batching ix-xogħol, tiżdied il-konkorrenza jew jittaffa rekwiżit ta' kwalità. Dan jista' jkun eżattament it-tajjeb għal xogħol offline. Jista' jkun inutli għal servizz interattiv li jrid jirrispondi għal kull talba fi ħdan skadenza. Il-benchmark għandu jiddikjara x-xenarju u l-punt operattiv, imbagħad jispjega x'jiġri meta d-domanda titbiegħed minnu. M'hemmx mistħija f'punt operattiv dejjaq. Hemm mistħija li wieħed jippretendi li huwa l-mappa kollha.

Il-ħin għandu wkoll naħa umana. Servizz li jirritorna malajr iżda joħloq aktar xogħol ta' reviżjoni, korrezzjoni jew appell jista' jkun aktar bil-mod mill-perspettiva tal-istituzzjoni. Benchmark li jwaqqaf l-arloġġ qabel il-kunsinna jista' jagħmel is-sistema mkejla tidher ħafifa filwaqt li s-servizz attwali jakkumula kju. Id-denominatur għandu jsegwi x-xogħol sakemm tiġi mwieġba l-mistoqsija li qed issir. Inkella, l-arloġġ qed ikejjel gżira.

Hardware u software huma parti min-numeratur

“Fuq server” mhuwiex ambjent riproduċibbli. Il-ġenerazzjoni tal-proċessur, is-sett tal-istruzzjonijiet, l-aċċeleratur, il-memorja, il-ħażna, l-istat termali, il-limitu tal-enerġija, is-sistema operattiva, is-sewwieq, il-kompilatur, ir-runtime, il-librerija u l-konfigurazzjoni kollha jistgħu jibdlu riżultat. Hekk ukoll jistgħu jibdluh format ta' mudell, setting ta' kwantizzazzjoni, daqs tal-batch, għażla tal-kernel jew politika tal-ħjut. Il-benchmark m'għandux għalfejn jelenka kull kejbil. Għandu jidentifika l-partijiet li jistgħu jbiddlu l-kejl.

MLPerf issejjaħ l-issettjar komplet imkejjel bħala s-sistema taħt test u jorganizza r-riżultati skont it-tip ta' sistema u l-kategorija tad-disponibbiltà. Dik il-vokabularju hija utli lil hinn minn MLPerf. Sistema taħt test għandha konfini. Il-konfini jgħid liema hardware u software huma inklużi, liema servizzi huma esterni, u liema xogħol jitħalla barra. Ċifra tal-enerġija mkejla mal-ħajt għandha tifsira differenti minn ċifra li tgħodd biss aċċeleratur. Latenza mkejla ġewwa kernel għandha tifsira differenti minn waħda li tinkludi l-iskedar tat-talbiet.

Il-verżjonijiet jgħoddu għaliex benchmark huwa tqabbil bejn stati, mhux proprjetà mingħajr żmien ta' isem ta' prodott. Irrekordja l-verżjoni tal-mudell jew tal-applikazzjoni, il-verżjonijiet tad-dipendenza, il-flags tal-kompilatur, is-sewwieq u l-firmware fejn jaffettwaw ir-riżultat. Irrekordja l-konfigurazzjoni li għażlet backend jew preċiżjoni. Jekk runtime jagħżel kernel differenti fuq magna oħra, dik hija parti mir-riżultat, mhux dettal ta' implimentazzjoni li għandu jitwarrab aktar tard.

L-iżvelar tal-ħardwer mhuwiex stedina biex post ta' blog jinbidel f'katalgu ta' partijiet. Huwa mod kif tiġi evitata ekwivalenza falza. Xerrej m'għandux għalfejn jieħu ħsieb kull istruzzjoni jekk it-talba tkun dwar servizz sħiħ. Imma jeħtieġ li jkun jaf jekk it-tqabbil jinkludix l-istess xogħol, l-istess preċiżjoni, l-istess triq ta' input u sistema li fil-fatt tista' tinkiseb u titħaddem fl-ambjent Ewropew maħsub.

Il-bażi tal-paragun huma wegħdiet

Bażi tal-paragun hija t-tqabbil li jagħti direzzjoni lir-riżultat. Mingħajrha, numru jista' jiddeskrivi sistema imma mhux titjib. Il-bażi trid twieġeb l-istess mistoqsija taħt kundizzjonijiet komparabbli. Jekk it-triq il-ġdida tuża kompilatur aktar ġdid, distribuzzjoni differenti tal-input jew mira differenti tal-kwalità, ir-riżultat jista' jibqa' interessanti, imma t-tqabbil ma jibqax nadif. Għid x'inbidel. Il-qarrej imbagħad jista' jiddeċiedi jekk id-differenza hijiex utli.

L-għażla tal-bażi tal-paragun hija att ta' interpretazzjoni. Qabbel mas-sistema eżistenti li l-utenti fil-fatt jużaw, ma' implimentazzjoni ta' referenza, ma' rilaxx preċedenti, jew ma' limitu teoretiku, u titgħallem affarijiet differenti. Sistema ġdida tista' tkun aħjar mir-referenza u agħar mis-servizz li qed tieħu postu. Tista' tkun aktar mgħaġġla f'test nadif u aktar bil-mod ladarba l-validazzjoni u l-ħażna jkunu inklużi. Il-benchmark għandu jsemmi l-bażi tal-paragun u jispjega għaliex twieġeb il-mistoqsija operazzjonali.

Ħidmiet imqabbla flimkien spiss jagħtu aktar informazzjoni minn ġirja waħda ta' rebħa. Żomm il-workload u d-definizzjoni tal-evalwazzjoni fissi, ibdel fattur materjali wieħed, u rrekordja d-differenza. Jekk diversi fatturi jinbidlu flimkien, iddeskrivi t-tqabbil bħala pakkett minflok tattribwixxi l-effett kollu lil komponent wieħed. Dan jidher ovvju sakemm aġġornament, aġġornament tad-data u politika ġdida tal-cache jaslu fl-istess rilaxx. Il-graff imbagħad ikollha vleġġa waħda u tliet kawżi possibbli, li huwa misteru żgħir li ħadd ma kien ippjana għalih.

Bażi tal-paragun għandha bżonn ukoll data ta' skadenza. Fluss ta' data, fornitur, mudell, politika jew pjattaforma tal-ħardwer jistgħu jinbidlu. It-tqabbil jibqa' validu għall-verżjonijiet u l-perjodu ttestjati. M'għandux jerġa' jintuża bħala garanzija attwali mingħajr ma tiġi ċċekkjata l-kuntratt. Hawnhekk l-istorja tal-verżjonijiet turi l-valur tagħha. Riżultat li nqabeż mhuwiex falliment. Huwa stqarrija storika li l-kundizzjonijiet tagħha għandhom jibqgħu viżibbli.

L-inċertezza mhijiex apoloġija

Kull kejl fih varjazzjoni. Parti mill-varjazzjoni tiġi mis-sistema, parti mill-workload u parti mill-proċess tal-kejl. Ġirjiet ripetuti jistgħu juruha, imma r-repetizzjoni waħedha ma tispjegax il-kawża. Cache sħun jista' jkun stabbli. Ġar storbjuż jista' ma jkunx. Sett ta' evalwazzjoni żgħir jista' jipproduċi firxa wiesgħa ta' riżultati plawsibbli. Sett akbar jista' jnaqqas il-ħoss tal-kampjunar imma jħalli popolazzjoni b'preġudizzju mhux mittiefsa. L-inċertezza tgħid lill-qarrej kemm jista' jivvjaġġa b'mod sigur ir-riżultat.

Irrapporta l-inċertezza f'forma li taqbel mat-talba. Tista' tkun firxa fuq ġirjiet ripetuti, intervall ta' kunfidenza, żball standard, distribuzzjoni tal-latenza, analiżi tas-sensittività jew lista ta' limiti magħrufa. Tżidx intervall ta' kunfidenza għax it-tabella tidher waħedha. Stqarr x'ġie ripetut, x'baqa' fiss, u x'jirrappreżenta u x'ma jirrappreżentax l-intervall. Il-lingwa statistika mhijiex seħer. Hija kuntratt dwar il-varjazzjoni.

Hemm tip ieħor ta' inċertezza li n-numri ma jistgħux ineħħu: l-inċertezza dwar jekk il-kejl jirrappreżentax is-servizz maħsub. Riżultat jista' jkollu varjazzjoni żgħira minn ġirja għal oħra u kopertura fqira fid-dinja reali. Benchmark jista' jkun perfettament riproduċibbli f'laboratorju filwaqt li jonqsu l-lingwi, il-formati tal-input, ix-xejriet tax-xift jew il-konsegwenzi tal-falliment tal-iskjerament. Ħoss baxx tal-kejl ma joħloqx validità. Jagħmel biss li l-mistoqsija ħażina tingħata tweġiba aktar konsistenti.

L-inċertezza għandha għalhekk toqgħod maġenb id-dikjarazzjoni, mhux f'nota ta' skuża fil-qiegħ. Jekk limitu jkun qrib il-konfini mkejla, dak importanti. Jekk riżultat jinbidel b'mod sostanzjali b'taħlita differenti ta' inputs, dak importanti. Jekk il-konfini tal-enerġija teskludi t-tkessiħ jew il-moviment tad-dejta, dak importanti. Is-sentenza onesta tista' tkun inqas trijonfali, iżda tagħti lil min jieħu d-deċiżjonijiet xi ħaġa aħjar mill-ottimiżmu: post fejn ipoġġi l-kawtela.

Ir-riproduzzjoni hija katina, mhux buttuna ta' tniżżil

Ir-riproduċibbiltà spiss titnaqqas għall-pubblikazzjoni tal-kodiċi. Il-kodiċi jimpurta. Huwa biss ħolqa waħda fil-katina. Parti oħra għandha bżonn ukoll il-workload jew deskrizzjoni legali tiegħu, il-verżjoni tad-dejta, il-konfigurazzjoni, l-ambjent, il-kmand jew l-harness, il-politika tal-istat każwali, ir-regola tal-output mistenni, il-fajl tar-riżultat u l-metodu użat biex jintlaħaq qbil dwar jekk ir-run jaqbilx. Jekk tkun nieqsa ħolqa waħda, il-parti l-oħra tista' tirriproduċi esperiment simili aktar milli dak irrappurtat.

Il-katina għandha tiddistingwi bejn replay eżatt u replikazzjoni indipendenti. Ir-replay eżatt juża l-artefatt maqbud, l-istat, l-inputs, il-konfigurazzjoni u t-triq tal-eżekuzzjoni biex jiċċekkja jekk l-istess run jistax jinbena mill-ġdid. Ir-replikazzjoni indipendenti tuża ambjent ippreparat separatament biex tittestja jekk ir-riżultat jibqax jgħix barra mill-magna jew mit-tim oriġinali. It-tnejn huma siewja. Huma jwieġbu mistoqsijiet differenti. Riżultat identiku byte b'byte fuq input maqbud jipprova talba qawwija ta' identità dwar dak ir-run. Ma jippruvax li d-dinja ħajja tibqa' ma tinbidilx.

Il-qafas ta' evalwazzjoni tal-OECD jagħmel din id-distinzjoni aktar faċli biex tidher billi jittratta l-għan, ir-realiżmu, il-kopertura u l-affidabbiltà bħala aspetti separati. Evalwazzjoni tista' tkun eċċellenti għall-ittestjar ta' rigressjoni u fqira għall-istima tal-prestazzjoni ta' servizz dirett. Tista' tkun utli għar-riċerka u mhux adattata għall-konformità. Ir-riproduzzjoni ma tħassarx l-għan. Tgħin lill-qarrej jivverifika t-talba li l-metodu attwalment isostni.

Għal dejta li ma tistax tinħareġ, ippubblika l-konfini u r-rotta. Iddeskrivi l-popolazzjoni, il-proċess ta' kampjunar, il-metodu tat-tikketti, ir-regoli ta' esklużjoni u l-kontrolli ta' validazzjoni. Ipprovdi pakkett ta' riproduzzjoni sikur meta jkun possibbli, u spjega x'jibqa' protett. "Id-dejta hija kunfidenzjali" hija konfini leġittima, mhux metodu komplut. Il-qarrej xorta għandu jkun jista' jifhem x'inhu mkejjel u għaliex ir-riżultat għandu jew ma għandux jiġi ġeneralizzat.

Ir-riproduzzjoni mhijiex buttuna miktuba "run again". Hija katina ta' identitajiet li tippermetti lil tim ieħor jisfida t-talba.

L-istituzzjonijiet pubbliċi għandhom jirrifjutaw id-demo theatre

L-istituzzjonijiet pubbliċi m’għandhomx għalfejn jirrifjutaw il-benchmarks. Għandhom bżonn jirrifjutaw benchmarks li ma jistgħux jiddikjaraw il-kuntratt tagħhom. Dimostrazzjoni illustrata tista’ tgħin lil kumitat jifhem possibbiltà. Ma tistax tissostitwixxi l-evidenza dwar is-servizz li l-istituzzjoni trid tmexxi, in-nies li sservi u l-fallimenti li trid isewwi. Id-distinzjoni importanti għaliex demo hija ottimizzata għal laqgħa qasira filwaqt li servizz pubbliku jiġi ġġudikat matul l-istaġuni, bidliet fl-istaff, appelli, manutenzjoni u liġi.

Qabel tixtri, itlob lill-fornitur jiddefinixxi l-volum tax-xogħol fil-lingwa tas-servizz. X’jidħol fis-sistema? X’jitkejjel? X’huwa eskluż? Liema regola ta’ kwalità trid tinżamm? Liema rwol uman jirrevedi riżultat? Kif jinstab id-drift? Kif tista’ l-istituzzjoni tesporta l-evidenza tagħha? X’jiġri meta l-mudell, is-sors, il-fornitur jew il-politika jinbidlu? Liema verżjoni hija l-paragun? X’inhu l-pass ta’ rollback? Fornitur jista’ jwieġeb xi mistoqsijiet b’kuntratt, oħrajn b’test u oħrajn b’konfini onest. Dik it-taħlita hija aktar b’saħħitha minn tweġiba magħmula għal kollox minn aġġettivi.

L-Att dwar l-AI tal-UE jagħmel il-punt b’lingwaġġ legali għal sistemi ta’ riskju għoli. L-Artikolu 15 jirrikjedi livell xieraq ta’ preċiżjoni, robustezza u ċibersigurtà, b’prestazzjoni konsistenti f’dawk l-aspetti matul iċ-ċiklu tal-ħajja. Benchmark ma jistax jistabbilixxi l-obbligu legali kollu waħdu. Jista’ jappoġġa parti mill-evidenza jekk l-ambitu tiegħu, il-kundizzjonijiet ta’ kwalità u l-pożizzjoni fiċ-ċiklu tal-ħajja jkunu ċari. Li tittratta punteġġ wieħed bħala konformità jkun żball ieħor ta’ denominatur. Il-liġi ssemmi r-riżultat; l-inġinerija trid turi t-triq.

L-akkwist għandu jistaqsi wkoll min jippossjedi l-benchmark wara l-għoti tal-kuntratt. Test imħejji minn fornitur jista’ jkun utli, iżda l-istituzzjoni teħtieġ biżżejjed informazzjoni biex timmonitorja s-sistema fil-kuntest tagħha stess. Teħtieġ bażi li tista’ terġa’ titmexxa meta verżjoni tinbidel, triq ta’ reviżjoni meta r-riżultati jiċċaqilqu u rekord tad-deċiżjonijiet meħuda dwar prestazzjoni aċċettabbli. Inkella l-ewwel benchmark ikun eżami ta’ dħul u s-sistema ta’ produzzjoni titħalla tiggradwa mingħajr aktar mistoqsijiet.

Agħmel il-karta tal-benchmark żgħira biżżejjed biex tintuża

Metodi twal jistgħu jkunu meħtieġa. Mhux dejjem ikunu l-ewwel ħaġa li l-qarrej jeħtieġ. Karta tal-benchmark hija indiċi kompatt tal-kuntratt. Tista’ titqiegħed ħdejn riżultat f’rapport, reġistru ta’ evalwazzjoni jew fajl ta’ akkwist. Il-karta għandha ssemmi l-mistoqsija, il-volum tax-xogħol, l-ambitu, is-sistema, il-metrika, ir-rekwiżit ta’ kwalità, il-bażi, l-inċertezza, it-triq ta’ riproduzzjoni, is-sid u l-iskadenza jew it-trigger ta’ bidla. Il-metodu dettaljat jista’ jibqa’ warajha. Il-karta żżomm it-talba milli tivvjaġġa waħedha.

Karti tajbin huma selettivi aktar milli mimlija. Joħorġu l-oqsma li jistgħu jibdlu l-interpretazzjoni, imbagħad jorbtu mal-pakkett tal-evidenza. Karta tal-latenza tista’ tpoġġi quddiem id-daqs tal-input, il-konkorrenza, il-perċentil, it-tisħin, il-verżjoni u r-regola tal-timeout. Karta tal-enerġija tista’ tpoġġi quddiem il-konfini tas-sistema, il-volum tax-xogħol, l-istrument tal-kejl, it-tul u l-infrastruttura eskluża. Karta tal-preċiżjoni tista’ tpoġġi quddiem il-popolazzjoni, ir-regola tat-tikketta, l-aggregazzjoni, it-trattament tal-astensjoni u s-severità tal-iżball. Il-forma komuni mhijiex mudell fiss. Hija wegħda li l-qarrej jista’ jsib id-denominatur.

Il-karta għandha timmarka l-istatus epistemiku. Il-valur huwa mkejjel, stmat, mistenni, propost jew illustrattiv? Il-bażi hija attwali? Is-suite ta’ evalwazzjoni hija ppreparata iżda għadha ma titmexxietx? Ir-riżultati huma protetti għaliex il-materjal tat-test fih data personali? Dawn it-tikketti jipprevjenu metodu milli jittieħed għal riżultat. Jippermettu wkoll lil organizzazzjoni tippubblika progress mingħajr ma toħloq suċċess artifiċjali. Test ippreparat huwa informazzjoni utli. Mhuwiex evidenza li s-sistema għaddiet minnu.

Fl- aħħar, agħti lill-karta sid u regola ta’ bidla. Riżultat mingħajr sid jittrasforma fi slide. Riżultat mingħajr regola ta’ bidla jibqa’ fuq il-ħajt wara li l-piż tax-xogħol ikun mexa. Is-sid m’għandux għalfejn jiddefendi n-numru għal dejjem. Iżda jrid jgħid meta l-allegazzjoni għandha terġa’ titmexxa, tiġi rtirata jew titnaqqar. Il-kejl isir parti mill-operat meta xi ħadd ikollu l-awtorità li jżommu onest.

Żewġ modi onesti kif tippubblika riżultat

Hemm żewġ modi komuni ta’ pubblikazzjoni. L-ewwel wieħed huwa tqabbil strett. Dan jiffissa l-kompitu, id-dejta, ir-regola tal-kwalità, il-konfini tas-sistema u l-linja bażi sabiex il-qarrej ikun jista’ jqabbel alternattivi. It-tieni wieħed huwa kejl esploratorju. Dan jistaqsi x’jiġri meta jinbidlu d-disinn, il-piż tax-xogħol jew l-ambjent, u jirrapporta l-osservazzjonijiet bil-limiti tagħhom. Xogħol esploratorju jista’ jkun ta’ valur qabel ma jkun jeżisti benchmark strett. Iżda m’għandux jissellef il-lingwaġġ ta’ riżultat ta’ konformità.

Tqabbil strett huwa eżiġenti għaliex jagħmel id-differenzi viżibbli. Jekk tim ibiddel il-mudell u l-ħardwer flimkien, jista’ jkun impossibbli li jiġi attribwit ir-riżultat. Jekk piż tax-xogħol ġdid ikun aktar realistiku iżda ma jibqax jaqbel mal-linja bażi, l-allegazzjoni għandha terġa’ titfassal bħala kejl ġdid. Jekk ottimizzazzjoni ttejjeb il-veloċità waqt li tbiddel il-kwalità tal-output, irrapporta ż-żewġ naħat. Id-dixxiplina mhijiex biex iżżomm lura l-progress. Hija biex tevita li storja ta’ progress tħassar il-kundizzjoni li għamlitha possibbli.

Kejl esploratorju jeħtieġ l-onestà tiegħu stess. Għid li l-kampjun huwa żgħir, li l-ambjent huwa provviżorju, li l-piż tax-xogħol huwa sintetiku, li r-riżultat ma ġiex riprodott b’mod indipendenti jew li l-kontroll tal-kwalità mhuwiex komplut. Dawn mhumiex dgħufijiet li għandhom jitħbew sakemm joħroġ rilaxx illustrat. Huma l-informazzjoni li tgħin lill-qarrej jiddeċiedi x’għandu jagħmel wara. Kultura ta’ inġinerija Ewropea m’għandhiex għalfejn tippretendi li kull test huwa verdett finali. Għandha tieqaf issejjaħ mistoqsija bħala mwieġba qabel ma jinqara t-test.

Iż-żewġ modi jibbenefikaw minn arkivju tar-riżultati. Żomm id-definizzjonijiet qodma, il-konfigurazzjonijiet u r-riżultati identifikabbli. Irrekordja s-sostituzzjoni minflok ma tħassar il-passat. Benchmark mibdul jista’ jkun il-benchmark it-tajjeb għal servizz mibdul, iżda ma jistax jintuża biex jikteb mill-ġdid it-tifsira tar-riżultat il-qadim. L-istorja tal-verżjonijiet hija l-memorja tad-denominatur.

In-nota żgħira tagħna

F’Dweve, niddeskrivu Core b’ċellula ta’ eżekuzzjoni u kuntratt ta’ determinism. Il-parti utli ta’ dak il-vokabularju mhijiex l-isem tal-prodott. Hija l-insistenza li operazzjoni ġġorr ir-rappreżentazzjoni numerika tagħha, il-backend, is-sett ta’ istruzzjonijiet, il-politika ta’ dispatch u l-pożizzjoni ta’ replay bħala parti mill-mogħdija li qed tiġi evalwata. Din hija l-istess drawwa li benchmark jeħtieġ: żomm il-kundizzjonijiet marbuta mar-riżultat minflok tiddeskrivi l-prestazzjoni bħallikieku kienet f’wiċċ l-ilma ’l fuq mis-sistema.

Din hija nota ta’ disinn żgħira, mhux allegazzjoni dwar implimentazzjoni esterna jew riżultat imkejjel. Il-lezzjoni usa’ ma tiddependix fuq Dweve. Kemm jekk is-sistema hija servizz statistiku pubbliku, kontrollur industrijali, għodda tal-lingwa jew prototip ta’ riċerka, numru jaqla’ l-fiduċja billi jsemmi x-xogħol tiegħu u l-limiti tiegħu. Id-dokumentazzjoni tagħna stess hija sempliċement post wieħed fejn nippruvaw nagħmlu dik il-konfini espliċita.

Id-denominatur huwa l-parti li tivvjaġġa

Intestatura ta’ benchmark hija faċli biex tikkopja. Id-denominatur huwa aktar diffiċli biex jinġarr, u għalhekk spiss jitħalla warajh. Xerrej jikkopja ċifra ta’ throughput f’każ ta’ negozju. Regolatur jara punteġġ ta’ preċiżjoni f’dossier. Inġinier iqabbel żewġ charts minn piżijiet tax-xogħol differenti. Ġurnalist jirrepeti persentaġġ mingħajr il-popolazzjoni. Kull qarrej jirċievi numru li tilef il-kuntratt li għamlu sinifikanti.

The repair is not complicated, although it asks for discipline. Name the question. Define the work. State the scope and exclusions. Identify the system and versions. Choose a metric that matches the service. Keep a baseline. Measure variation. Publish the method and the evidence. Mark what remains unknown. Give the claim an owner and a reason to be rerun. If the result cannot support a broad statement, make the statement narrower.

This is how Europe can resist demo theatre without becoming allergic to ambition. A public institution can buy new capability and still demand a benchmark that respects the service. A research team can publish an exciting result and still state the workload that produced it. A supplier can show a fast path and still say where the path stops. Honest scope is not a brake on innovation. It is the road surface that lets anyone else drive.

The benchmark is a contract with a denominator because the denominator tells us what was actually done. Keep it beside the number. The result will become less magical, more comparable and much more useful. That is a fair exchange. Systems that people must depend on deserve numbers that can survive being read slowly.

When a metric travels between worlds

Benchmark numbers often leave the team that measured them and enter a different decision system. A researcher publishes a table. A product team turns one row into a target. Procurement turns the target into a contract. Operations turns the contract into a service-level expectation. Each move changes what the number is asked to do. The original denominator may still be present in the paper or repository, but it has become socially distant from the decision. A metric needs a translation note whenever it crosses that boundary.

The translation note can be plain. This result is about component throughput, not completed cases. This accuracy figure uses a fixed label set, not live outcomes. This energy value excludes the data-centre cooling boundary. This baseline is a reference implementation, not the incumbent service. These sentences stop a useful measurement becoming a misleading promise. They also make disagreement easier. A reader can challenge the boundary rather than arguing about whether the number feels impressive.

Different teams may deliberately choose different denominators. A platform team may care about work per joule. A service owner may care about completed decisions per staffed hour. A public authority may care about correct, explainable outcomes for a defined population and response time. These are not competing truths if each one is named. Trouble begins when the easiest denominator is allowed to stand in for the mission. The fastest kernel does not automatically make the best service, in the same way that the largest test set does not automatically make the most relevant one.

Before a benchmark is reused, ask what has moved: the workload, the owner, the consequence, or the time horizon. If any of them has moved, rerun the interpretation even when the underlying number is unchanged. Measurement is not a relic to be carried between rooms. It is a relationship that has to be renewed when the room changes.

A result should know when to expire

Results have a useful lifetime. A benchmark tied to a model version, a source snapshot or a hardware configuration becomes historical when those conditions change. That does not make the old result false. It changes the question it can answer. The report should say what event makes the claim stale: a new model, a changed compiler, a new data distribution, a revised label rule, a hardware replacement, a policy change or an observed drift signal. An expiry rule is a small piece of institutional memory.

Mingħajr regola ta' skadenza, in-numri jakkumulaw bħal kowtijiet fuq siġġu. Kull wieħed teknikament għadu hemm, u ħadd ma jaf liema wieħed jappartjeni għal-lum. Reġistru tar-riżultati jista' jżomm l-istorja sħiħa filwaqt li jimmarka l-paragun attwali, id-definizzjoni sostitwita u r-raġuni għat-treġġigħ mill-ġdid. L-att tat-treġġigħ mill-ġdid imbagħad isir manutenzjoni ordinarja aktar milli rispons għal kriżi. Dan huwa partikolarment importanti għas-servizzi pubbliċi, fejn riżultat jista' jgħix aktar mit-tim li pproduċieh.

L-iskadenza tipproteġi wkoll il-progress onest. Jekk tagħbija ta' xogħol ġdida tiżvela li benchmark preċedenti kien dejjaq wisq, l-organizzazzjoni tista' tippubblika l-bidla, tippreserva l-metodu l-antik u tispjega l-konfini l-ġdida. M'għandhiex għalfejn tiddefendi numru skadut jew tippretendi li n-numru l-antik qatt ma eżista. Benchmark li jista' jitdejjaq, jiġi sostitwit u jinftiehem huwa aktar utli minn wieħed li jrid jibqa' impressjonanti għal dejjem.

Sorsi