Vertailuarvo on sopimus, jonka nimittäjä on määritelty

Suorituskykylupaukset ovat hyödyllisiä vasta, kun työmäärä, laajuus, laitteisto, laatuehdot, lähtötaso ja epävarmuus pysyvät luvun yhteydessä.

Vertailuarvo on sopimus, jonka nimittäjä on määritelty

Luku, joka unohtaa nimittäjänsä

Vertailutulos voidaan mitata oikein ja vastata silti väärään kysymykseen. Tavallinen syyllinen ei ole viallinen ajastin eikä epärehellinen insinööri. Se on nimittäjä, joka katosi testiympäristön ja esityskalvon välistä. ”Kaksi kertaa nopeampi” kuulostaa vertailulta, mutta se ei kerro, kaksi kertaa nopeampi missä työssä, millä koneella, millä ohjelmistolla, millä laatuehdolla, mihin lähtötilanteeseen verrattuna tai kenelle käyttäjälle. Kun nämä ehdot poistetaan, suorituskykyluvusta tulee kiillotettu katkelma. Se voi säilyä numeerisesti totena. Se ei enää kerro ostajalle tai käyttäjälle, mitä he voivat odottaa.

Nimittäjä on se työ, johon tulos suhteutetaan. Läpäisyn kohdalla se on suoritettu työ ja aika, jonka kuluessa suoritus lasketaan. Viiveen kohdalla se on pyynnön määritelmä, mukaan luettu polku ja havaintojen joukko. Tarkkuuden kohdalla se on merkitty aineisto, merkintäsääntö ja arvioitava yksikkö. Energian kohdalla se on mittausjärjestelmän raja ja sen sisällä tuotettu työ. Kustannuksen kohdalla se on kustannusjakso, mukaan luetut resurssit ja hyödyllisen työn määrä. Vertailutulos on rehellinen, kun sen osoittaja ja nimittäjä kulkevat yhdessä.

Siksi vertailutulosta on parasta käsitellä sopimuksena. Sopimus nimeää kysymyksen, työkuorman, laajuuden, laitteiston ja ohjelmiston, mittarin, lähtötilanteen, epävarmuuden ja menetelmän, jolla toinen osapuoli voi tarkistaa tuloksen. Sopimus voi olla kapea. Se voi olla tutkiva. Se voi olla hyödyllinen vain yhtä käyttöönottoa varten. Se ei voi olla vaikuttava luku, jonka ehdot jätetään lukijan arvattaviksi. Arvaaminen on huono tapa kohdentaa julkisia varoja ja vielä huonompi tapa suunnitella palvelu, jonka jonkun muun on pidettävä toiminnassa.

Eurooppalaista tapaa kirjata määritelmiä pilkataan toisinaan byrokratiana. Mittaustyössä määritelmät ovat se osa, joka estää byrokratiaa muuttumasta perimätiedoksi. Vertailutaulukko ei ole tuloksen hallinnollinen liite. Se on tuloksen henkilökortti.

Lue yksikkö ennen otsikkoa

Aloita yksiköstä, mutta älä pysähdy siihen. Pyynnöt sekunnissa, tunnukset sekunnissa, millisekunnit, joulet kyselyä kohti, eurot tuhatta tietuetta kohti ja prosenttiyksiköt kertovat kaikki jotakin. Mikään niistä ei kerro, mitä järjestelmältä pyydettiin tekemään. Tulos 100 pyyntöä sekunnissa voi kuvata pieniä välimuistista vastattuja pyyntöjä tai suuria välimuistittomia pyyntöjä, joihin sisältyy hakeminen, vahvistaminen ja ihmisen tekemä luovutus. 20 millisekunnin viive voi kattaa yhden ytimen tai kokonaisen päätöspolun. Yksikkö on ovi. Työkuorma on huone sen takana.

Oletetaan, että hankintakalvossa sanotaan uuden palvelun olevan 40 prosenttia nopeampi kuin nykyisen. Lause ei ole vielä näyttöä. Se tarvitsee vähintään ajoitetun toiminnon, syötteen koon ja jakautuman, kellosta pois jätetyn työn, samanaikaisuuden, lämmitystilan, ohjelmistoversiot, laitteiston ja lähtötilanneasetukset. Se tarvitsee myös laatuehdon. Jos nopeampi polku palauttaa vähemmän kelvollisia tuloksia, hylkää pitkät syötteet tai ohittaa kalliin vahvistusvaiheen, osoittajaa on pienennetty muuttamalla työtä.

Tämä ei ole pyyntö valtavasta taulukosta ennen kuin kukaan saa puhua. Se on pyyntö nimetä ne harvat kentät, jotka muuttavat väitteen merkityksen. Pieni jäsenninvertailu voi vaatia tietueen muodon, syötelähteen, vahvistuskäytännön, kääntäjän ja suorittimen. Päättelyvertailu voi vaatia mallin, tarkkuuden, erän, skenaarion, laatutavoitteen ja tehorajan. Julkisen sektorin jonotus voi vaatia tapauksen määritelmän, palvelukellon, reitityssäännön ja eskalaatiopolun. Kentät vaihtelevat. Velvollisuus nimetä ne ei vaihtele.

Tässä on hyödyllinen kurinalaisuus: kirjoita tulos lauseeksi, joka kestäisi toisen lukijan tarkastelun. ”Tällä kuormituksella ja tällä laatutasolla, tässä järjestelmässä ja versiossa, mitattu arvo oli tämä, tällä vaihtelulla.” Jos lausetta ei voi täydentää ilman sanoja kuten tyypillinen, paras, tuotantomainen tai edustava, menetelmä ei ole valmis. Nämä sanat voivat olla päteviä, mutta ne tarvitsevat operationaalisen määritelmän, eivät lämpimän sävyn.

Suorituskykykortti ei ole koriste numeron ympärillä. Se on pienin hyödyllinen muoto numeron sopimuksesta.

Laajuus on osa tulosta

Laajuus vastaa yksinkertaiseen kysymykseen: mitä tämä tulos kattaa ja mitä se jättää kehyksen ulkopuolelle? Koneoppimisen arvioinnissa laajuus sisältää tehtävän, tietoaineiston, jaon, kielen, syötteen pituuden, käyttöskenaarion ja sallitut toteutusvalinnat. Ohjelmistopalvelussa se sisältää reitin, tietovarastot, verkon, välimuistin ja työn, jonka alavirran tiimi tekee mitatun päätepisteen palattua. Yhdellä kerroksella mitattu tulos ei saisi huomaamatta muuttua lupaukseksi koko palvelusta.

MLCommons tekee tämän näkyväksi MLPerf Inference -dokumentaatiossaan. Toimitusohje erottaa datakeskus- ja reunajärjestelmätyypit, luettelee skenaarioita kuten offline, server, interactive, single-stream ja multi-stream, ja erottaa suljetun divisioonan avoimesta divisioonasta. Suljettu divisioona on tarkoitettu vertailukelpoiseen vertailuun samalla mallilla ja viiteasetuksella. Avoin divisioona sallii valintoja kuten uudelleenkoulutuksen tai mallin korvaamisen. Kumpikaan ei ole yleisesti oikea divisioona. Ne vastaavat eri kysymyksiin. Otsikko, joka sekoittaa ne, ei ole laaja näkökulma. Se on kategoriavirhe erinomaisella typografialla.

Sama dokumentaatio osoittaa, miksi suorituskykytestaus tarvitsee eksplisiittisen laatuosion. Listattu ResNet50-merkintä nimeää ImageNet-2012-validointijoukon, sen tietoaineiston ja kyselyotoslistan koot, viitetarkkuuden ja palvelimen latenssirajoitteen. Listatulle ResNet50-merkinnälle sivu antaa validointijoukon, jossa on 50 000 kuvaa, kyselyotoslistan, jossa on 1 024 kohdetta, viitetarkkuuden 76,46 prosenttia ja 15 ms palvelimen latenssirajoitteen. Nämä kentät eivät ole triviaaleja yksityiskohtia ihmisille, jotka nauttivat sääntöjen lukemisesta. Ne selittävät, mitä raportoidun nopeuden annettiin tarkoittaa. Vaihda tietoaineisto, skenaario tai laatutaso, niin vertailu on muuttunut, vaikka mallin nimi näyttäisi tutulta.

Eurooppalaisen ostajan tulisi suhtautua epäillen laajuuteen, joka on pääteltävissä tuotteen nimestä. ”AI-alusta”, ”kiihdytin” ja ”yritystaso” eivät määrittele työtä. Järjestelmä, joka on erinomainen rajatussa toiminnossa, voi olla juuri sitä, mitä palvelu tarvitsee. Järjestelmä, joka väittää kattavansa kaiken, on saattanut mitata lähes mitään, mikä muistuttaa palvelua. Kapea totuus on terveellisempää kuin universaali sumu.

Kattavuus muuttaa merkitystä

Kattavuus ei ole alaviite siitä, oliko testijoukko suuri. Se kuvaa, kenen tapaukset ja mitkä tilanteet pääsevät mittaukseen. Vertailuarvio voi kattaa monta esimerkkiä yhdestä kapeasta jakaumasta ja kertoa silti vähän reunoista, joilla on merkitystä käytössä. Toisaalta pieni, huolellisesti valittu joukko voi paljastaa tärkeän vikatilan tukematta yleistä suorituskykyväitettä. Valinta on suunnittelupäätös. Se on ilmaistava sellaisena.

OECD:n viitekehys tekoälyn arviointivälineiden kuvaamiseen on hyödyllinen, koska se kieltäytyy pelkistämästä arviointia yhteen pisteeseen. Se ehdottaa 18 ulottuvuutta, mukaan lukien kattavuus, tarkoitus, realistisuus, validius, luotettavuus, läpinäkyvyys ja olosuhteet, joissa tuloksia voidaan tulkita. Kattavuus kysyy, edustaako arviointi sitä, mitä sen on tarkoitus mitata. Tarkoitus erottaa tutkimukseen tarkoitetun vertailuarvon sellaisesta, joka on tarkoitettu vaatimustenmukaisuuteen tai muuhun käyttöön. Realistisuus kysyy, onko asetelma leikkitehtävä, simuloitu tai laboratorioasetelma vai tosielämä. Nämä erottelut eivät heikennä vertailuarvoa. Ne tekevät sen väitteestä luettavan.

Kattavuus sisältää myös tapaukset, jotka arviointi jättää pois. Palvelu voi raportoida keskimääräisen viiveen poistettuaan aikakatkaisut. Luokittelija voi raportoida tarkkuuden pudotettuaan epäselvät merkinnät. Hakujärjestelmä voi laskea vain kyselyt, joissa on vähintään yksi asiaankuuluva asiakirja. Kuvaputki voi ohittaa vioittuneet tiedostot. Jokainen poissulkeminen voi olla puolustettavissa. Tuloksessa on sanottava, mitä poistettiin ja miksi. Muuten nimittäjästä tulee huomaamatta luettelo tapauksista, jotka oli kätevää saada valmiiksi.

Tässä nimittäjästä tulee poliittinen, jo ennen kuin kukaan käyttää sanaa politiikka. Mukaan otettu väestö saa hyödyn siitä, että sitä mitataan. Pois jätetty väestö saa tarinan järjestelmästä, joka ei välttämättä kuvaa sitä. Eurooppalaiset julkiset laitokset tietävät tämän jo virallisista tilastoista. Eurostatin Euroopan tilastoalan käytännesäännöt asettavat 16 periaatetta ja 84 indikaattoria institutionaaliselle ympäristölle, prosesseille ja tuotoksille. Sen laadunvarmistuskehys tarjoaa menetelmiä ja työkaluja, kun taas laaturaportit kertovat käyttäjille, miten tiedot kerättiin ja validoitiin. Viesti tekoälylle ei ole, että jokaisesta mallista on tultava tilastovirasto. Se on, että julkisiin päätöksiin tarkoitettu luku tarvitsee näkyvän tuotanto- ja laatukertomuksen.

Tarkkuus ei ole yksi portti

Suorituskykyväitteet yhdistävät usein nopeuden yhteen laatuarvoon ja kohtelevat paria täydellisenä. Laatu on yleensä perhe kysymyksiä. Täyttääkö tulos tehtävän määritelmän? Säilyttääkö se vaaditut rajoitteet? Epäonnistuuko se turvallisesti, kun todisteita puuttuu? Käyttäytyykö se hyväksyttävästi koko asianomaisen väestön kohdalla? Pysyykö se laaturajan sisällä järjestelmän ollessa kuormitettu? Nopea vastaus, joka epäonnistuu tehtävässä, ei ole nopeampi ratkaisu. Se on eri työkuorma, joka käyttää samaa substantiivia.

MLPerfin rakenne on opettavainen, koska sen suorituskykyajot ovat tarkkuusvalidoinnin ja mallikohtaisten vaatimusten rinnalla. Lähetysopas kertoo osallistujille, että heidän on tunnistettava jako, järjestelmätyyppi ja skenaario, ajettava aiottu vertailuarvo, validoitava tarkkuus kynnysarvoja vastaan ja valmisteltava sitten tarkistettu lähetys. Vertailuarvosivu luettelee viitetarkkuuden ja viive- tai suorituskykyehdot tehtävää kohti. Erottelu on käytännöllistä. Se estää järjestelmää voittamasta suorituskykysaraketta häviämällä hiljaa tehtävän.

Tarkkuus itse tarvitsee nimittäjän. "98 prosenttia tarkka" voi tarkoittaa prosenttiosuutta tietueista, tunnuksista, kuvista, pyynnöistä tai päätöksistä. Se voi käyttää mikro- tai makrokeskiarvoa. Se voi laskea pidättäytymisen virheeksi, turvalliseksi kieltäytymiseksi tai mittaamattomaksi tulokseksi. Se voi verrata yhden tai useamman arvioijan luomiin merkintöihin. Vertailuarvokortin tulisi nimetä yksikkö, merkintäsääntö, aggregointi, luottamus tai vaihtelu sekä mahdollinen kynnysarvo, joka muuttaa mittauksen julkaisupäätökseksi.

Älä käytä laatulukua koristeellisena lupalappuna. Malli voi ylittää julkaistun kynnyksen ja silti olla sopimaton tiettyyn palveluun, koska tehtävä, kohderyhmä tai haittaprofiili eroaa. Vastaavasti matalampi kokonaispistemäärä voi olla hyväksyttävä luonnostelutyökalulle, joka pitää ihmisen kirjoittajana, kun taas sama pistemäärä on mahdoton hyväksyä automaattiselle portille. Laatu on suhde tuotoksen, tarkoituksen ja seurauksen välillä.

Aika ei ole yksi luku

Viive esitetään usein niin kuin järjestelmällä olisi yksi nopeus. Oikeilla järjestelmillä on jakauma. Ensimmäinen pyyntö voi maksaa käynnistyksen hinnan. Välimuisti voi muuttaa myöhempiä pyyntöjä. Samanaikaiset käyttäjät voivat kilpailla muistista tai tietokantayhteydestä. Pitkä syöte voi kulkea eri reittiä kuin lyhyt. Keskiarvo voi parantua samalla kun häntä huononee. Jos häntä on se kohta, jossa palvelu myöhästyy määräajastaan, keskiarvo on yksiköllinen häiriötekijä.

Hyödyllinen viiveraportti kertoo, mitä ajoitettiin ja miten havainnot tiivistettiin. Se voi sisältää mediaanin, ylemmät prosenttipisteet, aikakatkaisujen osuuden ja pyyntöjen määrän. Siinä tulisi ilmoittaa, suljettiinko lämmityspyynnöt pois, sisällytettiinkö uudelleenyritykset ja kuuluuko jonotus- tai verkkioaika mitattuun polkuun. Nämä valinnat eivät ole keskenään vaihdettavissa. Komponenttivertailu voi olla arvokasta, mutta sitä ei saa esittää päästä päähän -käyttäytymisenä.

Suorituskyvyllä on samanlainen ansa. Korkea tahti voidaan saavuttaa eräajamalla työtä, lisäämällä rinnakkaisuutta tai höllentämällä laatuvaatimusta. Se voi olla täsmälleen oikein offline-työlle. Se voi olla hyödytön vuorovaikutteiselle palvelulle, jonka on vastattava jokaiseen pyyntöön määräajassa. Vertailun tulisi kertoa skenaario ja toimintapiste ja sitten selittää, mitä tapahtuisi, kun kysyntä siirtyy pois siitä. Kapeassa toimintapisteessä ei ole häpeää. Häpeää on siinä, että teeskentelee sen olevan koko kartta.

Ajalla on myös inhimillinen puoli. Palvelu, joka palaa nopeasti mutta luo enemmän tarkistus-, korjaus- tai valitustyötä, voi olla hitaampi laitoksen näkökulmasta. Vertailu, joka pysäyttää kellon ennen luovutusta, voi saada mitatun järjestelmän näyttämään vauhdikkaalta, kun taas varsinainen palvelu kerää jonoa. Nimittäjän tulisi seurata työtä, kunnes esitettyyn kysymykseen on vastattu. Muuten sekuntikello mittaa saarta.

Laitteisto ja ohjelmisto ovat osa osoittajaa

”Palvelimella” ei ole toistettava ympäristö. Suorittimen sukupolvi, käskykanta, kiihdytin, muisti, tallennustila, lämpötila, tehokatto, käyttöjärjestelmä, ajuri, kääntäjä, ajonaikainen ympäristö, kirjasto ja kokoonpano voivat kaikki muuttaa tulosta. Niin voivat myös mallin formaatti, kvantisointiasetus, eräkoko, ytimen valinta tai säikeiden käytäntö. Vertailun ei tarvitse luetella jokaista kaapelia. Sen on tunnistettava osat, jotka voivat muuttaa mittausta.

MLPerf kutsuu täydellistä mitattua kokoonpanoa testattavaksi järjestelmäksi ja järjestää tulokset järjestelmätyypin ja saatavuusluokan mukaan. Tämä sanasto on hyödyllistä myös MLPerfin ulkopuolella. Testattavalla järjestelmällä on raja. Raja kertoo, mitkä laitteistot ja ohjelmistot sisältyvät, mitkä palvelut ovat ulkoisia ja mikä työ jätetään pois. Seinästä mitatulla teholla on eri merkitys kuin luvulla, joka laskee vain kiihdyttimen. Ytimen sisällä mitatulla viiveellä on eri merkitys kuin sellaisella, joka sisältää pyyntöjen ajoituksen.

Versiot ovat tärkeitä, koska vertailu on vertailu tilojen välillä, ei tuotenimen ajaton ominaisuus. Kirjaa malli- tai sovellusversio, riippuvuuksien versiot, kääntäjän liput, ajuri ja laiteohjelmisto, jos ne vaikuttavat tulokseen. Kirjaa kokoonpano, joka valitsi taustajärjestelmän tai tarkkuuden. Jos ajonaikainen ympäristö valitsee eri ytimen toisella koneella, se on osa tulosta, ei toteutusyksityiskohta, joka siivotaan pois myöhemmin.

Laitteiston avoimuus ei ole kutsu muuttaa blogikirjoitusta osaluetteloksi. Se on tapa estää virheellinen rinnastus. Ostajan ei tarvitse välittää jokaisesta yksityiskohdasta, jos väite koskee kokonaista palvelua. Heidän on kuitenkin tiedettävä, sisältääkö vertailu saman työn, saman tarkkuuden, saman syöttöpolun ja järjestelmän, joka on todella hankittavissa ja käytettävissä tarkoitetussa eurooppalaisessa ympäristössä.

Lähtökohdat ovat lupauksia

Lähtökohta on vertailu, joka antaa tulokselle suunnan. Ilman sitä luku voi kuvata järjestelmää, mutta ei parannusta. Lähtökohdan on vastattava samaan kysymykseen vertailukelpoisissa olosuhteissa. Jos uusi polku käyttää uudempaa kääntäjää, erilaista syöttöjakaumaa tai erilaista laatutavoitetta, tulos voi silti olla kiinnostava, mutta vertailu ei ole enää puhdas. Kerro, mikä muuttui. Lukija voi sitten päättää, onko ero hyödyllinen.

Lähtökohdan valinta on tulkintaa. Vertaa käyttäjien todella käyttämään nykyiseen järjestelmään, referenssitoteutukseen, aiempaan julkaisuun tai teoreettiseen rajaan, niin opit eri asioita. Uusi järjestelmä voi olla parempi kuin referenssi ja huonompi kuin palvelu, jonka se korvaa. Se voi olla nopeampi puhtaassa testissä ja hitaampi, kun validointi ja tallennus otetaan mukaan. Suorituskykytestin tulisi nimetä lähtökohta ja selittää, miksi se vastaa operatiiviseen kysymykseen.

Parilliset ajot ovat usein informatiivisempia kuin yksittäinen voitonjuhla. Pidä työmäärä ja arviointimääritelmä kiinteinä, muuta yhtä olennaista tekijää ja kirjaa ero. Jos useat tekijät muuttuvat samanaikaisesti, kuvaa vertailu kokonaisuutena sen sijaan, että liität koko vaikutuksen yhteen osaan. Tämä kuulostaa itsestäänselvyydeltä, kunnes päivitys, datan päivitys ja uusi välimuistikäytäntö saapuvat samassa julkaisussa. Kaaviossa on silloin yksi nuoli ja kolme mahdollista syytä, mikä on pieni mysteeri, johon kukaan ei varautunut.

Lähtökohdalla on myös säilyvyysaika. Datasyöte, toimittaja, malli, käytäntö tai laitteistoalusta voi muuttua. Vertailu pysyy voimassa testatuille versioille ja ajanjaksolle. Sitä ei tulisi käyttää uudelleen ajantasaisena takeena tarkistamatta sopimusta. Tässä versiohistoria osoittaa arvonsa. Ohitettu tulos ei ole epäonnistuminen. Se on historiallinen väite, jonka ehdot tulisi pitää näkyvillä.

Epävarmuus ei ole anteeksipyyntö

Jokainen mittaus sisältää vaihtelua. Osa vaihtelusta tulee järjestelmästä, osa työmäärästä ja osa mittausprosessista. Toistetut ajot voivat paljastaa sen, mutta toisto yksinään ei selitä syytä. Lämmin välimuisti voi olla vakaa. Meluisa naapuri ei välttämättä ole. Pieni arviointijoukko voi tuottaa laajan kirjon uskottavia tuloksia. Suurempi joukko voi vähentää otantakohinaa jättäen samalla vinoutuneen populaation ennalleen. Epävarmuus kertoo lukijalle, kuinka pitkälle tulosta voi turvallisesti soveltaa.

Raportoi epävarmuus väitteeseen sopivassa muodossa. Se voi olla vaihteluväli toistettujen ajojen välillä, luottamusväli, keskivirhe, latenssijakauma, herkkyysanalyysi tai luettelo tunnetuista rajoituksista. Älä lisää luottamusväliä vain siksi, että taulukko näyttää yksinäiseltä. Kerro, mikä toistettiin, mikä pidettiin kiinteänä ja mitä väli edustaa ja mitä se ei edusta. Tilastollinen kieli ei ole loitsu. Se on sopimus vaihtelusta.

On olemassa toisenlainen epävarmuus, jota luvut eivät poista: epävarmuus siitä, edustaako mittaus tarkoitettua palvelua. Tuloksessa voi olla pieni ajokohtainen vaihtelu ja huono kattavuus todellisessa käytössä. Suorituskykytesti voi olla täysin toistettava laboratoriossa, mutta siitä voi puuttua käyttöönoton kielet, syöttömuodot, vuororytmit tai epäonnistumisen seuraukset. Pieni mittauskohina ei luo validiteettia. Se vain tekee väärästä kysymyksestä johdonmukaisemmin vastatun.

Epävarmuus kuuluu siis väitteen viereen, ei alareunan vastuuvapauslausekkeeseen. Jos kynnysarvo on lähellä mitattua rajaa, sillä on merkitystä. Jos tulos muuttuu olennaisesti erilaisella syöteyhdistelmällä, sillä on merkitystä. Jos energiareunus ei kata jäähdytystä tai tiedonsiirtoa, sillä on merkitystä. Rehellinen lause ei ehkä ole yhtä juhlava, mutta se antaa päätöksentekijälle jotain parempaa kuin optimismia: paikan varovaisuudelle.

Toistettavuus on ketju, ei latauspainike

Toistettavuus typistetään usein koodin julkaisemiseen. Koodilla on merkitystä. Se on vain yksi lenkki ketjussa. Toinen osapuoli tarvitsee myös työmäärän tai sen lainmukaisen kuvauksen, dataversion, konfiguraation, ympäristön, komennon tai testivaljaat, satunnaistilan käytännön, odotetun tulosteen säännön, tulostiedoston ja menetelmän, jolla päätetään, vastaako suoritus tulosta. Jos yksi lenkki puuttuu, toinen osapuoli voi toistaa samankaltaisen kokeen eikä raportoitua koetta.

Ketjun tulisi erottaa tarkka uudelleentoisto riippumattomasta replikoinnista. Tarkka uudelleentoisto käyttää tallennettua artefaktia, tilaa, syötteitä, konfiguraatiota ja suorituspolkua selvittääkseen, voidaanko sama suoritus rekonstruoida. Riippumaton replikointi käyttää erikseen valmisteltua ympäristöä testatakseen, säilyykö tulos alkuperäisen koneen tai tiimin ulkopuolella. Molemmat ovat arvokkaita. Ne vastaavat eri kysymyksiin. Tavutarkka tulos tallennetulla syötteellä todistaa vahvan identiteettiväitteen kyseisestä suorituksesta. Se ei todista, että todellinen maailma pysyy muuttumattomana.

OECD:n arviointikehys tekee tästä erosta helpommin nähtävän käsittelemällä tarkoitusta, realistisuutta, kattavuutta ja luotettavuutta erillisinä ulottuvuuksina. Arviointi voi olla erinomainen regressiotestaukseen ja heikko elävän palvelun suorituskyvyn arviointiin. Se voi olla hyödyllinen tutkimukselle ja sopimaton vaatimustenmukaisuudelle. Toistettavuus ei poista tarkoitusta. Se auttaa lukijaa varmistamaan väitteen, jota menetelmä todella tukee.

Jos dataa ei voi julkaista, julkaise rajaus ja reitti. Kuvaile populaatio, otantaprosessi, merkintämenetelmä, poissulkusäännöt ja validointitarkistukset. Tarjoa turvallinen toistopaketti, kun se on mahdollista, ja selitä, mikä jää suojatuksi. "Data on luottamuksellista" on hyväksyttävä rajaus, ei valmis menetelmä. Lukijan tulisi silti pystyä ymmärtämään, mitä mitattiin ja miksi tulosta pitäisi tai ei pitäisi yleistää.

Toistettavuus ei ole painike, jossa lukee aja uudelleen. Se on identiteettien ketju, jonka avulla toinen tiimi voi haastaa väitteen.

Julkisten toimijoiden tulisi kieltäytyä demoteatterista

Julkisten toimielinten ei tarvitse hylätä vertailuarvoja. Niiden on kieltäydyttävä vertailuarvoista, jotka eivät pysty ilmaisemaan sopimustaan. Viimeistelty demonstraatio voi auttaa toimikuntaa ymmärtämään mahdollisuuden. Se ei voi korvata näyttöä palvelusta, jota toimielimen on ylläpidettävä, ihmisistä, joita se palvelee, ja vioista, jotka sen on korjattava. Erolla on merkitystä, koska demo on optimoitu lyhyttä kohtaamista varten, kun taas julkista palvelua arvioidaan vuodenaikojen, henkilöstövaihdosten, valitusten, ylläpidon ja lain puitteissa.

Ennen ostoa pyydä toimittajaa määrittelemään työmäärä palvelun kielellä. Mitä järjestelmään syötetään? Mitä mitataan? Mikä jätetään pois? Minkä laatussäännön on pädettävä? Mikä ihmisen rooli tarkistaa tuloksen? Miten poikkeama havaitaan? Miten toimielin voi viedä näyttönsä ulos? Mitä tapahtuu, kun malli, lähde, toimittaja tai käytäntö muuttuu? Mitä versiota vasten vertailu tehdään? Mikä on palautuspolku? Toimittaja voi vastata joihinkin kysymyksiin sopimuksella, joihinkin testillä ja joihinkin rehellisellä rajauksella. Tällainen yhdistelmä on terveempi kuin vastaus, joka koostuu pelkistä adjektiiveista.

EU:n tekoälyasetus ilmaisee asian juridisella kielellä korkean riskin järjestelmien osalta. 15 artikla edellyttää asianmukaista tarkkuutta, vankkuutta ja kyberturvallisuutta sekä johdonmukaista suorituskykyä näiltä osin koko elinkaaren ajan. Vertailuarvo ei yksinään voi täyttää koko oikeudellista velvoitetta. Se voi tukea osaa näytöstä, jos sen laajuus, laatuvaatimukset ja elinkaaren vaihe ovat selkeitä. Yhden pistemäärän kohteleminen vaatimustenmukaisuutena olisi jälleen nimittäjävirhe. Laki nimeää lopputuloksen; tekniikan on osoitettava polku.

Hankinnassa tulisi myös kysyä, kuka omistaa vertailuarvon palkinnon jälkeen. Toimittajan valmistelema testiajo voi olla hyödyllinen, mutta toimielin tarvitsee riittävästi tietoa järjestelmän valvomiseksi omassa ympäristössään. Se tarvitsee lähtötason, joka voidaan ajaa uudelleen version muuttuessa, tarkistuspolun tulosten muuttuessa ja kirjauksen hyväksyttävää suorituskykyä koskevista päätöksistä. Muuten ensimmäinen vertailuarvo on pääsykoke ja tuotantojärjestelmän annetaan valmistua ilman lisäkysymyksiä.

Tee vertailuarvokortista riittävän pieni käytettäväksi

Pitkät menetelmät voivat olla tarpeellisia. Ne eivät aina ole ensimmäinen asia, jonka lukija tarvitsee. Vertailuarvokortti on tiivis hakemisto sopimukseen. Se voi sijaita raportissa tuloksen vieressä, arviointirekisterissä tai hankinta-asiakirjassa. Kortissa tulee nimetä kysymys, työmäärä, laajuus, järjestelmä, mittari, laatuvaatimus, lähtötaso, epävarmuus, toistopolku, omistaja sekä vanhentumis- tai muutoslaukaisin. Yksityiskohtainen menetelmä voi olla sen takana. Kortti estää väitteen kulkemasta yksin.

Hyvät kortit ovat valikoivia eivätkä täyteen ahdettuja. Ne tuovat esiin kentät, jotka voivat muuttaa tulkintaa, ja linkittävät sitten näyttöpakettiin. Viivekortti voi tuoda etualalle syötteen koon, samanaikaisuuden, persentiilin, lämmityksen, version ja aikakatkaisusäännön. Energiakortti voi tuoda etualalle järjestelmän rajat, työmäärän, mittauslaitteen, keston ja pois jätetyn infrastruktuurin. Tarkkuuskortti voi tuoda etualalle populaation, merkintäsäännön, aggregoinnin, pidättäytymisen käsittelyn ja virheen vakavuuden. Yhteinen muoto ei ole kiinteä malli. Se on lupaus siitä, että lukija voi löytää nimittäjän.

Kortin tulee merkitä episteminen tila. Onko arvo mitattu, arvioitu, odotettu, ehdotettu vai havainnollistava? Onko lähtötaso ajantasainen? Onko arviointipaketti valmisteltu mutta ei vielä ajettu? Ovatko tulokset suojattuja, koska testimateriaali sisältää henkilötietoja? Nämä merkinnät estävät menetelmän sekoittamisen tulokseen. Ne myös antavat organisaatiolle mahdollisuuden julkaista edistymistä ilman menestyksen väärentämistä. Valmisteltu testi on hyödyllistä tietoa. Se ei ole näyttöä siitä, että järjestelmä läpäisi sen.

Lopuksi kortille annetaan omistaja ja muutossääntö. Tulos ilman omistajaa vajoaa diaksi. Tulos ilman muutossääntöä jää seinälle, kun työkuorma on jo siirtynyt. Omistajan ei tarvitse puolustaa lukua ikuisesti. Hänen on kuitenkin sanottava, milloin väite pitää ajaa uudelleen, peruuttaa tai rajata. Mittaamisesta tulee osa toimintaa, kun jollakulla on valta pitää se rehellisenä.

Kaksi rehellistä tapaa julkaista tulos

Julkaisutapoja on kaksi yleistä. Ensimmäinen on tiukka vertailu. Se kiinnittää tehtävän, datan, laatusäännön, järjestelmän rajan ja lähtökohdan, jotta lukija voi vertailla vaihtoehtoja. Toinen on tutkiva mittaus. Siinä kysytään, mitä tapahtuu, kun suunnittelu, työkuorma tai ympäristö muuttuu, ja raportoidaan havainnot rajoituksineen. Tutkiva työ voi olla arvokasta ennen kuin tiukka vertailuarvo on olemassa. Sen ei pitäisi lainata vaatimustenmukaisuustuloksen kieltä.

Tiukat vertailut ovat vaativia, koska ne tekevät erot näkyviksi. Jos tiimi vaihtaa mallin ja laitteiston yhtä aikaa, tuloksen kohdistaminen voi olla mahdotonta. Jos uusi työkuorma on realistisempi mutta ei enää vastaa lähtökohtaa, väite pitää muotoilla uudelleen uudeksi mittaukseksi. Jos optimointi parantaa nopeutta mutta muuttaa tuotoksen laatua, raportoi molemmat puolet. Kurinalaisuuden tarkoitus ei ole estää edistystä. Sen tarkoitus on estää edistystarinan pyyhkimästä pois sitä ehtoa, joka teki sen mahdolliseksi.

Tutkivat mittaukset tarvitsevat oman rehellisyytensä. Sano, että otos on pieni, että ympäristö on väliaikainen, että työkuorma on synteettinen, että tulosta ei ole toistettu itsenäisesti tai että laaduntarkistus on keskeneräinen. Nämä eivät ole heikkouksia, jotka pitää piilottaa hiotun julkaisun taakse. Ne ovat tietoa, joka auttaa lukijaa päättämään, mitä tehdä seuraavaksi. Eurooppalaisen insinöörikulttuurin ei tarvitse teeskennellä, että jokainen testi on lopullinen tuomio. Sen pitää lopettaa kysymyksen kutsuminen vastatuksi ennen kuin testi on luettu.

Molemmat tavat hyötyvät tulosarkistosta. Pidä vanhat määritelmät, kokoonpanot ja tulokset tunnistettavina. Kirjaa korvaavuus sen sijaan, että poistat menneisyyden. Muuttunut vertailuarvo voi olla oikea vertailuarvo muuttuneelle palvelulle, mutta sillä ei voi kirjoittaa uusiksi vanhan tuloksen merkitystä. Versiohistoria on nimittäjän muisti.

Meidän pieni muistiinpano

Dwevellä kuvaamme Corea suoritusyksiköllä ja determinismisopimuksella. Tuon sanaston hyödyllinen osa ei ole tuotteen nimi. Se on vaatimus siitä, että operaatio kantaa numeerisen esityksensä, taustajärjestelmänsä, käskykantansa, lähetyskäytäntönsä ja toistotilansa osana arvioitavaa polkua. Se on sama tapa, jota vertailuarvo tarvitsee: pidä ehdot kiinni tuloksessa sen sijaan, että kuvailet suorituskykyä ikään kuin se leijuisi järjestelmän yläpuolella.

Tämä on pieni suunnittelumuistiinpano, ei väite ulkoisesta käyttöönotosta tai mitatusta tuloksesta. Laajempi opetus ei riipu Dwevestä. Olipa järjestelmä julkinen tilastopalvelu, teollisuusohjain, kielityökalu tai tutkimusprototyyppi, luku ansaitsee luottamuksen nimeämällä työnsä ja rajansa. Oma dokumentaatiomme on vain yksi paikka, jossa yritämme tehdä tuon rajan näkyväksi.

Nimittäjä on se osa, joka kulkee mukana

Vertailuarvon otsikko on helppo kopioida. Nimittäjä on vaikeampi kantaa, minkä vuoksi se usein jätetään jälkeen. Ostaja kopioi suorituskykyluvun liiketoimintaperusteluun. Sääntelijä näkee tarkkuuspisteen asiakirjassa. Insinööri vertaa kahta kaaviota eri työkuormista. Toimittaja toistaa prosenttiluvun ilman perusjoukkoa. Jokainen lukija vastaanottaa luvun, joka on menettänyt sopimuksen, joka teki siitä merkityksellisen.

Korjaus ei ole monimutkainen, vaikka se vaatii kurinalaisuutta. Nimeä kysymys. Määrittele työ. Ilmoita laajuus ja rajaukset. Tunnista järjestelmä ja versiot. Valitse mittari, joka vastaa palvelua. Pidä yllä lähtötasoa. Mittaa vaihtelu. Julkaise menetelmä ja näyttö. Merkitse, mikä jää tuntemattomaksi. Anna väitteelle omistaja ja syy sen ajamiseen uudelleen. Jos tulos ei tue laajaa väitettä, tee väitteestä kapeampi.

Näin Eurooppa voi vastustaa demoteatteria joutumatta allergiseksi kunnianhimolle. Julkinen laitos voi hankkia uutta osaamista ja silti vaatia mittapuuta, joka kunnioittaa palvelua. Tutkimusryhmä voi julkaista jännittävän tuloksen ja silti ilmoittaa työmäärän, joka sen tuotti. Toimittaja voi esitellä nopean polun ja silti kertoa, missä polku päättyy. Rehellinen rajaus ei ole innovaation jarru. Se on tienpinta, jota pitkin kuka tahansa muu voi ajaa.

Vertailumittaus on sopimus, johon kuuluu nimittäjä, koska nimittäjä kertoo, mitä todella tehtiin. Pidä se luvun vieressä. Tuloksesta tulee vähemmän taianomainen, vertailukelpoisempi ja paljon hyödyllisempi. Se on reilu vaihtokauppa. Järjestelmät, joihin ihmisten on voitava luottaa, ansaitsevat lukuja, jotka kestävät hitaan lukemisen.

Kun mittari siirtyy maailmasta toiseen

Vertailumittauksen luvut lähtevät usein mittaustiimiltä ja päätyvät toiseen päätöksentekojärjestelmään. Tutkija julkaisee taulukon. Tuotetiimi muuttaa yhden rivin tavoitteeksi. Hankinta muuttaa tavoitteen sopimukseksi. Operaatiot muuttaa sopimuksen palvelutasoodotukseksi. Jokainen siirto muuttaa sitä, mitä luvulta pyydetään. Alkuperäinen nimittäjä voi yhä olla paperissa tai arkistossa, mutta se on sosiaalisesti etääntynyt päätöksestä. Mittari tarvitsee käännöshuomautuksen aina, kun se ylittää tämän rajan.

Käännöshuomautus voi olla yksinkertainen. Tämä tulos koskee komponenttien läpäisykykyä, ei valmiita tapauksia. Tämä tarkkuusluku käyttää kiinteää merkintäjoukkoa, ei reaaliaikaisia tuloksia. Tämä energialuku ei sisällä datakeskuksen jäähdytyksen rajaa. Tämä lähtötaso on vertailutoteutus, ei nykyinen palvelu. Nämä lauseet estävät hyödyllistä mittausta muuttumasta harhaanjohtavaksi lupaukseksi. Ne myös helpottavat erimielisyyttä. Lukija voi haastaa rajauksen sen sijaan, että väittelisi siitä, tuntuuko luku vaikuttavalta.

Eri tiimit voivat tietoisesti valita eri nimittäjiä. Alustatiimi voi välittää työstä joulea kohden. Palvelun omistaja voi välittää valmiista päätöksistä henkilötyötuntia kohden. Julkinen viranomainen voi välittää oikeista, selitettävistä tuloksista määritellylle väestölle ja vasteajasta. Nämä eivät ole kilpailevia totuuksia, jos jokainen niistä nimetään. Ongelmat alkavat, kun helpoin nimittäjä saa edustaa tehtävää. Nopein ydin ei automaattisesti tee parasta palvelua, aivan kuten suurin testijoukko ei automaattisesti tee osuvinta.

Ennen kuin vertailumittausta käytetään uudelleen, kysy, mikä on muuttunut: työmäärä, omistaja, seuraus vai aikahorisontti. Jos jokin niistä on muuttunut, tulkitse uudelleen, vaikka taustalla oleva luku olisi ennallaan. Mittaaminen ei ole reliikki, jota kannetaan huoneesta toiseen. Se on suhde, joka on uudistettava, kun huone vaihtuu.

Tuloksen pitäisi tietää, milloin se vanhenee

Tuloksilla on käyttöikä. Malliversioon, lähdeaineiston tilannekuvaan tai laitteistokokoonpanoon sidottu vertailumittaus muuttuu historialliseksi, kun nämä olosuhteet muuttuvat. Se ei tee vanhasta tuloksesta väärää. Se muuttaa kysymystä, johon tulos voi vastata. Raportin pitäisi kertoa, mikä tapahtuma tekee väitteestä vanhentuneen: uusi malli, muuttunut kääntäjä, uusi datajakauma, tarkistettu merkintäsääntö, laitteiston vaihto, politiikkamuutos tai havaittu ajautumissignaali. Vanhentumissääntö on pieni pala institutionaalista muistia.

Ilman vanhentumissääntöä numerot kasaantuvat kuin takit tuolille. Jokainen on teknisesti yhä paikallaan, eikä kukaan tiedä, mikä niistä kuuluu tähän päivään. Tulosten rekisteri voi säilyttää koko historian ja merkitä samalla nykyisen vertailun, korvatun määritelmän ja syyn uudelleenajolle. Uudelleenajo on tällöin tavallista ylläpitoa eikä kriisireagointia. Tämä on erityisen tärkeää julkisille palveluille, joissa tulos voi elää pidempään kuin sen tuottanut tiimi.

Vanhentuminen suojaa myös rehellistä edistymistä. Jos uusi työmäärä paljastaa, että aiempi vertailuarvo oli liian kapea, organisaatio voi julkaista muutoksen, säilyttää vanhan menetelmän ja selittää uuden rajauksen. Sen ei tarvitse puolustaa vanhentunutta lukua eikä teeskennellä, ettei vanhaa lukua olisi koskaan ollut. Vertailuarvo, jota voidaan kaventaa, korvata ja ymmärtää, on hyödyllisempi kuin sellainen, jonka on pysyttävä vaikuttavana ikuisesti.

Lähteet