Hvad tæller som bevis, når maskinen er probabilistisk?
Sandsynlighed er ikke en dom
Når en maskine returnerer 0,87, er det første spørgsmål som regel for lille. Folk spørger, om 0,87 er højt. Højt sammenlignet med hvad, for hvilket udfald, over hvilke tilfælde og til hvilken beslutning? Et tal trykt ved siden af et output ligner en egenskab ved det output. Ofte er det ikke tilfældet. Det er et forsøg på at beskrive en relation mellem en model, en afgrænset population af tilfælde og et udfald observeret over tid. Den relation kan være nyttig. Den kan styre en gennemgangskø, sætte en tærskel eller fortælle en operatør, hvornår et resultat fortjener et ekstra kig. Men den gør ikke en individuel forudsigelse til en kendsgerning med et decimaltal vedhæftet.
Dette er det akavede punkt i centrum af probabilistiske systemer. Deres outputs er ofte mere informative end et bart mærkat, fordi de kan udtrykke grader af støtte eller usikkerhed. De er også nemmere at overtolke. En score kan behandles som en vidneudsagn, en juridisk konklusion, en diagnose eller en tilladelse. Den er ingen af delene som udgangspunkt. Bevis begynder, når organisationen kan sige, hvad tallet repræsenterer, hvordan det blev kontrolleret, hvor den kontrol gælder, og hvilken handling tallet har lov til at ændre.
Den skelnen betyder noget længe før et system møder en tilsynsmyndighed. Et team kan være ved at beslutte, om et foreslået dokument har brug for en menneskelig kontrol. En køber kan sammenligne to leverandører, der begge reklamerer med tillidsmål. En operatør kan sætte en eskaleringsregel. Et offentligt organ kan spørge, om en rangeret liste er god nok til at påvirke, hvor opmærksomheden går hen først. I hvert tilfælde er en vellykket kørsel bevis på én ting: at den ene kørsel producerede et output. Det er endnu ikke bevis på, at systemet fortjener den autoritet, der er knyttet til det.
Den fornuftige reaktion er ikke at forbyde sandsynligheder i konsekvensfuldt arbejde. Det er at give dem en ordentlig jobbeskrivelse. En sandsynlighed kan understøtte en beslutning, når den er knyttet til en defineret hændelse, en relevant population, en observationsmetode, en usikkerhedsgrænse og en regel for, hvad der sker, når beviset er svagt. Dette er langsommere end at beundre et enkelt tal og meget hurtigere end senere at opdage, at ingen kan forklare, hvad tallet skulle gøre.
Beviset skal navngive sit spørgsmål
Beviser er aldrig blot til stede. De er beviser for en påstand. Et testresultat kan understøtte påstanden om, at en komponent producerer et bestemt output for et bestemt input under en bestemt konfiguration. Det kan understøtte påstanden om, at en model rangerer eksempler godt på et holdout-datasæt. Det kan understøtte påstanden om, at et sandsynlighedsestimat svarer rimeligt tæt til observerede frekvenser i en defineret evalueringsmængde. Disse påstande er forskellige. Disciplinen begynder med at skrive påstanden ned, før man vælger metricen.
Overvej den tilsyneladende simple påstand, at et system er præcist. Præcist på hvad? En klassifikationsnøjagtighed kan beskrive, hvor ofte den højest scorende klasse matchede en label. Den siger ikke noget om, hvorvidt den angivne sandsynlighed var veltilpasset. En rangordningsmetrik kan beskrive orden, ikke kvaliteten af score-skalaen. En lav gennemsnitsfejl kan eksistere side om side med et skadeligt fejlmønster i en undergruppe eller ved en tærskel, der udløser handling. Metriken er ikke forkert. Springet fra metrik til operationel konklusion er, hvor problemerne som regel begynder.
OECDs arbejde med evalueringsinstrumenter er nyttigt netop, fordi det opgiver fantasien om, at én score kan bære hele forklaringen. Dets rammeværk adskiller facetter, herunder dækning, formål, realisme, pålidelighed, reproducerbarhed, objektivitet og partiskhed. Disse er ikke bureaukratiske ornamenter omkring en benchmark. De beskriver, om resultatet har den rette relation til det spørgsmål, der stilles. En forskningssammenligning, en overensstemmelsesvurdering og en operationel udgivelsesbeslutning kan alle bruge tests. De stiller ikke de samme krav til disse tests.
Start derfor med en sætning, der kan være uenighed om. For eksempel: dette system kan sende sager videre til menneskelig gennemgang, når dets dokumenterede sandsynlighedsestimat for et defineret udfald overstiger en specificeret tærskel, forudsat at inputtet matcher det validerede omfang, og at gennemgående bevarer autoriteten til at afvise forslaget. Det er en diskutabel operationel påstand. Den navngiver handlingen, betingelsen og grænsen. Den lader ikke som om, at en score uafhængigt har valgt sin rolle i verden.
Den modsatte sætning er velkendt, fordi den er bekvem: modellen er 87 procent sikker. Selv hvor en model faktisk udsender en sandsynlighed, udelader sætningen hændelsen, kalibreringsbeviset, populationen, perioden og beslutningen. Den forvandler en relation til et personlighedstræk. Maskiner behøver ikke beskrives som generte eller sikre. De skal beskrives som systemer, hvis output har definerede betydninger og definerede grænser.
Konfidens er ikke det samme som korrekthed
Et system kan være konfident og forkert. Det kan også være korrekt, mens det udtrykker lav konfidens. Disse to fakta er ikke overraskende, når begreberne holdes adskilt. Korrekthed spørger, om et udfald matchede den valgte reference for én sag. Konfidens er en erklæring knyttet til et output, ofte afledt af en modelscore eller en transformation af én. Kalibrering stiller et yderligere spørgsmål på tværs af mange sager: når systemet tildeler lignende sandsynligheder, opstår udfaldene så nogenlunde med den angivne rate? Disse er beslægtede spørgsmål, men ét godt svar leverer ikke de andre.
Forestil dig et sæt sager, hvor en klassifikator rapporterer en sandsynlighed på 0,80 for én defineret hændelse. Hvis hændelsen, over et tilstrækkeligt beskrevet og tilstrækkeligt stort sæt af sammenlignelige sager, opstår omkring otte gange ud af ti, kan estimatet kaldes veltilpasset for den population og tilstand. Det betyder ikke, at den næste 0,80-sag har en skæbne på firs procent. Det betyder, at scoren har vist en relation til observerede udfald på tværs af den angivne samling. Udtrykket på tværs af den angivne samling udfører det meste af det intellektuelle arbejde.
Kalibrering er heller ikke et universelt kvalitetsstempel. En score kan være velkalibreret på et historisk datasæt og dårligt kalibreret, når inputkilden, brugerpopulationen, arbejdsgangen, labelprocessen eller driftsbetingelserne ændrer sig. Den kan være velkalibreret overordnet set, men opføre sig anderledes i en del af populationen, der er vigtig for tjenesten. Den kan se god ud i en bred gruppe, mens den skjuler en markant forskel tæt på beslutningstærsklen. Et kalibreringsplot er ikke et diplom, der hænger over produktionssystemet. Det er en dateret observation med en afgrænset rækkevidde.
Litteraturen om modelkalibrering gør adskillelsen konkret. Guo og kolleger undersøgte konfidenskalibrering i moderne neurale netværk og viste, at nøjagtighed alene ikke afgør, om konfidensestimater afspejler observerede sandsynligheder for korrekthed. Deres arbejde evaluerer også post-processing-kalibreringsmetoder. Den vigtigste operationelle lære er snævrere end en opskrift: En modelscore bør ikke antages at have en passende sandsynlighedsbetydning, blot fordi den leveres i et bekvemt interval mellem nul og én.
En omhyggelig organisation registrerer derfor tre forskellige ting. Den registrerer opgavepræstation, så den kan vurdere, om output lever op til den definerede opgave. Den registrerer kalibrering eller en anden eksplicit usikkerhedsegenskab, så den kan vurdere, hvad scoren betyder i praksis. Og den registrerer konsekvensen af at handle ved en given tærskel, så den kan vurdere, om beslutningsreglen er passende. At kombinere de tre i en enkelt grøn indikator kan forenkle et dashboard. Det forenkler ikke verden.
Kalibrering har en nævner
Enhver påstand om kalibrering har en nævner. Nævneren er ikke blot antallet af poster i en fil. Det er samlingen af tilfælde, der var berettiget til at blive talt med, den måde, de blev grupperet på, definitionen af udfaldet, tidsperioden, eksklusionerne og den proces, der producerede referencelabels. Fjern disse betingelser, og et pålidelighedsdiagram bliver en behagelig kurve uden jurisdiktion over en beslutning.
Antag, at en evaluering grupperer forudsigelser efter angivet konfidens. Den observerede rate i hver gruppe afhænger af de tilfælde, der optages i gruppen, og af udfaldsdefinitionen. Blev tvetydige tilfælde ekskluderet? Blev afholdelser behandlet som fejl, sikre afvisninger eller noget andet? Repræsenterede labelen en umiddelbar hændelse, en senere gennemgang eller en endelig appel? Blev dubletter bevaret? Inkluderede evalueringen kun poster, der kom igennem et upstream-valideringstrin? Hvert svar kan være rimeligt. Hvert svar ændrer, hvad den resulterende kalibreringserklæring betyder.
Det er derfor, en model kan have et respektabelt globalt kalibreringsresultat og stadig være uegnet til en specifik anvendelse. Det globale resultat kan sammenlægge sprog, inputlængder, regioner, enhedstyper, kunderejser eller driftsformer, der ikke deler samme fejlstruktur. Et sammenlagt tal kan være en ærlig opsummering og stadig være utilstrækkelig dokumentation for en lokal beslutning. Den rigtige reaktion er ikke at kræve en separat model for hver person. Det er at teste de grupperingsantagelser, som selve beslutningen gør væsentlige.
OECD's evalueringsramme kalder dette dækning. Rammen spørger, om et evalueringsinstrument dækker en skæv eller repræsentativ fordeling af det, det skal måle, og den adskiller opgavepræstation fra et bredere kapabilitetskrav. Disse skel er nyttige for sandsynlighedsdokumentation. En score kan være dokumentation for præstation på en opgavefordeling. Den bør ikke stille og roligt blive til dokumentation for en kapabilitet, en berørt population eller en fremtidig kontekst, som evalueringen ikke dækkede.
Nævneren har også en social side. Når en organisation beslutter, hvilke sager der er nemme nok til at automatisere, og hvilke der må vente på et menneske, er det definitionerne, der afgør, hvem der bærer den resterende usikkerhed. En samlet score kan skjule, at en mindre gruppe har færre eksempler, mindre stabile labels eller en anden driftskontekst. Det er ikke en grund til at love lige statistikker, hvor evidensen er tynd. Det er en grund til at rapportere tynd evidens klart og til at lave en forsigtig beslutningsregel omkring den.
En vellykket kørsel er et eksemplar, ikke en konklusion
Probabilistiske systemer inviterer til en bestemt form for overmod, fordi de er så nemme at demonstrere. Indtast et input, få et imponerende output, gentag med et lignende input, få et nyt. Demonstrationen kan vise, at systemet kan udføre opgaven. Den kan endda vise noget, der er værd at undersøge. Den kan ikke vise fordelingen af resultater, stabiliteten af scoren, reaktionen på grænsetilfælde, kvaliteten af referencelabels eller effekten af en ændret driftsbetingelse. Et eksemplar kan begynde en undersøgelse. Det kan ikke afslutte en.
Det samme gælder for en enkelt benchmark-kørsel. Et resultat kan være indsamlet korrekt, på et velbeskrevet system, med en legitim metric. Hvis det kun blev kørt én gang, er det evidens for den værdi, der blev observeret én gang under de betingelser. Det er ikke automatisk evidens for en stabil egenskab ved systemet. Gentagelse hjælper med at afsløre variation. Det fjerner ikke behovet for at spørge, om testen repræsenterer den tilsigtede brug. Reproducerbarhed og validitet løser forskellige problemer, og begge fortjener en plads i registreringen.
OECD-rammen gør den adskillelse eksplicit. Reliabilitet handler om, hvorvidt en evaluering præsenterer tilstrækkelige gentagelser, episodeslængde eller instanser til at give lav variation, når den anvendes igen. Reproducerbarhed handler om, hvorvidt den samme test kan genereres igen, herunder om stokastiske komponenter ændrer interaktionerne. En test kan være præcist reproducerbar og stadig besvare et ubrugeligt spørgsmål. Den kan være realistisk og svær at reproducere præcist, fordi miljøet har ændret sig. Ingen af betingelserne er en fejl i sig selv. Registreringen skal sige, hvilken betingelse der gælder, og hvad den tillader en læser at slutte.
Der er en beskeden, men værdifuld operationel vane her: behold den vellykkede kørsel, men lad den ikke bære mere, end den kan. Bevar input, konfiguration, version, seed hvor relevant, afhængigheder, output og evalueringsbeslutning. Placer den derefter ved siden af gentagne målinger, modeksempler, afholdelser og ændrede betingelser. Et resultat, der forbliver nyttigt, efter at det har mødt sine akavede naboer, er mere værd end et resultat, der måtte beskyttes mod dem.
For generative systemer er et vellykket svar særligt svag evidens for gentagelighed, medmindre interaktionskontrakten er registreret. Sampling-indstillinger, prompts, hentet materiale, værktøjstilgængelighed, modelversion, sikkerhedspolitik og den omkringliggende arbejdsgang kan alle forme resultatet. At afspille en streng af ord uden den relevante tilstand kan gengive udseendet af en test, mens den betingelse, der gjorde den meningsfuld, mangler. I evidensarbejde er lighed ikke afspilning.
Gentagelighed er ikke et synonym for tillid
En deterministisk afspilning kan være fremragende evidens for én snæver påstand: givet de samme registrerede inputs, konfiguration og implementeringsbetingelser producerede systemet det samme resultat. Det gør undersøgelser, regressionstests og versionssammenligninger mere håndterbare. Det fastslår ikke, at resultatet var korrekt, at inputtet var passende, at systemet skulle have været brugt til beslutningen, eller at resultatet vil generalisere ud over sin registrerede grænse. Gentagelighed er en egenskab ved eksperimentet. Tillid er en vurdering af et bredere arrangement.
Stokastisk adfærd ændrer registreringen snarere end at undskylde dens fravær. Hvis et output varierer, skal evalueringen registrere, hvilke dele der varierer, hvor ofte, inden for hvilket interval, og hvordan denne variation påvirker beslutningen. Et system, der foreslår alternative formuleringer, kan tåle et bredere interval end et system, der rangerer sager til opmærksomhed. Et system, der rådgiver et menneske, kan kræve andre beviser end et system, der gør en irreversibel handling tilgængelig. Sandsynlighed er ikke i sig selv en operationel kategori. Konsekvensen afgør, hvor meget usikkerhed en proces sikkert kan bære.
Der er en let fejl at begå på begge sider. Et team kræver et fast output fra et værktøj, hvis erklærede formål inkluderer udforskning, og forveksler derefter den resulterende determinisme med kvalitet. Et andet team accepterer variabelt output fra et beslutningsstøttesystem og kalder derefter variationen kreativ, når den bliver vanskelig at evaluere. Ingen af positionerne er seriøse. Spørgsmålet er, om variationen er forventet, afgrænset, observerbar og forenelig med den autoritet, der er tildelt systemet.
Europæisk regulering reducerer ikke dette spørgsmål til én universel score. For AI-systemer med høj risiko kræver artikel 15 i AI-forordningen et passende niveau af nøjagtighed, robusthed og cybersikkerhed samt konsekvent ydeevne i disse henseender gennem hele livscyklussen. Den siger også, at nøjagtighedsniveauer og relevante nøjagtighedsmetrikker skal angives i brugsanvisningen, og den opmuntrer til benchmarks og målemetoder for de tekniske aspekter ved måling af ydeevne. Bestemmelsen siger ikke, at én gentaget test afgør sagen. Den kræver, at ydeevnen specificeres og opretholdes i kontekst.
Det er den fornuftige tilgang for enhver seriøs evaluering. En gentagelig test er et stykke af beviskæden. Den har brug for en ejer, en versionsgrænse, en ændringsudløser og en forbindelse til den operationelle beslutning, den understøtter. Uden disse kan reproducerbarhed blive endnu et attraktivt ord, der rejser længere end eksperimentet.
Usikkerhed har brug for en operationel rute
Det praktiske formål med usikkerhed er ikke at få et dashboard til at se sofistikeret ud. Det er at ændre, hvad systemet har lov til at gøre. Hvis en score ikke har nogen effekt på routing, gennemgang, forklaring, overvågning eller standsning, kan den være en teknisk kuriositet snarere end et operationelt signal. Hvis den ændrer en handling, skal organisationen angive ruten fra score til autoritet.
En tærskel er én sådan rute, men den er ikke en magisk linje. At fastsætte en tærskel vælger en afvejning mellem typer af fejl, arbejdsbyrde, forsinkelse og potentiel skade. En tærskel kan være passende til at prioritere en kø med lav konsekvens til gennemgang og upassende til at nægte en person adgang til en service. Den samme numeriske tærskel kan betyde forskellige ting, når basisraten, fejlomkostningen, tilgængelig klageadgang og kvaliteten af den efterfølgende gennemgang ændrer sig. Der er ingen universel fornuftig værdi, der venter i en leverandørmanual.
Derfor bør en beslutningsregel beskrive mere end en grænseværdi. Den bør angive det resultat, der estimeres, de beviser, der understøtter scoren, de tilfælde, der falder uden for anvendelsesområdet, de omstændigheder, der tvinger til afholdenhed, den menneskelige autoritet, der forbliver, den registrering, der vil blive ført, og betingelserne for at revidere reglen. En tærskel uden disse følgesvende er en beslutning forklædt som konfiguration.
Et nyttigt hypotetisk eksempel illustrerer pointen uden at opfinde en offentlig hændelse. Overvej en service, der bruger en modelscore til at sortere indkommende anmodninger til en uddannet gennemgåer. Beviserne kan understøtte en begrænset påstand: scoren kan hjælpe med at rækkefølge sammenlignelige anmodninger inden for en angivet indtagskategori, mens al endelig prioritering forbliver hos gennemgåeren. De samme beviser understøtter ikke automatisk afvisning af anmodninger med lav score, fordi det er en anden handling med andre konsekvenser og andre bevisbehov. Outputtet ændrede sig ikke. Dets autoritet gjorde.
Afholdelse fortjener samme alvor. Et system, der kan sige, at dets evidens er utilstrækkelig, kan skabe mere arbejde på kort sigt og reducere uobserverede fejl på lang sigt. Men afholdelse er kun nyttig, når den har et ansvarligt sted at gå hen. Hvis usikre sager forsvinder ind i en kø uden ejer, har systemet blot omdannet usikkerhed til forsinkelse. En god rute angiver, hvem der modtager sagen, hvad de kan se, hvordan de retter den, og hvordan den rettelse informerer senere evaluering.
Kausale påstande kræver mere end et før-og-efter-diagram
Sandsynlighedsestimater bruges ofte til at understøtte påstande om, hvad der vil ske, hvis en organisation handler. Det er en anden evidensopgave end at forudsige, hvad der skete i historiske data. En model kan estimere, at en sag ligner andre sager med et bestemt udfald. Dermed viser den ikke, at ændring af sagen, ændring af en politik eller opfølgning på en anbefaling vil få udfaldet til at ændre sig. Forudsigelse og intervention bør ikke blandes sammen, fordi diagrammet ser pænt ud.
Før-og-efter-figurer er særligt fristende. Et team introducerer et værktøj, et udfald ændrer sig, og værktøjet får æren eller skylden. Mange andre ting kan have ændret sig: populationen, der kommer ind i tjenesten, dokumentationen, bemandingen, politikken, sæsonmæssige forhold, opstrømsfiltre eller selve målingen. Observationen kan være værd at bemærke. Det er ikke en kausal konklusion, før sammenligningen, alternative forklaringer og den resterende usikkerhed er blevet adresseret.
Dette betyder noget for AI-styring, fordi et system kan være operationelt indflydelsesrigt længe før det er formelt afgørende. En rangering kan ændre, hvilken registrering en person åbner først. En konfidensindikator kan skubbe en gennemgående til at acceptere et output. En anbefalet handling kan blive rutine, fordi køen er travl. Den kausale vej omfatter menneskelig fortolkning, grænsefladedesign, incitamenter, tidspres og den tilgængelige korrektionsrute. At evaluere modellen alene kan ikke fortælle hele historien.
Når en kausal påstand betyder noget, bør evidensplanen sige, hvilken sammenligning der ville gøre påstanden mere troværdig, og hvad den stadig ikke kunne udelukke. Det kan involvere en kontrolleret test, en faset udrulning, en uafhængig gennemgang, et omhyggeligt konstrueret observationsdesign eller en beslutning om helt at afstå fra en kausal påstand. Pointen er ikke at kræve akademisk perfektion af enhver operationel ændring. Det er at matche påstandens sikkerhed med den evidens, der faktisk er tilgængelig.
Der er en hollandsk form for sund fornuft i dette, selvom den rejser godt: hvis du kun har målt, at vinden ændrede sig, så annoncer ikke, at du har redesignet vejret. En forudsigelse kan være værdifuld uden at blive en historie om kausalitet. Ærligheden er ikke en tilbagetrækning. Det er det, der gør resultatet brugbart for en, der skal beslutte, hvad der skal ske nu.
Nøjagtighed kan skjule en dårlig beslutningsregel
Nøjagtighed er ofte nyttig og ofte utilstrækkelig. Et system kan opnå høj nøjagtighed, hvor ét udfald er almindeligt, mens det tilbyder lidt hjælp på de sager, der betyder mest. Det kan have et stærkt gennemsnit, mens det præsterer dårligt nær handlingsgrænsen. Det kan lave korrekte forudsigelser uden at tilbyde sandsynlighedsestimater, der understøtter fornuftige tærskler. Det kan se succesfuldt ud, fordi referencemærket er let at forudsige, selvom mærket i sig selv er en svag proxy for den beslutning, tjenesten skal træffe.
Intet af dette betyder, at nøjagtighed er meningsløst. Det betyder, at læseren bør spørge, hvad den måler, og hvad den efterlader uden for rammen. AI-forordningen anerkender dette behov for kontekst i sine krav til brugsanvisninger: dokumentation for højrisikosystemer skal omfatte præstationsegenskaber og begrænsninger, det tilsigtede formål, relevante nøjagtighedsmålinger, der anvendes til at teste og validere systemet, samt kendte eller forudsigelige omstændigheder, der kan påvirke den forventede ydeevne. Et nøjagtighedstal bliver mere nyttigt, når de omkringliggende forhold forbliver knyttet til det.
En god operationel gennemgang spørger derfor til fejlmønstre, ikke kun totaler. Hvilke typer af sager blev fejlklassificeret? Hvilke var usikre? Hvilke sager blev udelukket eller sendt til gennemgang? Hvad sker der med en falsk positiv, en falsk negativ, et forsinket svar eller en ubegrundet afholdenhed? Hvem kan se resultatet, udfordre det og rette registret? Disse spørgsmål returnerer evalueringen til tjenesten frem for at lade den blive hos modellen.
Det kan også være nyttigt at skelne bevis for en komponent fra bevis for en arbejdsgang. En komponenttest kan fastslå egenskaber ved en model under definerede input. En evaluering af arbejdsgangen kan fastslå, hvordan model, grænseflade, data, mennesker og politik interagerer. En komponent kan have stærk scorekalibrering, mens arbejdsgangen producerer automatiseringsbias, fordi grænsefladen skjuler usikkerhed. En arbejdsgang kan have en fremragende gennemgangsproces, mens den er afhængig af en komponent, hvis kildedata ikke længere passer til det angivne anvendelsesområde. Testene skal mødes et sted.
Det resulterende bevis er ikke nødvendigvis en stor rapport. Det kan være en kortfattet, versionsstyret registrering, hvis beslutningen er snæver. Det vigtige er, at en anden person kan inspicere påstanden, populationen, metoden, resultatet, begrænsningen og beslutningen. Filens størrelse afgør ikke kvaliteten af ræsonnementet. En kort registrering kan være grundig. En stor præsentation kan for det meste være luft.
Forandring gør gårsdagens bevis til et spørgsmål
Ethvert evalueringsresultat har en dato, selv når datoen er skjult. Modeller ændrer sig. Prompter ændrer sig. Datakilder ændrer sig. En opstrømsformular får et felt. En leverandør ændrer en politik. Et team flytter en tjeneste til et andet miljø. En ny gruppe begynder at bruge systemet. En måling beregnes efter en ændret gennemgangsproces. Hver ændring kan ændre den påstand, som det tidligere bevis understøttede.
Den rigtige reaktion er ikke at køre alle tests igen efter hver redigering. Det er at definere, hvilke ændringer der er væsentlige for hvilke påstande. En farveændring påvirker måske ikke sandsynlighedskalibreringen. En ny inputkanal kan gøre det. En revideret mærkningspolitik kan ændre resultatdefinitionen. En ny modelversion kan ændre både ydeevnen og fortolkningen af dens scorer. En ændring i den autoritet, der gives til systemet, kan ugyldiggøre en beslutningsregel, selv hvis modellen forbliver byte-for-byte den samme. Testplanen bør gøre disse relationer synlige, før en udgivelse er belejlig.
Artikel 9 i AI-forordningen beskriver en løbende, iterativ risikostyringsproces for højrisikosystemer gennem deres livscyklus. Processen omfatter identifikation og analyse af kendte og rimeligt forudsigelige risici, vurdering og evaluering af risici, når systemet anvendes som tilsigtet og under rimeligt forudsigelig misbrug, samt vedtagelse af risikostyringsforanstaltninger. Pointen for evaluering er direkte: bevis er ikke en engangs-ceremoni ved lancering. Det tilhører et operativsystem af gennemgang, forandring og respons.
Overvågning betyder ikke at indsamle alle tilgængelige signaler og håbe på, at et mønster viser sig af sig selv. Det betyder at beslutte, hvilken observation der ville kunne genåbne et krav. En kalibreringskontrol kan planlægges efter periode, volumen eller ændret inputmix. En tærskel kan genovervejes, når køpres ændrer kvaliteten af menneskeligt tilsyn. En kildeændring kan suspendere en anvendelse, indtil den relevante test er gentaget. En seriøs overvågningsplan angiver, hvad der overvåges, af hvem, mod hvilken reference, og hvilken handling der følger.
Dette er mere krævende end et modelkort, der arkiveres på anskaffelsesdagen, men det er også mere nyttigt. Et statisk dokument kan bevare, hvad der blev hævdet. En levende evidensjournal kan vise, om kravet stadig har et hjem. For et probabilistisk system er forskellen forskellen mellem at vide, at scoren eksisterede, og at vide, om den stadig betyder det, tjenesten tror, den betyder.
Journaler giver en senere læser mulighed for at være uenig på ordentlig vis
Evidens har brug for hukommelse. En senere reviewer kan ikke vurdere et krav ud fra et skærmbillede af en score og en erindring om mødet. De har brug for det versionsstyrede objekt: spørgsmålet, inputbetingelserne, test- eller observationsmetoden, resultatet, udelukkelser, usikkerhed, beslutning og ejer. De kan også have brug for at vide, hvad der ikke blev fanget. En journal, der gør sine blinde vinkler synlige, er mere nyttig end en perfekt udseende journal, der overlader systemets tilstand til gætteri.
For højrisiko-AI-systemer kræver AI-forordningen automatisk registrering af hændelser i hele systemets levetid, med logningskapaciteter, der passer til det tilsigtede formål og er nyttige til at identificere risici, understøtte overvågning efter markedsføring og overvåge drift. Den kræver også, at teknisk dokumentation udarbejdes, før et system bringes i omsætning, og at den holdes ajour. Disse krav er ikke blot en invitation til at føre flere logs. De er en invitation til at gøre logs forståelige i relation til et system, et formål og en beslutning.
Sporbarhed er særlig vigtig, hvor sandsynlighed fortolkes af et menneske. Hvis en reviewer ser en score, bør evidensjournalen gøre det muligt at rekonstruere, hvad scoren var knyttet til, hvordan den blev præsenteret, hvilke data eller kilder der var i scope, hvad revieweren besluttede, og om der senere skete en korrektion. Uden den kæde kan et team lære, at et resultat var forkert, men ikke om problemet lå i inputtet, modellen, grænsefladen, beslutningsreglen eller den menneskelige proces omkring det.
Hos Dweve er AION et lille, relevant eksempel på det bredere princip, ikke en påstand om, at evidens kan reduceres til kryptografi. Dens offentlige beskrivelse siger, at en producent kan udstede et typet certifikat sammen med et resultat, og at AION uafhængigt kontrollerer certifikatet mod de oprindelige præmisser. Den slags kontrollerbar journal kan styrke en snæver påstand om, hvorvidt et resultat følger af registrerede præmisser. Den beviser ikke, at præmisserne var egnede, at opgaven var retfærdig, eller at anvendelsen var passende. Evidens kræver både verifikation og dømmekraft.
Den begrænsning er værd at holde fast i, fordi den forhindrer en almindelig kategorifejl. Et perfekt bevaret spor kan vise, hvad der skete. Det kan ikke gøre et dårligt formuleret spørgsmål godt. En reproducerbar beslutning kan stadig være en beslutning, der aldrig burde have været automatiseret. Journalen bør hjælpe en senere læser med at stille begge spørgsmål, ikke for tidligt besvare det andet.
Selvsikkerhed kan være ærlig uden at være nyttig
En veltilpasset sandsynlighed kan stadig være ubrugelig. Den kan være for bred til at adskille de tilfælde, der kræver forskellig behandling. Den kan komme for sent til at påvirke beslutningen. Den kan være knyttet til et resultat, der ikke er handlingsrelevant. Den kan være så usikker, at hvert tilfælde kræver samme gennemgang. Det er ikke svigt i ærlighed. Det er begrænsninger i nytteværdi, og de bør erkendes tidligt frem for at blive opdaget, efter at en arbejdsgang er bygget op omkring scoren.
Omvendt behøver et nyttigt system ikke at lade som om, det er sikkert. Et beskedent signal kan forbedre, hvordan arbejdet organiseres, hvis det har et snævert formål og en klar gennemgangsrute. Det kan hjælpe en operatør med at se, hvilke tilfælde der fortjener endnu en kildekontrol. Det kan udvælge en lille gruppe til kvalitetssikring. Det kan bringe en konflikt mellem registreringer frem. I disse anvendelser handler evidenskravet om, hvorvidt signalet forbedrer den konkrete beslutningsproces uden at indføre uacceptable nye fejl eller afhængigheder. Signalet behøver ikke at blive et orakel for at fortjene en plads.
Derfor skal det tilsigtede formål styre evalueringen. OECDs AI-principper kræver meningsfuld information om systemernes kapaciteter og begrænsninger samt sporbarhed i relation til datasæt, processer og beslutninger, så output kan analyseres og forespørgsler besvares. Principperne kræver også passende menneskelig handlefrihed og tilsyn. Den praktiske konsekvens er ikke, at hvert interface behøver en sandsynlighedsvisning. Det er, at et systems evidens og forklaring bør passe til den person og beslutning, det påvirker.
Der er ingen pris for at udstille en usikkerhedsværdi, som en bruger hverken kan fortolke eller handle på. Et tal uden en beslutningsrute kan skabe transparensens teater. Det giver folk noget at pege på og ingen måde at udfordre det på. Bedre at vise den relevante grænse i klart sprog, for eksempel dette forslag ligger uden for den validerede kategori, eller dette resultat kræver gennemgang, fordi den tilgængelige evidens er ufuldstændig. Den passende præsentation følger den operationelle kontrol, ikke omvendt.
Af samme grund bør en konfidensscore ikke behandles som et mål for moralsk værdi, troværdighed eller berettigelse. Det er en teknisk udtalelse med en begrænset evidenskontrakt. Den kan hjælpe en proces. Den bør ikke blive til en vag social rangordning, fordi dens numeriske form får den til at se afgørende ud.
Organisationen ejer inferensen
Leverandører kan stille modeller, dokumentation, scorer og testresultater til rådighed. De kan ikke stiltiende eje betydningen af en beslutning, der træffes i en andens tjeneste. Den organisation, der forbinder et probabilistisk output med en handling, skal beslutte, hvilken påstand den støtter sig til, hvilken population der er relevant, hvilken tærskel der er acceptabel, hvem der gennemgår undtagelser, hvilke registreringer der bevares, og hvornår dokumentation er forældet. Kontrakter kan fordele opgaver. De fjerner ikke behovet for vurdering.
Dette bliver synligt i indkøb. En køber bør ikke kun spørge en potentiel leverandør om et overordnet mål, men også om evalueringsspørgsmålet, populationen, labels, udelukkelser, versioner, variation, kalibreringsmetode, hvis der fremsættes et sandsynlighedskrav, kendte begrænsninger og ændringspolitik. Pointen er ikke at kræve offentliggørelse, som leverandøren ikke lovligt kan give. Det er at fastslå, om køberen kan forstå grænsen for kravet godt nok til at bruge det ansvarligt i en europæisk driftskontekst.
Svaret kan nogle gange være, at dokumentationen ikke er tilstrækkelig til den tilsigtede brug. Det er ikke en mislykket indkøbsproces. Det er indkøbsprocessen, der gør sit egentlige arbejde, før organisationen har gjort sig afhængig af en uforklaret score. En mindre, kontrollerbar anvendelse kan stadig være mulig. En anden leverandør kan være passende. Eller beslutningen kan forblive menneskelig, fordi dokumentationen og korrektionsvejen ikke er stærke nok til at retfærdiggøre automatisering. At sige nej er en del af dokumentationsdisciplin.
Dokumentation har også brug for en navngiven ejer efter lancering. Nogen skal være ansvarlig for at kontrollere, om populationen har ændret sig, om gennemgange afslører et nyt fejlmønster, om en tærskel stadig passer til arbejdsbyrden, om registreringer kan fortolkes, og om en ændring udløser en revurdering. Ejeren behøver ikke personligt at udføre hver test. Men hvis ingen rolle ejer inferensen, vil systemet gradvist opnå autoritet gennem vane. Vane er en dårlig erstatning for en beslutningsregistrering.
Den sværeste del er ofte kulturel. Teams er vant til at præsentere succesfulde modeller som produkter og mislykkede modeller som forskning. Probabilistisk dokumentation beder dem om at bevare tvetydigheden i mellem: nyttig, afgrænset, overvåget og endnu ikke godkendt til at blive mere, end dokumentationen understøtter. Det kan lyde mindre spændende. Det er mere holdbart.
Hvad en forholdsmæssig dokumentationsregistrering indeholder
Den passende registrering afhænger af anvendelsen. Et skrivehjælpemiddel brugt af en forfatter har andre konsekvenser end et system, der påvirker adgangen til en offentlig service. Ikke desto mindre har en forholdsmæssig registrering en genkendelig form. Den identificerer kravet og det tilsigtede formål. Den identificerer modellen, konfigurationen og den omkringliggende arbejdsgang. Den definerer resultatet og populationen, der bruges til at evaluere kravet. Den bevarer metoden, resultatet og de meningsfulde begrænsninger. Den identificerer beslutningsreglen, ejeren, gennemgangsvejen og ændringsudløserne. Hvert felt giver en senere læser et sted at begynde.
Registreringen bør adskille måling fra fortolkning. En målt observation kan sige, at et angivet sæt scorer på et specificeret datasæt og i en specificeret periode svarede til observerede resultater inden for et beskrevet interval. En fortolkning kan sige, at dette understøtter brug som et signal til prioritering af gennemgang under specificerede kontroller. En beslutning kan sige, at systemet kan bruges til det formål, indtil en angivet ændringsudløser indtræffer. At sætte alle tre sætninger under en overskrift kaldet performance er kun effektivt, hvis ingen nogensinde har brug for at udfordre ræsonnementet.
Det bør også gøre ukendte forhold brugbare. Måske er labels forsinkede. Måske mangler en lille sproggruppe tilstrækkeligt mange tilfælde til en stabil kalibreringsvurdering. Måske er implementeringen ny, og der er endnu ingen operationel dokumentation. Registreringen kan sige det, sætte en midlertidig begrænsning på brugen, arrangere mere observation eller bibeholde en menneskelig rute. At lade som om det ukendte er løst, fordi en model har produceret et tal, omdanner kun usikkerhed til en udokumenteret forpligtelse.
Den visuelle disciplin er nyttig her. Tegn kæden fra input til score, fra score til vist forklaring, fra forklaring til menneskelig handling og fra handling til observeret resultat og korrektion. Tegn, hvor tilstand fanges, hvor den går tabt, og hvor en person kan stoppe eller vende stien. Hvis teamet ikke kan tegne ruten, er det usandsynligt, at det kan evaluere den. Diagrammer erstatter ikke dokumentation. De forhindrer, at dokumentation tildeles den forkerte del af systemet.
Frem for alt skal du skrive ned, hvad registreringen ikke fastslår. Den fastslår måske ikke kausalitet. Den fastslår måske ikke retfærdighed på tværs af alle grupper. Den fastslår måske ikke adfærd efter en leverandørændring. Den fastslår måske ikke egnethed til en mere konsekvensrig handling. Disse ikke-påstande er ikke en undskyldning. De er det, der forhindrer en afgrænset evaluering i at blive brugt som en universel godkendelse.
Dokumentation giver retten til at forblive usikker
Der er en fristelse til at tro, at målet med evaluering er at fjerne usikkerhed. Ofte er det bedre mål at lokalisere den. Et probabilistisk system er ikke defekt, fordi det ikke kan gøre hvert tilfælde til en sikkerhed. Det bliver farligt, når organisationen behandler usikkerhed som en privat teknisk detalje, mens den giver outputtet offentlig autoritet. Arbejdet er at beslutte, hvilken usikkerhed der er acceptabel, synlig og kan rettes op for det pågældende formål.
Den beslutning bør blive mere krævende, efterhånden som konsekvensen stiger. En lavkonsekvens-anbefaling kan have brug for en klar afgrænsning, en synlig begrænsning og en nem korrektion. Et system, der påvirker rettigheder, sikkerhed, adgang eller materielle muligheder, har brug for stærkere dokumentation om hele processen, mere omhyggelig overvågning, meningsfuld menneskelig autoritet og en rute til udfordring og afhjælpning. Modellens score bestemmer ikke alene den standard. Effekten af at handle på den gør.
En enkelt vellykket kørsel kan stadig være værd at beholde. Det kan være det første eksemplar i en nyttig registrering. Det kan afsløre en kapacitet, en fejltilstand eller et spørgsmål, der fortjener en ordentlig evaluering. Men det bør forblive et eksemplar, indtil organisationen har testet den påstand, den vil stole på. Afstanden mellem disse to ting er, hvor ansvarlig ingeniørarbejde lever.
Så svaret på, hvad der tæller som dokumentation, når maskinen er probabilistisk, er ikke en score, et diagram eller en overholdelsesetiket. Det er et afgrænset argument: dette output, for dette spørgsmål, i denne population og periode, under disse betingelser, er blevet observeret på denne måde; dette er, hvad vi kan udlede; dette er, hvad vi ikke kan udlede; og dette er den handling, vi er, eller ikke er, parate til at lade det ændre. Det argument er ikke glamourøst. Det er inspicerbart, hvilket er bedre.