Mit számít bizonyítéknak, ha a gép valószínűségi alapon működik?
A valószínűség nem ítélet
Amikor egy gép 0,87-et ad vissza, az első kérdés általában túl kicsi. Az emberek azt kérdezik, hogy a 0,87 magas-e. Magas mihez képest, melyik kimenetre, mely esetekre és mely döntésre nézve? Az eredmény mellett megjelenő szám úgy néz ki, mintha az eredmény tulajdonsága lenne. Gyakran nem az. Ez egy kísérlet arra, hogy leírja a kapcsolatot egy modell, egy meghatározott esethalmaz és egy időben megfigyelt kimenet között. Ez a kapcsolat hasznos lehet. Irányíthat egy felülvizsgálati sort, beállíthat egy küszöbértéket, vagy jelezheti a kezelőnek, ha egy eredmény második pillantást érdemel. De nem változtat egy egyedi előrejelzést ténnyé, amelyhez tizedesjegy tartozik.
Ez a kínos pont a valószínűségi rendszerek középpontjában. Kimeneteik gyakran informatívabbak, mint egy puszta címke, mert ki tudják fejezni a támogatás vagy a bizonytalanság fokát. Könnyebb is túlolvasni őket. Egy pontszámot lehet tanúvallomásként, jogi következtetésként, diagnózisként vagy engedélyként kezelni. Alapértelmezés szerint egyik sem. Az bizonyíték akkor kezdődik, amikor a szervezet meg tudja mondani, mit jelent a szám, hogyan ellenőrizték, hol érvényes ez az ellenőrzés, és milyen intézkedést módosíthat a szám.
Ez a megkülönböztetés sokkal azelőtt számít, hogy egy rendszer találkozna egy szabályozóval. Egy csapat dönthet úgy, hogy egy javasolt dokumentumot embernek kell ellenőriznie. Egy vásárló összehasonlíthat két szállítót, akik mindketten megbízhatósági mérőszámokat hirdetnek. Egy kezelő beállíthat egy eszkalációs szabályt. Egy közintézmény kérdezheti, hogy egy rangsorolt lista elég jó-e ahhoz, hogy befolyásolja, hová kerüljön először a figyelem. Minden esetben a sikeres futtatás egy dolgot bizonyít: hogy az a futtatás eredményt hozott. Még nem bizonyíték arra, hogy a rendszer megérdemli a hozzá rendelt tekintélyt.
Az ésszerű válasz nem az, hogy kitiltsuk a valószínűségeket a jelentőségteljes munkából. Hanem az, hogy megfelelő munkaköri leírást adjunk nekik. Egy valószínűség akkor támogathat egy döntést, ha egy meghatározott eseményhez, egy releváns sokasághoz, egy megfigyelési módszerhez, egy bizonytalansági határhoz és egy szabályhoz kötődik arra vonatkozóan, hogy mi történjen, ha a bizonyíték gyenge. Ez lassabb, mint egyetlen számot csodálni, és sokkal gyorsabb, mint később rájönni, hogy senki sem tudja megmagyarázni, mit kellett volna tennie a számnak.
A bizonyítéknak meg kell neveznie a kérdését
Evidence is never simply present. It is evidence for a proposition. A test result may support the proposition that a component produces a particular output for a particular input under a particular configuration. It may support the proposition that a model ranks examples well on a held-out dataset. It may support the proposition that a probability estimate corresponds reasonably closely to observed frequencies in a defined evaluation set. Those propositions are different. The discipline begins by writing the proposition before choosing the metric.
Consider the apparently simple claim that a system is accurate. Accurate at what? A classification accuracy may describe how often the highest-scoring class matched a label. It does not say whether the stated probability was well calibrated. A ranking metric may describe order, not the quality of the score scale. A low average error may coexist with a harmful error pattern in a subgroup or at a threshold that triggers action. The metric is not wrong. The leap from metric to operational conclusion is where the trouble usually starts.
OECD work on evaluation instruments is helpful precisely because it gives up on the fantasy that one score can carry the entire explanation. Its framework distinguishes facets including coverage, purpose, realism, reliability, reproducibility, objectivity and partiality. These are not bureaucratic ornaments around a benchmark. They describe whether the result has the right relationship to the question being asked. A research comparison, a conformity assessment and an operational release decision may all use tests. They do not ask the same thing of those tests.
Start, then, with a sentence that can be disagreed with. For example: this system may route cases for human review when its documented probability estimate for a defined outcome exceeds a specified threshold, provided that the input matches the validated scope and the reviewer retains the authority to reject the suggestion. That is an arguable operational proposition. It names the action, the condition and the boundary. It does not pretend that a score has independently chosen its role in the world.
The contrary sentence is familiar because it is convenient: the model is 87 per cent confident. Even where a model truly emits a probability, the sentence leaves out the event, the calibration evidence, the population, the period and the decision. It converts a relationship into a personality trait. Machines do not need to be described as shy or certain. They need to be described as systems whose outputs have defined meanings and defined limits.
Confidence is not the same as correctness
A system can be confident and wrong. It can also be correct while expressing low confidence. Those two facts are unsurprising once the terms are kept separate. Correctness asks whether an outcome matched the chosen reference for one case. Confidence is a statement attached to an output, often derived from a model score or a transformation of one. Calibration asks a further question across many cases: when the system assigns similar probabilities, do outcomes occur at roughly the stated rate? These are related questions, but one good answer does not supply the others.
Imagine a set of cases for which a classifier reports a 0.80 probability for one defined event. If, over an adequately described and sufficiently large set of comparable cases, the event occurs about eight times in ten, the estimate may be called well calibrated for that population and condition. That does not mean the next 0.80 case has an eighty per cent destiny. It means the score has shown a relationship to observed outcomes across the stated collection. The phrase across the stated collection does most of the intellectual work.
A kalibráció sem univerzális jelvény. Egy pontszám jól kalibrált lehet egy történeti adathalmazon, és rosszul kalibrált, ha megváltozik a bemeneti forrás, a felhasználói populáció, a munkafolyamat, a címkézési folyamat vagy az üzemeltetési környezet. Összességében lehet jól kalibrált, miközben a szolgáltatás szempontjából fontos populáció egy részén belül másként viselkedik. Egy tág kategóriában jónak tűnhet, miközben elrejti a döntési küszöb közelében lévő meredek különbséget. A kalibrációs ábra nem diploma a termelési rendszer fölött a keretben. Ez egy keltezett megfigyelés, amelynek megvan a maga hatóköre.
A modellkalibráció szakirodalma kézzelfoghatóvá teszi ezt a megkülönböztetést. Guo és munkatársai a modern neurális hálózatok konfidenciakalibrációját vizsgálták, és kimutatták, hogy önmagában a pontosság nem dönti el, hogy a konfidenciaértékek a megfigyelt helyesség valószínűségét tükrözik-e. Munkájuk a kalibráció utólagos feldolgozási módszereit is értékeli. A fontos gyakorlati tanulság szűkebb, mint egy recept: nem szabad feltételeznünk, hogy egy modellpontszám megfelelő valószínűségi jelentéssel bír pusztán azért, mert nullától egyig terjedő kényelmes tartományban adják meg.
Egy gondos szervezet ezért három különböző dolgot rögzít. Rögzíti a feladat teljesítményét, hogy megkérdezhesse, a kimenetek megfelelnek-e a meghatározott feladatnak. Rögzíti a kalibrációt vagy egy másik explicit bizonytalansági tulajdonságot, hogy megkérdezhesse, mit jelent a pontszám a gyakorlatban. És rögzíti az adott küszöbérték melletti cselekvés következményét, hogy megkérdezhesse, megfelelő-e a döntési szabály. Ha ezt a hármat egyetlen zöld jelzőbe vonjuk össze, egyszerűbbé válhat az irányítópult. De nem egyszerűsíti a világot.
A kalibrációnak van nevezője
Minden kalibrációra vonatkozó állításnak van nevezője. A nevező nem pusztán a fájlban lévő rekordok száma. Ez azoknak az eseteknek a gyűjteménye, amelyek jogosultak voltak a beszámításra, a csoportosítás módja, a kimenetel meghatározása, az időszak, a kizárások és a referenciacímkéket előállító folyamat. Ha ezeket a feltételeket eltávolítjuk, a megbízhatósági diagram egy kellemes görbévé válik, amelynek nincs hatásköre egy döntés felett.
Tegyük fel, hogy egy értékelés a megadott konfidencia szerint csoportosítja az előrejelzéseket. Az egyes csoportokban megfigyelt arány függ a csoportba felvett esetektől és a kimenetel meghatározásától. Kizárták a kétértelmű eseteket? A tartózkodásokat hibaként, biztonságos elutasításként vagy valami másnak kezelték? A címke egy azonnali eseményt, egy későbbi felülvizsgálatot vagy egy végső fellebbezést képviselt? Megtartották a duplikátumokat? Az értékelés csak azokat a rekordokat tartalmazta, amelyek átjutottak egy upstream érvényesítési lépésen? Mindegyik válasz észszerű lehet. Mindegyik válasz megváltoztatja a kapott kalibrációs állítás jelentését.
Ezért lehet egy modellnek tiszteletre méltó globális kalibrációs eredménye, és mégis alkalmatlan egy adott felhasználásra. A globális eredmény összevonhat olyan nyelveket, bemeneti hosszúságokat, régiókat, eszköztípusokat, ügyfélutakat vagy üzemmódokat, amelyek nem osztoznak ugyanazon a hibaszerkezeten. Egy összevont szám lehet őszinte összefoglaló, és mégis elégtelen bizonyíték egy helyi döntéshez. A helyes válasz nem az, hogy minden személy számára külön modellt követeljünk. Hanem az, hogy teszteljük azokat a csoportosítási feltételezéseket, amelyeket a döntés maga tesz lényegessé.
Az OECD értékelési keretrendszere ezt lefedettségnek nevezi. A keretrendszer azt kérdezi, hogy egy értékelési eszköz elfogult vagy reprezentatív eloszlást fed-e le abból, amit mérni hivatott, és megkülönbözteti a feladatteljesítményt egy tágabb képességre vonatkozó állítástól. Ezek a megkülönböztetések hasznosak a valószínűségi bizonyítékok szempontjából. Egy pontszám bizonyíték lehet a feladateloszláson nyújtott teljesítményre. Nem szabad, hogy csendben bizonyítékká váljon egy képességre, egy érintett populációra vagy egy jövőbeli környezetre vonatkozóan, amelyet az értékelés nem fedett le.
A nevezőnek társadalmi oldala is van. Amikor egy szervezet eldönti, hogy mely eseteket elég egyszerű automatizálni, és melyeknek kell emberre várniuk, a definíciók határozzák meg, hogy ki viseli a fennmaradó bizonytalanságot. Egy összesített pontszám elfedheti azt a tényt, hogy egy kisebb csoportnak kevesebb példája, kevésbé stabil címkéje vagy eltérő működési környezete van. Ez nem ok arra, hogy egyenlő statisztikákat ígérjünk ott, ahol gyenge az evidencia. Ez ok arra, hogy a gyenge evidenciát őszintén jelentsük, és óvatos döntési szabályt építsünk köré.
A sikeres futtatás minta, nem következtetés
A valószínűségi rendszerek egy sajátos túlzott magabiztosságra csábítanak, mert olyan könnyű bemutatni őket. Adj meg egy bemenetet, kapsz egy lenyűgöző kimenetet, ismételd meg egy közeli bemenettel, kapsz egy másikat. A bemutató megmutathatja, hogy a rendszer képes elvégezni a feladatot. Akár azt is megmutathatja, hogy van mit vizsgálni. Nem mutathatja meg az eredmények eloszlását, a pontszám stabilitását, a határeseteire adott választ, a referencia-címkék minőségét vagy a megváltozott telepítési körülmény hatását. Egy minta elindíthat egy vizsgálatot. Nem zárhatja le.
Ugyanez vonatkozik egyetlen benchmark-futtatásra is. Egy eredményt gyűjthettek helyesen, egy jól leírt rendszeren, legitim metrikával. Ha egyszer futott le, akkor annak az értéknek az evidenciája, amelyet egyszer megfigyeltek azokon a körülmények között. Nem automatikusan a rendszer stabil tulajdonságának evidenciája. Az ismétlés segít feltárni a változékonyságot. Nem szünteti meg annak szükségességét, hogy megkérdezzük, vajon a teszt a tervezett felhasználást képviseli-e. A reprodukálhatóság és az érvényesség különböző problémákat old meg, és mindkettőnek helye van a feljegyzésben.
Az OECD keretrendszer ezt a szétválasztást egyértelművé teszi. A megbízhatóság arra vonatkozik, hogy egy értékelés elegendő ismétlést, epizódhosszt vagy példányt mutat-e be ahhoz, hogy alacsony változékonyságot adjon újbóli alkalmazáskor. A reprodukálhatóság arra vonatkozik, hogy ugyanaz a teszt újra előállítható-e, beleértve azt is, hogy a sztochasztikus összetevők megváltoztatják-e a kölcsönhatásokat. Egy teszt lehet pontosan reprodukálható, és mégis haszontalan kérdésre válaszolhat. Lehet valósághű és nehezen reprodukálható pontosan, mert a környezet megváltozott. Egyik feltétel sem hiba önmagában. A feljegyzésnek meg kell mondania, hogy melyik feltétel áll fenn, és mit enged következtetni az olvasónak.
Van itt egy szerény, de értékes működési szokás: őrizd meg a sikeres futtatást, de ne rakd rá többet, mint amennyit elbír. Őrizd meg a bemenetet, a konfigurációt, a verziót, a seedet, ahol alkalmazható, a függőségeket, a kimenetet és az értékelési döntést. Ezután helyezd el az ismételt mérések, ellenpéldák, tartózkodások és megváltozott körülmények mellé. Egy eredmény, amely akkor is hasznos marad, ha szembesült a kínos szomszédaival, értékesebb, mint egy olyan eredmény, amelyet meg kellett védeni tőlük.
A generatív rendszereknél a sikeres válasz különösen gyenge evidenciája az ismételhetőségnek, hacsak nem rögzítik az interakciós szerződést. A mintavételi beállítások, a promptok, a visszakeresett anyag, az eszközök elérhetősége, a modellverzió, a biztonsági irányelv és a környező munkafolyamat mind formálhatják az eredményt. Egy szósorozat visszajátszása a releváns állapot nélkül reprodukálhatja a teszt látszatát, miközben hiányzik az a feltétel, amely értelmessé tette. Az evidencia világában a hasonlóság nem visszajátszás.
Az ismételhetőség nem szinonimája a bizalomnak
A determinisztikus visszajátszás kiváló evidencia lehet egyetlen szűk állításra: azonos rögzített bemenetek, konfiguráció és implementációs körülmények mellett a rendszer ugyanazt az eredményt produkálta. Ez kezelhetőbbé teszi a vizsgálatokat, a regressziós teszteket és a verzió-összehasonlításokat. Nem állapítja meg, hogy az eredmény helyes volt, hogy a bemenet megfelelő volt, hogy a rendszert kellett volna használni a döntéshez, vagy hogy az eredmény általánosítható lesz-e a rögzített határain túl. Az ismételhetőség a kísérlet tulajdonsága. A bizalom egy tágabb elrendezésről szóló ítélet.
Sztochasztikus viselkedés esetén a feljegyzésnek a változást kell rögzítenie, nem pedig a változás hiányát kell kimentenie. Ha egy kimenet változó, az értékelésnek fel kell jegyeznie, hogy mely részek változnak, milyen gyakran, milyen tartományon belül, és hogy ez a változás hogyan befolyásolja a döntést. Egy olyan rendszer, amely alternatív megfogalmazásokat javasol, nagyobb tartományt tolerálhat, mint egy olyan, amely az eseteket rangsorolja a figyelemfelkeltéshez. Egy olyan rendszer, amely egy embert tanácsadással segít, más jellegű bizonyítékot igényelhet, mint egy olyan, amely visszafordíthatatlan műveletet tesz elérhetővé. A valószínűség önmagában nem működési kategória. A következmény dönti el, hogy egy folyamat mekkora bizonytalanságot viselhet el biztonságosan.
Mindkét oldalon van egy könnyű hiba. Az egyik csapat rögzített kimenetet követel egy olyan eszköztől, amelynek deklarált célja a felfedezés, majd a determinizmust összetéveszti a minőséggel. A másik csapat változó kimenetet fogad el egy döntéstámogató rendszertől, és kreativitásnak nevezi a változékonyságot, amikor az értékelés nehézzé válik. Egyik álláspont sem komoly. A kérdés az, hogy a változás várható, korlátozott, megfigyelhető és összeegyeztethető-e a rendszerre ruházott felhatalmazással.
Az európai szabályozás nem redukálja ezt a kérdést egyetlen univerzális pontszámra. A magas kockázatú MI-rendszerek esetében az MI-rendelet 15. cikke megfelelő szintű pontosságot, robusztusságot és kiberbiztonságot, valamint ezekben a tekintetekben a teljes életciklus során következetes teljesítményt követel meg. Azt is előírja, hogy a használati utasításban fel kell tüntetni a pontossági szinteket és a releváns pontossági mutatókat, és ösztönzi a teljesítmény mérésének technikai szempontjaira vonatkozó referenciaértékeket és mérési módszereket. A rendelkezés nem mondja ki, hogy egyetlen ismételt teszt eldönti a kérdést. Azt kéri, hogy a teljesítményt kontextusban határozzák meg és tartsák fenn.
Ez az ésszerű magatartás minden komoly értékelésnél. Az ismételhető teszt a bizonyítéklánc egyik eleme. Szüksége van gazdára, verzióhatárra, változást kiváltó okra és kapcsolatra azzal a működési döntéssel, amelyet támogat. Ezek nélkül az ismételhetőség újabb vonzó szóvá válhat, amely messzebbre jut, mint a kísérlet.
A bizonytalanságnak működési útvonalra van szüksége
A bizonytalanság gyakorlati célja nem az, hogy az irányítópult kifinomultnak tűnjön. Az a célja, hogy megváltoztassa, mit tehet a rendszer. Ha egy pontszámnak nincs hatása az útválasztásra, a felülvizsgálatra, a magyarázatra, a megfigyelésre vagy a leállításra, akkor technikai érdekesség lehet, nem pedig működési jelzés. Ha viszont megváltoztat egy műveletet, a szervezetnek meg kell határoznia a pontszámtól a felhatalmazásig vezető utat.
A küszöbérték az egyik ilyen út, de nem varázsvonal. A küszöbérték beállítása kompromisszumot jelent a hibafajták, a munkateher, a késedelem és a lehetséges kár között. Egy küszöbérték megfelelő lehet egy alacsony következménnyel járó felülvizsgálati sor prioritásának meghatározásához, de nem megfelelő egy személy szolgáltatáshoz való hozzáférésének megtagadásához. Ugyanaz a számszerű küszöbérték mást jelenthet, ha az alapgyakoriság, a hiba költsége, a rendelkezésre álló jogorvoslat és a downstream felülvizsgálat minősége változik. Nincs univerzális, körültekintő szám, amely egy gyártói kézikönyvben várna.
Ezért egy döntési szabálynak többről kell szólnia, mint egy határértékről. Meg kell neveznie a becsült eredményt, a pontszámot alátámasztó bizonyítékot, a hatályon kívül eső eseteket, azokat a körülményeket, amelyek tartózkodást tesznek szükségessé, a megmaradó emberi felhatalmazást, a vezetendő nyilvántartást és a szabály felülvizsgálatának feltételeit. Az ilyen kísérő elemek nélküli küszöbérték konfigurációnak álcázott döntés.
Egy hasznos hipotetikus példa szemlélteti a pontot anélkül, hogy nyilvános incidensre hivatkozna. Képzeljünk el egy szolgáltatást, amely modellpontszámot használ a beérkező kérelmek képzett felülvizsgálóhoz való rendezésére. A bizonyíték alátámaszthat egy korlátozott állítást: a pontszám segíthet a hasonló kérelmek sorba rendezésében egy megadott befogadási kategórián belül, miközben a végső rangsorolás a felülvizsgálónál marad. Ugyanez a bizonyíték nem támasztja alá az alacsony pontszámú kérelmek automatikus elutasítását, mert ez más művelet, más következményekkel és más bizonyítékigényekkel. A kimenet nem változott. A felhatalmazása igen.
Az önmegtartóztatás ugyanilyen komolyságot érdemel. Egy olyan rendszer, amely képes azt mondani, hogy a bizonyítékai nem elégségesek, rövid távon több munkát jelenthet, hosszú távon viszont csökkentheti a nem észlelt hibákat. Az önmegtartóztatás azonban csak akkor hasznos, ha van hova felelősségteljesen továbbítani. Ha a bizonytalan esetek egy gazdátlan várólistán tűnnek el, a rendszer egyszerűen késleltetéssé alakította át a bizonytalanságot. Egy jó útvonal megnevezi, hogy ki kapja meg az esetet, mit láthat belőle, hogyan javítja ki, és hogyan befolyásolja ez a javítás a későbbi értékelést.
Az oksági állításokhoz több kell, mint egy előtte-utána grafikon
A valószínűségi becsléseket gyakran használják arra, hogy alátámasszanak állításokat arról, mi fog történni, ha egy szervezet cselekszik. Ez más bizonyítási feladat, mint annak előrejelzése, hogy mi történt a múltbeli adatokban. Egy modell becsülheti, hogy egy eset más, bizonyos kimenetelű esetekre hasonlít. Ezzel azonban még nem mutatja meg, hogy az eset megváltoztatása, egy szabályzat módosítása vagy egy ajánlás követése okozná a kimenetel megváltozását. Az előrejelzést és a beavatkozást nem szabad összemosni csak azért, mert a grafikon így rendezettnek tűnik.
Az előtte-utána ábrák különösen csábítóak. Egy csapat bevezet egy eszközt, egy kimenetel megváltozik, és az eszköz kapja az elismerést vagy a hibáztatást. Sok más dolog is megváltozhatott: a szolgáltatásba belépő populáció, a dokumentáció, a létszám, a szabályzat, az évszakos körülmények, a felsőbb szintű szűrők vagy maga a mérés. A megfigyelés lehet, hogy figyelmet érdemel. De nem oksági következtetés, amíg az összehasonlítást, az alternatív magyarázatokat és a fennmaradó bizonytalanságot nem kezelték.
Ez azért fontos a mesterséges intelligencia irányítása szempontjából, mert egy rendszer jóval azelőtt lehet operatívan befolyásos, hogy formálisan döntő lenne. Egy rangsor megváltoztathatja, hogy egy személy melyik rekordot nyitja meg először. Egy megbízhatósági jelző arra ösztönözheti a felülvizsgálót, hogy elfogadjon egy kimenetet. Egy ajánlott művelet rutinszerűvé válhat, mert a várólista zsúfolt. Az oksági útvonal magában foglalja az emberi értelmezést, a felület kialakítását, az ösztönzőket, az időnyomást és a rendelkezésre álló javítási útvonalat. Ha csak a modellt értékeljük, nem kaphatjuk meg a teljes képet.
Amikor egy oksági állítás számít, a bizonyítási tervnek meg kell mondania, hogy milyen összehasonlítás tenné hitelesebbé az állítást, és mit még mindig nem tudna kizárni. Ez jelenthet ellenőrzött tesztet, szakaszos bevezetést, független felülvizsgálatot, gondosan felépített megfigyeléses elrendezést, vagy döntést arról, hogy egyáltalán nem tesznek oksági állítást. A lényeg nem az, hogy minden operatív változtatástól akadémiai tökéletességet követeljünk. Hanem az, hogy az állítás magabiztosságát a ténylegesen rendelkezésre álló bizonyítékokhoz igazítsuk.
Van ebben valami hollandos józan ész, bár jól utazik: ha csak azt mérted meg, hogy a szél megváltozott, ne jelentsd be, hogy áttervezted az időjárást. Egy előrejelzés értékes lehet anélkül is, hogy oksági történetté válna. Az őszinteség nem visszavonulás. Ez az, ami használhatóvá teszi az eredményt valaki számára, akinek el kell döntenie, mit tegyen ezután.
A pontosság elfedhet egy rossz döntési szabályt
A pontosság gyakran hasznos és gyakran elégtelen. Egy rendszer nagy pontosságot érhet el ott, ahol egy kimenetel gyakori, miközben alig segít a legfontosabb esetekben. Lehet erős az átlaga, miközben rosszul teljesít a döntési határ közelében. Hozhat helyes előrejelzéseket anélkül, hogy olyan valószínűségi becsléseket adna, amelyek ésszerű küszöbértékeket támogatnak. Tűnhet sikeresnek, mert a referencia-címke könnyen előrejelezhető, még akkor is, ha maga a címke gyenge helyettesítője annak a döntésnek, amelyet a szolgáltatásnak meg kell hoznia.
Mindez nem azt jelenti, hogy a pontosság értelmetlen. Azt jelenti, hogy az olvasónak meg kell kérdeznie, mit mér, és mi marad ki a keretből. Az AI Act felismeri ezt a kontextusigényt a használati utasításokra vonatkozó követelményeiben: a nagy kockázatú rendszerek dokumentációjának tartalmaznia kell a teljesítményjellemzőket és korlátokat, a rendeltetési célt, a rendszer tesztelésére és érvényesítésére használt releváns pontossági mérőszámokat, valamint a várható teljesítményt befolyásoló ismert vagy ésszerűen előrelátható körülményeket. Egy pontossági érték akkor válik hasznosabbá, ha a körülötte lévő feltételek hozzá vannak kapcsolva.
Egy jó működési felülvizsgálat ezért nem csak az összesített számokra kérdez rá, hanem a hibamintázatokra is. Milyen eseteket sorolt be rosszul a rendszer? Melyek voltak bizonytalanok? Mely eseteket zárták ki, vagy küldték felülvizsgálatra? Mi történik egy hamis pozitív, egy hamis negatív, egy késleltetett válasz vagy egy indokolatlan tartózkodás esetén? Ki tudja észlelni az eredményt, megkérdőjelezni és kijavítani a nyilvántartást? Ezek a kérdések visszavezetik az értékelést a szolgáltatáshoz, ahelyett hogy a modellnél hagynák.
Hasznos lehet továbbá megkülönböztetni egy összetevő bizonyítékát a munkafolyamat bizonyítékától. Egy összetevőteszt megállapíthatja egy modell tulajdonságait meghatározott bemenetek mellett. Egy munkafolyamat-értékelés megállapíthatja, hogyan hatnak egymásra a modell, a felület, az adatok, az emberek és a szabályzat. Egy összetevő rendelkezhet erős pontszám-kalibrációval, miközben a munkafolyamat automatizálási torzítást eredményez, mert a felület elrejti a bizonytalanságot. Egy munkafolyamat rendelkezhet kiváló felülvizsgálati folyamattal, miközben olyan összetevőre támaszkodik, amelynek forrásadatai már nem illeszkednek a megadott hatókörhöz. A teszteknek valahol találkozniuk kell.
Az így kapott bizonyíték nem feltétlenül egy nagy jelentés. Lehet egy tömör, verziózott feljegyzés is, ha a döntés szűk körű. Az a lényeg, hogy egy másik személy meg tudja vizsgálni az állítást, a populációt, a módszert, az eredményt, a korlátot és a döntést. A fájl mérete nem határozza meg az érvelés minőségét. Egy rövid feljegyzés lehet alapos. Egy nagy prezentáció lehet többnyire üres fecsegés.
A változás a tegnapi bizonyítékot kérdéssé alakítja
Minden értékelési eredménynek van dátuma, még akkor is, ha a dátum rejtve van. A modellek változnak. A promptok változnak. Az adatforrások változnak. Egy upstream űrlap új mezőt kap. Egy beszállító módosít egy szabályzatot. Egy csapat másik környezetbe helyez át egy szolgáltatást. Egy új csoport kezdi el használni a rendszert. Egy mérőszámot egy megváltozott felülvizsgálati folyamat után számítanak ki. Minden változás megváltoztathatja azt az állítást, amelyet a korábbi bizonyíték alátámasztott.
A helyes válasz nem az, hogy minden szerkesztés után újrafuttatunk minden tesztet. Hanem az, hogy meghatározzuk, mely változások lényegesek mely állítások szempontjából. Egy színváltozás nem feltétlenül befolyásolja a valószínűség-kalibrációt. Egy új bemeneti csatorna viszont igen. Egy módosított címkézési szabályzat megváltoztathatja az eredmény definícióját. Egy új modellverzió megváltoztathatja mind a teljesítményt, mind a pontszámok értelmezését. A rendszernek adott felhatalmazás megváltozása érvényteleníthet egy döntési szabályt, még akkor is, ha a modell bájtra pontosan ugyanaz marad. A teszttervnek láthatóvá kell tennie ezeket a kapcsolatokat, mielőtt egy kiadás kényelmessé válna.
Az AI Act 9. cikke folyamatos, iteratív kockázatkezelési folyamatot ír elő a nagy kockázatú rendszerek számára azok teljes életciklusára. A folyamat magában foglalja az ismert és ésszerűen előrelátható kockázatok azonosítását és elemzését, a kockázatok becslését és értékelését, amikor a rendszert rendeltetésszerűen és ésszerűen előrelátható visszaélés mellett használják, valamint kockázatkezelési intézkedések elfogadását. Az értékelés szempontjából ez közvetlenül azt jelenti: a bizonyíték nem egyszeri ceremónia a bevezetéskor. Egy felülvizsgálatból, változásból és reagálásból álló működési rendszerhez tartozik.
A monitoring nem azt jelenti, hogy minden elérhető jelet összegyűjtünk, és reméljük, hogy a minta magától felismerhetővé válik. Azt jelenti, hogy eldöntjük, melyik megfigyelés alapozná meg újra egy igény érvényességét. A kalibrációs ellenőrzés ütemezhető időszak, mennyiség vagy megváltozott bemeneti összetétel alapján. Egy küszöbérték felülvizsgálható, ha a várólista terhelése rontja az emberi felügyelet minőségét. Egy forrásváltozás felfüggesztheti a felhasználást, amíg a vonatkozó tesztet meg nem ismétlik. Egy komoly monitoringterv meghatározza, hogy mit figyelnek, ki figyeli, milyen referencia alapján, és milyen intézkedés következik.
Ez igényesebb, mint egy beszerzés napján archivált modellkártya, de hasznosabb is. Egy statikus dokumentum megőrizheti, amit állítottak. Egy élő bizonyítéknyilvántartás megmutathatja, hogy az állításnak van-e még helye. Egy valószínűségi rendszer esetében ez a különbség az, hogy tudjuk, létezett-e a pontszám, vagy azt, hogy még mindig azt jelenti-e, amit a szolgáltatás gondol róla.
A nyilvántartások lehetővé teszik, hogy egy későbbi olvasó megfelelően vitatkozzon
A bizonyítékoknak emlékezetre van szükségük. Egy későbbi felülvizsgáló nem tud egy állítást egy pontszám képernyőképe és a megbeszélés emléke alapján értékelni. Szüksége van a verziózott objektumra: a kérdésre, a bemeneti feltételekre, a teszt vagy megfigyelés módszerére, az eredményre, a kizárásokra, a bizonytalanságra, a döntésre és a felelősre. Arra is szüksége lehet, hogy tudja, mi nem került rögzítésre. Egy olyan nyilvántartás, amely láthatóvá teszi a vakfoltjait, hasznosabb, mint egy tökéletesnek tűnő nyilvántartás, amely a rendszer állapotát találgatásra bízza.
A magas kockázatú MI-rendszerek esetében az MI-rendelet előírja az események automatikus rögzítését a rendszer teljes élettartama alatt, olyan naplózási képességekkel, amelyek megfelelnek a tervezett célnak, és hasznosak a kockázatok azonosításához, a forgalomba hozatal utáni felügyelet támogatásához és a működés nyomon követéséhez. Emellett előírja, hogy a műszaki dokumentációt a rendszer forgalomba hozatala előtt el kell készíteni, és naprakészen kell tartani. Ezek a követelmények nem csupán felhívást jelentenek arra, hogy több naplót vezessünk. Arra szólítanak fel, hogy a naplókat egy rendszer, egy cél és egy döntés összefüggésében értelmezhetővé tegyük.
A nyomon követhetőség különösen fontos ott, ahol egy személy értelmezi a valószínűséget. Ha egy felülvizsgáló pontszámot lát, a bizonyítéknyilvántartásnak lehetővé kell tennie annak rekonstruálását, hogy a pontszám mire vonatkozott, hogyan mutatták be, milyen adatok vagy források voltak hatókörben, mit döntött a felülvizsgáló, és történt-e későbbi korrekció. E lánc nélkül egy csapat megtudhatja, hogy egy eredmény hibás volt, de azt nem, hogy a probléma a bemenetben, a modellben, a felületben, a döntési szabályban vagy az azt körülvevő emberi folyamatban volt-e.
A Dweve-nél az AION egy kis, releváns példa a tágabb elvre, nem pedig azt állítja, hogy a bizonyíték kriptográfiára redukálható. A nyilvános leírása szerint a gyártó egy eredmény mellett egy típusos tanúsítványt bocsáthat ki, és az AION a tanúsítványt az eredeti premisszák alapján függetlenül ellenőrzi. Az ilyen ellenőrizhető nyilvántartás megerősíthet egy szűk állítást arról, hogy egy eredmény következik-e a rögzített premisszákból. Nem bizonyítja, hogy a premisszák megfelelőek voltak, hogy a feladat igazságos volt, vagy hogy a felhasználás megfelelő volt. A bizonyítékokhoz egyszerre van szükség ellenőrzésre és ítélőképességre.
Ezt a korlátot érdemes szem előtt tartani, mert megelőz egy gyakori kategóriahibát. Egy tökéletesen megőrzött nyomvonal megmutathatja, mi történt. Nem tudja jóvá tenni egy rosszul megfogalmazott kérdést. Egy reprodukálható döntés még mindig lehet olyan döntés, amelyet soha nem lett volna szabad automatizálni. A nyilvántartásnak segítenie kell egy későbbi olvasót, hogy mindkét kérdést feltegye, nem pedig idő előtt megválaszolnia a másodikat.
A magabiztosság lehet őszinte anélkül, hogy hasznos lenne
Egy jól kalibrált valószínűség még lehet haszontalan. Lehet túl tág ahhoz, hogy szétválassza azokat az eseteket, amelyek eltérő kezelést igényelnek. Érkezhet túl későn ahhoz, hogy befolyásolja a döntést. Köthető olyan kimenetelhez, amelyre nem lehet cselekvési tervet építeni. Lehet annyira bizonytalan, hogy minden eset ugyanazt a felülvizsgálatot igényli. Ezek nem az őszinteség hiányosságai. A hasznosság korlátai, amelyeket korán be kell ismerni, nem pedig akkor felfedezni, amikor már egy munkafolyamat épült a pontszám köré.
Fordítva, egy hasznos rendszernek sem kell biztosnak tettetnie magát. Egy szerény jelzés javíthatja a munka megszervezését, ha szűk célja és egyértelmű felülvizsgálati útja van. Segíthet a kezelőnek látni, mely esetek érdemelnek még egy forrásellenőrzést. Kiválaszthat egy kis halmazt a minőségbiztosításhoz. Felszínre hozhat egy ütközést a nyilvántartások között. Ezekben a felhasználásokban a bizonyítékokra vonatkozó követelmény arra vonatkozik, hogy a jelzés javítja-e az adott döntési folyamatot anélkül, hogy elfogadhatatlan új hibákat vagy függőségeket vezetne be. A jelzésnek nem kell orákulummá válnia ahhoz, hogy helyet érdemeljen.
Ezért a szándékolt célnak kell irányítania az értékelést. Az OECD mesterséges intelligenciára vonatkozó alapelvei értelmes tájékoztatást kérnek a rendszerek képességeiről és korlátairól, valamint nyomon követhetőséget az adatkészletek, folyamatok és döntések tekintetében, hogy az eredmények elemezhetők és a kérdések megválaszolhatók legyenek. Az alapelvek megfelelő emberi szerepvállalást és felügyeletet is előírnak. A gyakorlati következmény nem az, hogy minden felületnek valószínűség-kijelzőt kell mutatnia. Hanem az, hogy a rendszer bizonyítékainak és magyarázatának illeszkednie kell az érintett személyhez és döntéshez.
Nincs díj annak, aki olyan bizonytalansági értéket tár fel, amelyet a felhasználó nem tud értelmezni vagy amelyre nem tud építeni. Egy szám döntési út nélkül az átláthatóság színházát teremtheti meg. Ad az embereknek valamit, amire mutathatnak, de semmilyen módot arra, hogy megkérdőjelezzék. Jobb, ha a releváns határt egyszerű nyelven mutatjuk meg, például: ez a javaslat kívül esik az érvényesített kategórián, vagy ez az eredmény felülvizsgálatot igényel, mert a rendelkezésre álló bizonyíték hiányos. A megfelelő megjelenítés a működési ellenőrzést követi, nem pedig fordítva.
Ugyanezen okból a megbízhatósági pontszámot nem szabad erkölcsi érték, hitelesség vagy jogosultság mércéjeként kezelni. Ez egy technikai kijelentés korlátozott bizonyítékalapú szerződéssel. Segíthet egy folyamatnak. Nem válhat homályos társadalmi rangsorrá csak azért, mert numerikus formája döntőnek tűnik.
A szervezet felel a következtetésért
A beszállítók biztosíthatnak modelleket, dokumentációt, pontszámokat és teszteredményeket. Nem birtokolhatják csendben egy másik szolgáltatásában hozott döntés jelentését. Annak a szervezetnek, amely egy valószínűségi kimenetet egy cselekvéshez kapcsol, el kell döntenie, hogy melyik állításra támaszkodik, melyik populáció számít, melyik küszöbérték elfogadható, ki vizsgálja felül a kivételeket, mely nyilvántartásokat őrzi meg, és mikor járt le a bizonyíték. A szerződések feladatokat oszthatnak ki. Nem szüntetik meg az ítéletalkotás szükségességét.
Ez a beszerzésben válik láthatóvá. A vevőnek nemcsak egy kiemelt mutatót kell kérnie egy leendő beszállítótól, hanem az értékelési kérdést, a populációt, a címkéket, a kizárásokat, a verziókat, a változatosságot, a kalibrációs módszert, ha valószínűségi állítás hangzik el, az ismert korlátokat és a változáskezelési szabályzatot is. A cél nem az, hogy olyan adatok közlését követeljük, amelyeket a beszállító jogszerűen nem szolgáltathat. A cél annak megállapítása, hogy a vevő elég jól érti-e az állítás határait ahhoz, hogy felelősen használhassa azt európai működési környezetben.
A válasz néha az lehet, hogy a bizonyíték nem megfelelő a tervezett felhasználáshoz. Ez nem kudarcot vallott beszerzési folyamat. Ez a beszerzési folyamat, amely a tényleges feladatát végzi, mielőtt a szervezet egy megmagyarázatlan pontszámtól függővé tenné magát. Egy kisebb, ellenőrizhető felhasználás még lehetséges lehet. Egy másik beszállító megfelelő lehet. Vagy a döntés emberi maradhat, mert a bizonyíték és a korrekciós út nem elég erős az automatizálás igazolásához. A nem kimondása az evidenciával kapcsolatos fegyelem része.
Az evidenciának a bevezetés után név szerinti gazdája is kell legyen. Valakinek felelősnek kell lennie annak ellenőrzéséért, hogy a populáció eltolódott-e, hogy a felülvizsgálatok új hibamintát tárnak-e fel, hogy egy küszöbérték továbbra is illeszkedik-e a munkaterheléshez, hogy a nyilvántartások értelmezhetők-e, és hogy egy változás újraértékelést indokol-e. A gazdának nem kell személyesen elvégeznie minden tesztet. De ha egyetlen szerepkör sem felelős a következtetésért, a rendszer fokozatosan szokás révén szerez tekintélyt. A szokás rossz helyettesítője a döntési nyilvántartásnak.
A legnehezebb rész gyakran kulturális. A csapatok hozzászoktak ahhoz, hogy a sikeres modelleket termékként, a sikerteleneket kutatásként mutassák be. A valószínűségi bizonyíték arra kéri őket, hogy őrizzék meg a köztes kétértelműséget: hasznos, korlátozott, felügyelt, és még nem jogosult arra, hogy többré váljon, mint amit a bizonyíték alátámaszt. Ez kevésbé izgalmasan hangozhat. Tartósabb.
Mit tartalmaz az arányos evidencianyilvántartás
A megfelelő nyilvántartás a felhasználástól függ. Egy szerző által használt szövegezési segédeszköz más következményekkel jár, mint egy olyan rendszer, amely egy közszolgáltatáshoz való hozzáférést befolyásol. Ennek ellenére az arányos nyilvántartásnak felismerhető alakja van. Meghatározza az állítást és a tervezett célt. Meghatározza a modellt, a konfigurációt és a környező munkafolyamatot. Meghatározza az eredményt és a populációt, amelyet az állítás értékeléséhez használnak. Megőrzi a módszert, az eredményt és a jelentős korlátokat. Meghatározza a döntési szabályt, a gazdát, a felülvizsgálati utat és a változást kiváltó okokat. Minden mező ad egy kiindulási pontot a későbbi olvasónak.
A nyilvántartásnak meg kell különböztetnie a mérést az értelmezéstől. Egy mért megfigyelés azt mondhatja, hogy egy meghatározott adathalmazon és időszakon belül egy megadott pontszámkészlet a leírt tartományon belül megfelelt a megfigyelt eredményeknek. Egy értelmezés azt mondhatja, hogy ez alátámasztja a felülvizsgálati sorrendet jelző szignálként való használatot meghatározott ellenőrzések mellett. Egy döntés azt mondhatja, hogy a rendszer erre a célra használható egy megadott változást kiváltó ok bekövetkeztéig. Ha mindhárom mondatot egy teljesítmény nevű fejezetcím alá helyezzük, az csak akkor hatékony, ha senkinek sem kell soha megkérdőjeleznie az érvelést.
Az ismeretleneket is használhatóvá kell tenni. Lehet, hogy a címkék késnek. Lehet, hogy egy kis nyelvi csoportnak nincs elég esete a stabil kalibrációs értékeléshez. Lehet, hogy az üzembe helyezés új, és még nincs működési bizonyíték. A feljegyzés ezt rögzítheti, ideiglenes korlátot szabhat a használatnak, további megfigyelést rendelhet el, vagy emberi utat tarthat fenn. Ha úgy teszünk, mintha az ismeretlen megoldódott volna, mert a modell egy számot produkált, az csak dokumentálatlan felelősséggé alakítja a bizonytalanságot.
A vizuális fegyelem itt hasznos. Rajzoljuk fel a láncot a bemenettől a pontszámig, a pontszámtól a megjelenített magyarázatig, a magyarázattól az emberi cselekvésig, a cselekvéstől pedig a megfigyelt eredményig és a korrekcióig. Rajzoljuk fel, hol tárolódik az állapot, hol vész el, és hol tud egy személy megállítani vagy megfordítani az utat. Ha a csapat nem tudja felrajzolni az utat, valószínűleg értékelni sem tudja. A diagramok nem helyettesítik a bizonyítékot. Megakadályozzák, hogy a bizonyítékot a rendszer rossz részéhez rendeljék.
Mindenekelőtt írjuk le, mit nem állapít meg a feljegyzés. Lehet, hogy nem állapít meg okozati összefüggést. Lehet, hogy nem állapít meg méltányosságot minden csoportra nézve. Lehet, hogy nem állapít meg viselkedést egy szállítóváltás után. Lehet, hogy nem állapít meg alkalmasságot egy nagyobb horderejű cselekvésre. Ezek a nem-állítások nem bocsánatkérések. Ezek tartják meg attól, hogy egy korlátozott értékelést egyetemes felhatalmazásként használjanak.
A bizonyíték kiérdemli a bizonytalanság jogát
Ott a kísértés, hogy az értékelés céljának a bizonytalanság megszüntetését gondoljuk. Gyakran jobb cél, ha megtaláljuk a helyét. Egy valószínűségi rendszer nem hibás azért, mert nem tud minden esetet bizonyossággá alakítani. Akkor válik veszélyessé, ha a szervezet magánjellegű technikai részletként kezeli a bizonytalanságot, miközben nyilvános tekintélyt ad a kimenetnek. A feladat annak eldöntése, hogy melyik bizonytalanság elfogadható, látható és helyrehozható az adott célhoz.
Ennek a döntésnek egyre szigorúbbnak kell lennie, ahogy a következmények nőnek. Egy alacsony kockázatú javaslathoz elég lehet egy világos hatókör, egy látható korlát és egy egyszerű korrekció. Egy olyan rendszer, amely jogokat, biztonságot, hozzáférést vagy anyagi lehetőségeket befolyásol, erősebb bizonyítékot igényel a teljes folyamatról, gondosabb megfigyelést, értelmes emberi felhatalmazást, valamint a kifogás és az orvoslás lehetőségét. A modell pontszáma önmagában nem határozza meg ezt a mércét. A cselekvés hatása igen, amelyet azzal vált ki.
Egyetlen sikeres futás még megőrzésre érdemes lehet. Lehet, hogy ez az első minta egy hasznos feljegyzésben. Felfedhet egy képességet, egy hibamódot vagy egy kérdést, amely megérdemel egy megfelelő értékelést. De mintának kell maradnia, amíg a szervezet nem tesztelte azt az állítást, amelyre támaszkodni akar. A kettő közötti távolságban él a felelős mérnöki munka.
Tehát a válasz arra, hogy mi számít bizonyítéknak, amikor a gép valószínűségi, nem egy pontszám, egy diagram vagy egy megfelelőségi címke. Ez egy korlátozott érv: ezt a kimenetet, erre a kérdésre, ebben a populációban és időszakban, ezek között a feltételek között, így figyeltük meg; ezt tudjuk következtetni; ezt nem tudjuk következtetni; és ez az a cselekvés, amelyet engedünk vagy nem engedünk megváltoztatni. Ez az érv nem látványos. Ellenőrizhető, ami jobb.