Când mașina este probabilistică, ce contează drept dovezi?
Probabilitatea nu este o sentință
Când o mașină returnează 0,87, prima întrebare este de obicei prea mică. Oamenii se întreabă dacă 0,87 este mare. Mare în comparație cu ce, pentru ce rezultat, asupra căror cazuri și pentru ce decizie? Un număr tipărit lângă o ieșire pare o proprietate a acelei ieșiri. Adesea nu este. Este o încercare de a descrie o relație între un model, o populație definită de cazuri și un rezultat observat în timp. Această relație poate fi utilă. Poate ghida o coadă de revizuire, poate stabili un prag sau poate spune unui operator când un rezultat merită o a doua privire. Dar nu transformă o predicție individuală într-un fapt cu o zecimală atașată.
Acesta este punctul incomod din centrul sistemelor probabilistice. Ieșirile lor sunt adesea mai informative decât o etichetă simplă, pentru că pot exprima grade de susținere sau incertitudine. Sunt, de asemenea, mai ușor de supralecturat. Un scor poate fi tratat ca o declarație de martor, o concluzie legală, un diagnostic sau o permisiune. Nu este niciuna dintre acestea în mod implicit. Dovada începe când organizația poate spune ce reprezintă numărul, cum a fost verificat, unde se aplică acea verificare și ce acțiune are voie numărul să schimbe.
Această distincție contează cu mult înainte ca un sistem să întâlnească un regulator. O echipă poate decide dacă un document sugerat are nevoie de o verificare umană. Un cumpărător poate compara doi furnizori care publică amândoi măsuri de încredere. Un operator poate stabili o regulă de escaladare. Un organism public se poate întreba dacă o listă ordonată este suficient de bună pentru a influența unde merge atenția mai întâi. În fiecare caz, o rulare reușită este dovada unui singur lucru: că acea rulare a produs o ieșire. Nu este încă o dovadă că sistemul merită autoritatea atașată lui.
Răspunsul sensibil nu este să interzici probabilitățile din munca cu consecințe. Este să le dai o descriere adecvată a postului. O probabilitate poate susține o decizie când este legată de un eveniment definit, o populație relevantă, o metodă de observare, o limită de incertitudine și o regulă pentru ce se întâmplă când dovezile sunt slabe. Acest lucru este mai lent decât a admira un singur număr și mult mai rapid decât a descoperi mai târziu că nimeni nu poate explica ce trebuia să facă numărul.
Dovada trebuie să își numească întrebarea
Dovezile nu sunt niciodată pur și simplu prezente. Ele sunt dovezi pentru o propoziție. Un rezultat de test poate susține propoziția că o componentă produce o anumită ieșire pentru o anumită intrare într-o anumită configurație. Poate susține propoziția că un model clasează exemplele corect pe un set de date rezervat. Poate susține propoziția că o estimare de probabilitate corespunde în mod rezonabil de aproape frecvențelor observate într-un set de evaluare definit. Aceste propoziții sunt diferite. Disciplina începe prin scrierea propoziției înainte de alegerea metricii.
Luați în considerare afirmația aparent simplă că un sistem este precis. Precis la ce? O precizie de clasificare poate descrie cât de des clasa cu cel mai mare scor s-a potrivit cu o etichetă. Nu spune dacă probabilitatea declarată a fost bine calibrată. O metrică de clasare poate descrie ordinea, nu calitatea scalei de scor. O eroare medie scăzută poate coexista cu un model dăunător de erori într-un subgrup sau la un prag care declanșează o acțiune. Metrica nu este greșită. Saltul de la metrică la concluzia operațională este locul de unde începe de obicei problema.
Lucrările OCDE privind instrumentele de evaluare sunt utile tocmai pentru că renunță la fantezia că un singur scor poate purta întreaga explicație. Cadrul lor distinge fațete, inclusiv acoperirea, scopul, realismul, fiabilitatea, reproductibilitatea, obiectivitatea și parțialitatea. Acestea nu sunt ornamente birocratice în jurul unui reper. Ele descriu dacă rezultatul are relația corectă cu întrebarea care se pune. O comparație de cercetare, o evaluare a conformității și o decizie operațională de lansare pot folosi toate teste. Ele nu cer același lucru de la acele teste.
Începeți, așadar, cu o propoziție care poate fi contestată. De exemplu: acest sistem poate direcționa cazuri pentru revizuire umană atunci când estimarea sa documentată de probabilitate pentru un rezultat definit depășește un prag specificat, cu condiția ca intrarea să se potrivească cu domeniul validat și ca revizorul să păstreze autoritatea de a respinge sugestia. Aceasta este o propoziție operațională care poate fi dezbătută. Ea numește acțiunea, condiția și limita. Nu pretinde că un scor și-a ales independent rolul în lume.
Propoziția contrară este familiară pentru că este convenabilă: modelul este încrezător în proporție de 87 la sută. Chiar și acolo unde un model emite cu adevărat o probabilitate, propoziția lasă deoparte evenimentul, dovezile de calibrare, populația, perioada și decizia. Transformă o relație într-o trăsătură de personalitate. Mașinile nu trebuie descrise ca fiind timide sau sigure. Ele trebuie descrise ca sisteme ale căror ieșiri au semnificații definite și limite definite.
Încrederea nu este același lucru cu corectitudinea
Un sistem poate fi încrezător și greșit. Poate fi, de asemenea, corect exprimând o încredere scăzută. Aceste două fapte nu sunt surprinzătoare odată ce termenii sunt ținuți separați. Corectitudinea întreabă dacă un rezultat s-a potrivit cu referința aleasă pentru un singur caz. Încrederea este o declarație atașată unei ieșiri, adesea derivată dintr-un scor de model sau dintr-o transformare a acestuia. Calibrarea pune o întrebare suplimentară pe mai multe cazuri: atunci când sistemul atribuie probabilități similare, apar rezultatele aproximativ la rata declarată? Acestea sunt întrebări conexe, dar un răspuns bun nu le furnizează pe celelalte.
Imaginați-vă un set de cazuri pentru care un clasificator raportează o probabilitate de 0,80 pentru un singur eveniment definit. Dacă, pe un set de cazuri comparabile descris adecvat și suficient de mare, evenimentul apare aproximativ de opt ori din zece, estimarea poate fi numită bine calibrată pentru acea populație și acea condiție. Asta nu înseamnă că următorul caz cu 0,80 are un destin de optzeci la sută. Înseamnă că scorul a arătat o relație cu rezultatele observate pe colecția menționată. Expresia pe colecția menționată face cea mai mare parte a muncii intelectuale.
Calibrarea nu este nici ea o insignă universală. Un scor poate fi bine calibrat pe un set de date istoric și prost calibrat după ce se schimbă sursa de intrare, populația de utilizatori, fluxul de lucru, procesul de etichetare sau condițiile de implementare. Poate fi bine calibrat în ansamblu, dar să se comporte diferit într-o parte a populației care contează pentru serviciu. Poate arăta bine într-o categorie largă, ascunzând în același timp o diferență abruptă în apropierea pragului de decizie. Un grafic de calibrare nu este o diplomă înrămată deasupra sistemului de producție. Este o observație datată, cu un domeniu de aplicare.
Literatura despre calibrarea modelelor face separarea concretă. Guo și colegii săi au studiat calibrarea încrederii în rețelele neuronale moderne și au arătat că acuratețea singură nu stabilește dacă estimările de încredere reprezintă probabilități observate de corectitudine. Lucrarea lor evaluează și metode de calibrare prin post-procesare. Lecția operațională importantă este mai restrânsă decât o rețetă: nu ar trebui să presupunem că un scor al modelului are un înțeles probabilistic adecvat doar pentru că este furnizat într-un interval convenabil între zero și unu.
O organizație atentă înregistrează, așadar, trei lucruri diferite. Înregistrează performanța sarcinii, pentru a putea întreba dacă rezultatele îndeplinesc sarcina definită. Înregistrează calibrarea sau o altă proprietate explicită de incertitudine, pentru a putea întreba ce înseamnă scorul în practică. Și înregistrează consecința acțiunii la un prag dat, pentru a putea întreba dacă regula de decizie este adecvată. Combinarea celor trei într-un singur indicator verde poate simplifica un tablou de bord. Nu simplifică lumea.
Calibrarea are un numitor
Orice afirmație despre calibrare are un numitor. Numitorul nu este doar numărul de înregistrări dintr-un fișier. Este ansamblul cazurilor care erau eligibile să fie numărate, modul în care au fost grupate, definiția rezultatului, perioada de timp, excluderile și procesul care a produs etichetele de referință. Elimină aceste condiții și o diagramă de fiabilitate devine o curbă plăcută, fără nicio autoritate asupra unei decizii.
Să presupunem că o evaluare grupează predicțiile după încrederea declarată. Rata observată în fiecare grup depinde de cazurile admise în grup și de definiția rezultatului. Au fost excluse cazurile ambigue? Au fost tratate abținerile ca erori, refuzuri sigure sau altceva? Eticheta a reprezentat un eveniment imediat, o revizuire ulterioară sau o contestație finală? Au fost păstrate duplicatele? Evaluarea a inclus doar înregistrările care au trecut printr-un pas de validare anterior? Fiecare răspuns poate fi rezonabil. Fiecare răspuns schimbă ceea ce înseamnă afirmația de calibrare rezultată.
De aceea, un model poate avea un rezultat global de calibrare respectabil și poate fi totuși nepotrivit pentru o utilizare specifică. Rezultatul global poate combina limbi, lungimi ale intrărilor, regiuni, tipuri de dispozitive, parcursuri ale clienților sau moduri de operare care nu împărtășesc aceeași structură de erori. O cifră agregată poate fi un rezumat onest și poate fi totuși o dovadă insuficientă pentru o decizie locală. Răspunsul corect nu este să cerem un model separat pentru fiecare persoană. Este să testăm ipotezele de grupare pe care decizia însăși le face relevante.
Cadrul de evaluare al OECD numește acest lucru acoperire. Cadrul întreabă dacă un instrument de evaluare acoperă o distribuție părtinitoare sau reprezentativă a ceea ce este menit să măsoare și face distincția între performanța sarcinii și o afirmație mai largă de capacitate. Aceste distincții sunt utile pentru dovezile probabilistice. Un scor poate fi o dovadă despre performanța pe o distribuție de sarcini. Nu ar trebui să devină, în tăcere, o dovadă despre o capacitate, o populație afectată sau un context viitor pe care evaluarea nu l-a acoperit.
Numitorul are și o latură socială. Atunci când o organizație decide ce cazuri sunt suficient de simple pentru a fi automatizate și care trebuie să aștepte o persoană, definițiile determină cine suportă incertitudinea rămasă. Un scor agregat poate ascunde faptul că un grup mai mic are mai puține exemple, etichete mai puțin stabile sau un context operațional diferit. Acesta nu este un motiv pentru a promite statistici egale acolo unde dovezile sunt subțiri. Este un motiv pentru a raporta dovezile subțiri în mod clar și pentru a construi în jurul lor o regulă de decizie prudentă.
O rulare reușită este un specimen, nu o concluzie
Sistemele probabiliste invită la o formă particulară de exces de încredere, pentru că sunt atât de ușor de demonstrat. Introduci o intrare, primești o ieșire impresionantă, repeți cu o intrare apropiată, primești alta. Demonstrația poate arăta că sistemul poate îndeplini sarcina. Poate chiar să arate ceva care merită investigat. Nu poate arăta distribuția rezultatelor, stabilitatea scorului, răspunsul la cazurile limită, calitatea etichetelor de referință sau efectul unei condiții de implementare schimbate. Un specimen poate începe o investigație. Nu o poate finaliza.
Același lucru se aplică unei singure rulări de benchmark. Un rezultat poate fi fost colectat corect, pe un sistem bine descris, cu o metrică legitimă. Dacă a fost rulat o singură dată, este o dovadă a valorii observate o dată în acele condiții. Nu este automat o dovadă a unei proprietăți stabile a sistemului. Repetiția ajută la expunerea variației. Nu elimină necesitatea de a întreba dacă testul reprezintă utilizarea intenționată. Reproductibilitatea și validitatea rezolvă probleme diferite, iar ambele merită un loc în evidență.
Cadrul OECD face această separare explicită. Fiabilitatea se referă la dacă o evaluare prezintă suficiente repetiții, lungime a episoadelor sau instanțe pentru a oferi o variație redusă atunci când este aplicată din nou. Reproductibilitatea se referă la dacă același test poate fi generat din nou, inclusiv dacă componentele stocastice alterează interacțiunile. Un test poate fi exact reproductibil și totuși să răspundă la o întrebare inutilă. Poate fi realist și dificil de reprodus exact, deoarece mediul s-a schimbat. Nicio condiție nu este un defect în sine. Evidența trebuie să spună care condiție este valabilă și ce îi permite cititorului să deducă.
Există aici un obicei operațional modest, dar valoros: păstrează rularea reușită, dar nu o lăsa să poarte mai mult decât poate. Păstrează intrarea, configurația, versiunea, seed-ul acolo unde este cazul, dependențele, ieșirea și decizia de evaluare. Apoi pune-o alături de măsurători repetate, contraexemple, abțineri și condiții schimbate. Un rezultat care rămâne util după ce și-a întâlnit vecinii incomozi este mai valoros decât un rezultat care a trebuit protejat de ei.
Pentru sistemele generative, un răspuns reușit este o dovadă deosebit de slabă a repetabilității, cu excepția cazului în care contractul de interacțiune este înregistrat. Setările de eșantionare, prompturile, materialul recuperat, disponibilitatea instrumentelor, versiunea modelului, politica de siguranță și fluxul de lucru din jur pot modela toate rezultatul. Redarea unui șir de cuvinte fără starea relevantă poate reproduce aparența unui test, dar poate pierde condiția care l-a făcut semnificativ. În munca cu dovezi, asemănarea nu este redare.
Repetabilitatea nu este un sinonim pentru încredere
O redare deterministă poate fi o dovadă excelentă pentru o singură propoziție îngustă: date fiind aceleași intrări înregistrate, configurația și condițiile de implementare, sistemul a produs același rezultat. Acest lucru face investigațiile, testele de regresie și comparațiile de versiuni mai ușor de gestionat. Nu stabilește că rezultatul a fost corect, că intrarea a fost potrivită, că sistemul ar fi trebuit folosit pentru decizie sau că rezultatul se va generaliza dincolo de limita sa înregistrată. Repetabilitatea este o proprietate a experimentului. Încrederea este o judecată despre o aranjare mai largă.
Comportamentul stochastic modifică înregistrarea, nu o scuză pe aceasta. Dacă o ieșire variază, evaluarea trebuie să înregistreze care părți variază, cât de des, în ce interval și cum afectează această variație decizia. Un sistem care propune formulări alternative poate tolera un interval mai larg decât un sistem care clasează cazurile pentru atenție. Un sistem care consiliază un om poate necesita dovezi diferite față de unul care face disponibilă o acțiune ireversibilă. Probabilitatea nu este o categorie operațională de sine stătătoare. Consecința decide câtă incertitudine poate suporta în siguranță un proces.
Există o greșeală ușor de făcut de ambele părți. O echipă cere o ieșire fixă de la un instrument al cărui scop declarat include explorarea, apoi confundă determinismul rezultat cu calitatea. O altă echipă acceptă ieșirea variabilă de la un sistem de sprijinire a deciziilor, apoi numește variabilitatea creativitate atunci când devine dificil de evaluat. Nicio poziție nu este serioasă. Întrebarea este dacă variația este așteptată, limitată, observabilă și compatibilă cu autoritatea atribuită sistemului.
Reglementarea europeană nu reduce această întrebare la un singur scor universal. Pentru sistemele de IA cu risc ridicat, articolul 15 din Regulamentul privind IA impune un nivel adecvat de acuratețe, robustețe și securitate cibernetică, precum și o performanță constantă în aceste privințe pe tot parcursul ciclului de viață. De asemenea, prevede ca nivelurile de acuratețe și indicatorii de acuratețe relevanți să fie indicați în instrucțiunile de utilizare și încurajează criterii de referință și metode de măsurare pentru aspectele tehnice ale măsurării performanței. Dispoziția nu spune că un singur test repetat rezolvă problema. Aceasta cere ca performanța să fie specificată și menținută în context.
Aceasta este poziția rezonabilă pentru orice evaluare serioasă. Un test repetabil este o verigă din lanțul dovezilor. Are nevoie de un responsabil, de o limită de versiune, de un declanșator de modificare și de o legătură cu decizia operațională pe care o sprijină. Fără acestea, reproductibilitatea poate deveni un alt cuvânt atractiv care călătorește mai departe decât experimentul.
Incertitudinea are nevoie de o rută operațională
Scopul practic al incertitudinii nu este de a face un tablou de bord să pară sofisticat. Este de a schimba ce are voie sistemul să facă. Dacă un scor nu are niciun efect asupra rutării, revizuirii, explicației, monitorizării sau opririi, poate fi o curiozitate tehnică, nu un semnal operațional. Dacă schimbă o acțiune, organizația trebuie să declare ruta de la scor la autoritate.
Un prag este o astfel de rută, dar nu este o linie magică. Stabilirea unui prag selectează un compromis între tipuri de erori, volumul de muncă, întârziere și potențialul prejudiciu. Un prag poate fi adecvat pentru prioritizarea unei cozi de revizuire cu consecințe reduse și inadecvat pentru a refuza unei persoane accesul la un serviciu. Același prag numeric poate însemna lucruri diferite atunci când rata de bază, costul erorii, căile de atac disponibile și calitatea revizuirii ulterioare se schimbă. Nu există un număr prudent universal care să aștepte într-un manual de la furnizor.
Din acest motiv, o regulă de decizie ar trebui să descrie mai mult decât un prag. Ar trebui să numească rezultatul estimat, dovezile care sprijină scorul, cazurile din afara domeniului de aplicare, circumstanțele care impun abținerea, autoritatea umană care rămâne, înregistrarea care va fi păstrată și condițiile pentru revizuirea regulii. Un prag fără aceste însoțitoare este o decizie deghizată în configurație.
O ipoteză utilă ilustrează ideea fără a inventa un incident public. Luați în considerare un serviciu care folosește un scor de model pentru a sorta cererile primite pentru un recenzor instruit. Dovezile ar putea sprijini o afirmație limitată: scorul poate ajuta la ordonarea cererilor comparabile într-o categorie de admitere declarată, în timp ce toată prioritizarea finală rămâne la recenzor. Aceleași dovezi nu sprijină respingerea automată a cererilor cu scor scăzut, deoarece aceasta este o acțiune diferită, cu consecințe diferite și nevoi de dovezi diferite. Ieșirea nu s-a schimbat. Autoritatea ei s-a schimbat.
Abținerea merită aceeași seriozitate. Un sistem care poate spune că dovezile sale sunt insuficiente poate crea mai multă muncă pe termen scurt și poate reduce erorile neobservate pe termen lung. Dar abținerea este utilă doar atunci când are o direcție responsabilă spre care să meargă. Dacă cazurile incerte dispar într-o coadă fără stăpân, sistemul a transformat pur și simplu incertitudinea în întârziere. O rută bună precizează cine primește cazul, ce poate vedea, cum îl corectează și cum influențează acea corecție evaluările ulterioare.
Afirmațiile cauzale au nevoie de mai mult decât un grafic înainte-după
Estimările de probabilitate sunt adesea folosite pentru a susține afirmații despre ce se va întâmpla dacă o organizație acționează. Aceasta este o sarcină probatorie diferită de prezicerea a ceea ce s-a întâmplat în datele istorice. Un model poate estima că un caz seamănă cu alte cazuri cu un anumit rezultat. Dar nu demonstrează prin aceasta că modificarea cazului, schimbarea unei politici sau urmarea unei recomandări va determina schimbarea rezultatului. Predicția și intervenția nu ar trebui contopite doar pentru că graficul arată ordonat.
Figurile de tip înainte-după sunt deosebit de tentante. O echipă introduce un instrument, un rezultat se schimbă, iar instrumentul primește meritul sau vina. Multe alte lucruri s-ar fi putut schimba: populația care intră în serviciu, documentația, personalul, politica, condițiile sezoniere, filtrele din amonte sau măsurarea în sine. Observația poate merita atenție. Nu este o concluzie cauzală până când comparația, explicațiile alternative și incertitudinea rămasă nu au fost abordate.
Aceasta contează pentru guvernanța AI, deoarece un sistem poate fi influent din punct de vedere operațional cu mult înainte de a fi formal decisiv. Un clasament poate schimba ce dosar deschide o persoană mai întâi. Un indicator de încredere poate împinge un recenzor să accepte un rezultat. O acțiune recomandată poate deveni rutină pentru că coada este aglomerată. Calea cauzală include interpretarea umană, designul interfeței, stimulentele, presiunea timpului și ruta de corecție disponibilă. Evaluarea doar a modelului nu poate spune întreaga poveste.
Când o afirmație cauzală contează, planul probatoriu ar trebui să spună ce comparație ar face afirmația mai credibilă și ce tot nu ar putea exclude. Aceasta poate implica un test controlat, o implementare în faze, o revizuire independentă, un design observațional atent construit sau o decizie de a renunța cu totul la o afirmație cauzală. Ideea nu este să cerem perfecțiune academică pentru fiecare schimbare operațională. Este să potrivim încrederea afirmației cu dovezile efectiv disponibile.
Există un fel de bun-simț olandez în toate acestea, deși călătorește bine: dacă ai măsurat doar că vântul s-a schimbat, nu anunța că ai reproiectat vremea. O predicție poate fi valoroasă fără să devină o poveste despre cauzalitate. Onestitatea nu este o retragere. Este ceea ce face rezultatul utilizabil pentru cineva care trebuie să decidă ce să facă mai departe.
Acurațea poate ascunde o regulă de decizie proastă
Acurațea este adesea utilă și adesea insuficientă. Un sistem poate atinge o acurațe ridicată acolo unde un rezultat este comun, oferind în același timp puțin ajutor pentru cazurile care contează cel mai mult. Poate avea o medie puternică, dar performanțe slabe în apropierea graniței de acțiune. Poate face predicții corecte fără a oferi estimări de probabilitate care să susțină praguri rezonabile. Poate părea de succes pentru că eticheta de referință este ușor de prezis, chiar dacă eticheta în sine este un proxy slab pentru decizia pe care serviciul trebuie să o ia.
Nimic din toate acestea nu înseamnă că acuratețea este lipsită de sens. Înseamnă că cititorul ar trebui să se întrebe ce măsoară și ce lasă în afara cadrului. Regulamentul privind IA recunoaște această nevoie de context în cerințele sale pentru instrucțiunile de utilizare: documentația pentru sistemele cu risc ridicat trebuie să includă caracteristicile și limitările de performanță, scopul preconizat, valorile de acuratețe relevante utilizate pentru testarea și validarea sistemului, precum și circumstanțele cunoscute sau previzibile care pot afecta performanța preconizată. O valoare a acurateței devine mai utilă atunci când condițiile din jurul ei rămân atașate.
O analiză operațională bună întreabă, așadar, despre tiparele de eroare, nu doar despre totaluri. Ce tipuri de cazuri au fost clasificate greșit? Care au fost incerte? Ce cazuri au fost excluse sau trimise spre analiză? Ce se întâmplă cu un rezultat fals pozitiv, unul fals negativ, un răspuns întârziat sau o abținere nejustificată? Cine poate detecta rezultatul, îl poate contesta și corecta înregistrarea? Aceste întrebări readuc evaluarea în slujba serviciului, nu o lasă la nivelul modelului.
Poate fi util, de asemenea, să distingem dovezile despre o componentă de dovezile despre un flux de lucru. Un test al componentei poate stabili proprietăți ale unui model pentru intrări definite. O evaluare a fluxului de lucru poate stabili modul în care interacționează modelul, interfața, datele, oamenii și politica. O componentă poate avea o calibrare solidă a scorurilor, în timp ce fluxul de lucru produce părtinire de automatizare, deoarece interfața ascunde incertitudinea. Un flux de lucru poate avea un proces de analiză excelent, bazându-se însă pe o componentă ale cărei date sursă nu se mai potrivesc cu scopul declarat. Testele trebuie să se întâlnească undeva la mijloc.
Dovezile rezultate nu sunt neapărat un raport grandios. Pot fi o înregistrare concisă, cu versiuni, dacă decizia este una restrânsă. Ceea ce contează este ca o altă persoană să poată inspecta propunerea, populația, metoda, rezultatul, limita și decizia. Mărimea fișierului nu determină calitatea raționamentului. O înregistrare scurtă poate fi riguroasă. Un set mare de diapozitive poate fi în mare parte aer.
Schimbarea transformă dovezile de ieri într-o întrebare
Fiecare rezultat al unei evaluări are o dată, chiar și atunci când data este ascunsă. Modelele se schimbă. Solicitările se schimbă. Sursele de date se schimbă. Un formular din amonte primește un câmp nou. Un furnizor modifică o politică. O echipă mută un serviciu într-un alt mediu. Un grup nou începe să utilizeze sistemul. O valoare este calculată după un proces de analiză modificat. Fiecare schimbare poate altera propunerea pe care o susțineau dovezile anterioare.
Răspunsul corect nu este să rulăm din nou fiecare test după fiecare modificare. Este să definim ce schimbări sunt relevante pentru ce afirmații. O schimbare de culoare poate să nu afecteze calibrarea probabilității. Un nou canal de intrare poate să o afecteze. O politică revizuită de etichetare poate modifica definiția rezultatului. O versiune nouă a modelului poate schimba atât performanța, cât și interpretarea scorurilor sale. O schimbare a autorității acordate sistemului poate invalida o regulă de decizie, chiar dacă modelul rămâne identic byte cu byte. Planul de testare ar trebui să facă aceste relații vizibile înainte ca o lansare să devină convenabilă.
Articolul 9 din Regulamentul privind IA descrie un proces continuu, iterativ, de gestionare a riscurilor pentru sistemele cu risc ridicat pe parcursul întregului lor ciclu de viață. Procesul include identificarea și analizarea riscurilor cunoscute și rezonabil previzibile, estimarea și evaluarea riscurilor atunci când sistemul este utilizat conform destinației și în condiții de utilizare greșită rezonabil previzibilă, precum și adoptarea măsurilor de gestionare a riscurilor. Concluzia pentru evaluare este directă: dovezile nu sunt o ceremonie care are loc o singură dată, la lansare. Ele aparțin unui sistem operațional de analiză, schimbare și răspuns.
Monitorizarea nu înseamnă să colectezi fiecare semnal disponibil și să speri că un tipar se va dezvălui de la sine. Înseamnă să decizi ce observație ar redeschide o cerere. O verificare de calibrare poate fi programată în funcție de perioadă, volum sau schimbarea mixului de intrări. Un prag poate fi revizuit atunci când presiunea asupra cozii alterează calitatea supravegherii umane. O schimbare a sursei poate suspenda o utilizare până când testul relevant este repetat. Un plan serios de monitorizare spune ce este urmărit, de cine, în raport cu ce referință și ce acțiune urmează.
Aceasta este o cerință mai exigentă decât o fișă de model arhivată în ziua achiziției, dar este și mai utilă. Un document static poate păstra ceea ce a fost afirmat. Un registru viu de dovezi poate arăta dacă afirmația își mai are locul. Pentru un sistem probabilistic, această diferență este diferența dintre a ști că scorul a existat și a ști dacă înseamnă încă ceea ce crede serviciul că înseamnă.
Registrele permit unui cititor ulterior să conteste în mod corespunzător
Dovezile au nevoie de memorie. Un evaluator ulterior nu poate evalua o cerere dintr-o captură de ecran a unui scor și dintr-o amintire a întâlnirii. Are nevoie de obiectul versionat: întrebarea, condițiile de intrare, metoda de testare sau observare, rezultatul, excluderile, incertitudinea, decizia și responsabilul. Poate avea nevoie și să știe ce nu a fost capturat. Un registru care își face vizibile punctele oarbe este mai util decât un registru cu aspect perfect care lasă starea sistemului la latitudinea presupunerilor.
Pentru sistemele de IA cu risc ridicat, Regulamentul privind IA impune înregistrarea automată a evenimentelor pe durata de viață a sistemului, cu capacități de înregistrare adecvate scopului vizat și utile pentru identificarea riscurilor, sprijinirea monitorizării post-comercializare și monitorizarea funcționării. De asemenea, impune întocmirea documentației tehnice înainte de introducerea sistemului pe piață și menținerea acesteia la zi. Aceste cerințe nu sunt doar o invitație de a păstra mai multe jurnale. Sunt o invitație de a face jurnalele inteligibile în raport cu un sistem, un scop și o decizie.
Trasabilitatea este deosebit de importantă atunci când probabilitatea este interpretată de o persoană. Dacă un evaluator vede un scor, registrul de dovezi ar trebui să permită reconstituirea a ceea ce era atașat scorului, modul în care a fost prezentat, ce date sau surse au fost în domeniul de aplicare, ce a decis evaluatorul și dacă a avut loc o corecție ulterioară. Fără acest lanț, o echipă poate afla că un rezultat a fost greșit, dar nu și dacă problema a fost la intrare, la model, la interfață, la regula de decizie sau la procesul uman din jurul acestuia.
La Dweve, AION este un exemplu mic și relevant al principiului mai larg, nu o afirmație că dovezile pot fi reduse la criptografie. Descrierea sa publică spune că un producător poate emite un certificat tipizat alături de un rezultat și că AION verifică certificatul în mod independent față de premisele originale. Un astfel de registru verificabil poate consolida o propoziție îngustă despre dacă un rezultat decurge din premisele înregistrate. Nu demonstrează că premisele au fost adecvate, că sarcina a fost corectă sau că utilizarea a fost potrivită. Dovezile au nevoie atât de verificare, cât și de judecată.
Această limitare merită păstrată, deoarece previne o eroare frecventă de categorisire. O urmă perfect conservată poate arăta ce s-a întâmplat. Nu poate face o întrebare prost formulată să devină bună. O decizie reproductibilă poate fi totuși o decizie care nu ar fi trebuit niciodată automatizată. Registrul ar trebui să ajute un cititor ulterior să pună ambele întrebări, nu să răspundă prematur la a doua.
Încrederea poate fi onestă fără să fie utilă
O probabilitate bine calibrată poate fi totuși nefolositoare. Poate fi prea largă pentru a separa cazurile care necesită tratamente diferite. Poate ajunge prea târziu pentru a influența decizia. Poate fi legată de un rezultat care nu este acționabil. Poate fi atât de incertă încât fiecare caz necesită aceeași analiză. Acestea nu sunt eșecuri ale onestității. Sunt limite ale utilității și ar trebui recunoscute devreme, nu descoperite după ce un flux de lucru a fost construit în jurul scorului.
Invers, un sistem util nu trebuie să pretindă că este cert. Un semnal modest poate îmbunătăți modul în care este organizată munca dacă are un scop restrâns și o rută clară de analiză. Poate ajuta un operator să vadă care cazuri merită o verificare suplimentară a sursei. Poate selecta un set mic pentru asigurarea calității. Poate scoate la suprafață un conflict între înregistrări. În aceste utilizări, cerința privind dovezile se referă la dacă semnalul îmbunătățește procesul decizional specific fără a introduce erori noi inacceptabile sau dependențe. Semnalul nu trebuie să devină un oracol pentru a-și câștiga locul.
De aceea, scopul intenționat trebuie să controleze evaluarea. Principiile AI ale OECD cer informații semnificative despre capacitățile și limitările sistemelor și trasabilitate în legătură cu seturile de date, procesele și deciziile, astfel încât rezultatele să poată fi analizate și întrebările să primească răspuns. Principiile cer, de asemenea, agenție umană adecvată și supraveghere. Implicația practică nu este că fiecare interfață are nevoie de un afișaj de probabilitate. Este că dovezile și explicațiile unui sistem ar trebui să se potrivească persoanei și deciziei afectate de acesta.
Nu există niciun premiu pentru expunerea unei valori de incertitudine pe care utilizatorul nu o poate interpreta sau pe baza căreia nu poate acționa. Un număr fără o rută decizională poate crea teatrul transparenței. Le oferă oamenilor ceva la care să arate și nicio modalitate de a-l contesta. Mai bine să arăți limita relevantă într-un limbaj simplu, cum ar fi această sugestie este în afara categoriei validate sau acest rezultat necesită analiză deoarece dovezile disponibile sunt incomplete. Prezentarea adecvată urmează controlul operațional, nu invers.
Din același motiv, un scor de încredere nu trebuie tratat ca o măsură a valorii morale, a credibilității sau a dreptului. Este o declarație tehnică cu un contract evidențial limitat. Poate ajuta un proces. Nu ar trebui să devină un clasament social vag doar pentru că forma sa numerică îl face să pară decisiv.
Organizația deține inferența
Furnizorii pot oferi modele, documentație, scoruri și rezultate ale testelor. Nu pot deține în mod tacit sensul unei decizii luate în serviciul altcuiva. Organizația care conectează un rezultat probabilistic la o acțiune trebuie să decidă asupra cărei propoziții se bazează, ce populație contează, ce prag este acceptabil, cine analizează excepțiile, ce înregistrări sunt păstrate și când expiră dovezile. Contractele pot aloca sarcini. Ele nu elimină necesitatea judecății.
Acest lucru devine vizibil în achiziții. Un cumpărător ar trebui să ceară unui potențial furnizor nu doar o metrică principală, ci și întrebarea de evaluare, populația, etichetele, excluderile, versiunile, variația, metoda de calibrare dacă se face o afirmație probabilistică, limitele cunoscute și politica de modificare. Scopul nu este de a cere divulgări pe care furnizorul nu le poate oferi în mod legal. Este de a stabili dacă cumpărătorul poate înțelege limita afirmației suficient de bine pentru a o folosi în mod responsabil într-un context operațional european.
Răspunsul poate fi uneori că dovezile nu sunt adecvate pentru utilizarea preconizată. Acesta nu este un proces de achiziție eșuat. Este procesul de achiziție care își face treaba reală înainte ca organizația să devină dependentă de un scor neexplicat. O utilizare mai mică și inspectabilă poate fi totuși posibilă. Un alt furnizor poate fi adecvat. Sau decizia poate rămâne umană, deoarece dovezile și calea de corecție nu sunt suficient de solide pentru a justifica automatizarea. A spune nu face parte din disciplina dovezilor.
Dovezile au nevoie și de un proprietar nominalizat după lansare. Cineva trebuie să fie responsabil pentru verificarea dacă populația s-a schimbat, dacă analizele relevă un nou tipar de erori, dacă un prag se mai potrivește volumului de lucru, dacă înregistrările pot fi interpretate și dacă o modificare declanșează reevaluarea. Proprietarul nu trebuie să execute personal fiecare test. Dar dacă niciun rol nu deține inferența, sistemul va dobândi treptat autoritate prin obișnuință. Obișnuința este un substitut slab pentru un registru al deciziilor.
Cea mai dificilă parte este adesea culturală. Echipele sunt obișnuite să prezinte modelele de succes ca produse și modelele nereușite ca cercetare. Dovezile probabilistice le cer să păstreze ambiguitatea dintre ele: util, delimitat, monitorizat și nu încă autorizat să devină mai mult decât susțin dovezile. Acest lucru poate suna mai puțin interesant. Este mai durabil.
Ce conține un registru proporțional al dovezilor
Registrul adecvat depinde de utilizare. Un instrument de redactare folosit de un autor are consecințe diferite față de un sistem care influențează accesul la un serviciu public. Totuși, un registru proporțional are o formă recognoscibilă. Acesta identifică afirmația și scopul preconizat. Identifică modelul, configurația și fluxul de lucru din jur. Definește rezultatul și populația folosite pentru a evalua afirmația. Păstrează metoda, rezultatul și limitele semnificative. Identifică regula decizională, proprietarul, calea de analiză și declanșatorii de modificare. Fiecare câmp oferă unui cititor ulterior un punct de plecare.
Registrul ar trebui să distingă măsurarea de interpretare. O observație măsurată ar putea spune că, pe un set de date și o perioadă specificate, un set declarat de scoruri a corespuns rezultatelor observate într-un interval descris. O interpretare ar putea spune că aceasta susține utilizarea ca semnal de ordonare a analizelor în condițiile specificate. O decizie ar putea spune că sistemul poate fi folosit în acest scop până la apariția unui declanșator declarat de modificare. Punerea tuturor celor trei propoziții sub un titlu numit performanță este eficientă doar dacă nimeni nu trebuie vreodată să conteste raționamentul.
Ar trebui să facă utilizabile și necunoscutele. Poate că etichetele întârzie. Poate că un grup lingvistic mic nu are suficiente cazuri pentru o evaluare stabilă a calibrării. Poate că implementarea este nouă și nu există încă dovezi operaționale. Înregistrarea poate spune acest lucru, poate plasa o limită temporară de utilizare, poate aranja mai multă observație sau poate păstra o rută umană. A pretinde că necunoscutul a fost rezolvat pentru că un model a produs un număr doar transformă incertitudinea într-o răspundere nedocumentată.
Disciplina vizuală este utilă aici. Desenați lanțul de la intrare la scor, de la scor la explicația afișată, de la explicație la acțiunea umană și de la acțiune la rezultatul observat și corecție. Desenați unde este capturată starea, unde este pierdută și unde o persoană poate opri sau inversa calea. Dacă echipa nu poate desena ruta, este puțin probabil să o poată evalua. Diagramele nu înlocuiesc dovezile. Ele împiedică dovezile să fie atribuite părții greșite a sistemului.
Mai presus de toate, scrieți ce nu stabilește înregistrarea. Este posibil să nu stabilească cauzalitatea. Este posibil să nu stabilească echitatea în toate grupurile. Este posibil să nu stabilească comportamentul după o schimbare de furnizor. Este posibil să nu stabilească adecvarea pentru o acțiune cu consecințe mai mari. Aceste non-afirmații nu sunt o scuză. Ele sunt ceea ce împiedică o evaluare limitată să fie folosită ca o autorizație universală.
Dovezile câștigă dreptul de a rămâne incerte
Există tentația de a crede că scopul evaluării este eliminarea incertitudinii. Adesea, scopul mai bun este localizarea ei. Un sistem probabilistic nu este defectuos pentru că nu poate transforma fiecare caz într-o certitudine. Devine periculos atunci când organizația tratează incertitudinea ca pe un detaliu tehnic privat, acordând în același timp autoritate publică rezultatului. Munca este să decidem ce incertitudine este tolerabilă, vizibilă și recuperabilă pentru scopul în cauză.
Această decizie ar trebui să devină mai exigentă pe măsură ce consecințele cresc. O sugestie cu consecințe reduse poate necesita un domeniu clar, o limitare vizibilă și o corecție ușoară. Un sistem care influențează drepturi, siguranță, acces sau oportunități materiale necesită dovezi mai solide despre procesul complet, monitorizare mai atentă, autoritate umană semnificativă și o rută de contestare și remediere. Scorul modelului nu determină singur acest standard. Efectul acțiunii asupra lui o face.
O singură rulare reușită poate merita totuși păstrată. Poate fi primul specimen dintr-o înregistrare utilă. Poate dezvălui o capacitate, un mod de eșec sau o întrebare care merită o evaluare adecvată. Dar ar trebui să rămână un specimen până când organizația testează propunerea pe care vrea să se bazeze. Distanța dintre aceste două lucruri este locul în care trăiește ingineria responsabilă.
Deci, răspunsul la ce contează ca dovadă atunci când mașina este probabilistică nu este un scor, un grafic sau o etichetă de conformitate. Este un argument limitat: această ieșire, pentru această întrebare, în această populație și perioadă, în aceste condiții, a fost observată în acest fel; aceasta este ceea ce putem deduce; aceasta este ceea ce nu putem deduce; și aceasta este acțiunea pe care suntem sau nu suntem pregătiți să o lăsăm să o schimbe. Acest argument nu este spectaculos. Este inspectabil, ceea ce este mai bine.