Mașina cu stări din spatele IA responsabile
Formularul care nu a funcționat
Primul atelier despre IA responsabilă se termină adesea cu un formular. Formularul este de obicei prezentabil în felul în care pot fi prezentabile formularele interne atunci când un comitet a descoperit spațierea. Întreabă despre scop, impact, date, risc, părtinire, supraveghere umană, dependență de furnizor, păstrare și escaladare. Oamenii îl completează cu grijă. Se bifează o căsuță. Un comitet de revizuire dă din cap. Un proiect avansează. Undeva, un dosar primește încă un document și devine ușor mai convins de sine.
Trei luni mai târziu, sistemul este în producție, iar formularul nu mai este acolo unde se întâmplă lucrurile. Ajunge o cerere de asistență cu câmpuri lipsă. Un model oferă un răspuns încrezător, dar cu dovezi slabe. Un apel de instrument ar actualiza o înregistrare a clientului. O politică se schimbă între proiect și acțiunea finală. Revizorul uman este bolnav. Indexul de regăsire este învechit. Se propune o nouă sursă de date pentru că ar fi convenabilă, iar așa se prezintă politicos multe idei proaste.
În acel moment, IA responsabilă nu este un principiu. Este o tranziție de stare. Sistemul se află într-o stare și vrea să treacă în alta. De la proiect la decizie. De la sugestie la acțiune. De la impact redus la impact ridicat. De la ajutor intern la comunicare externă. De la revizuit la executat. De la permis la blocat. De la excepție temporară la rută permanentă, dacă nu se uită nimeni. Întrebarea este dacă tranziția are o protecție, o înregistrare, un responsabil și o cale de ieșire.
Aceasta este mașina cu stări din spatele IA responsabile. Nu pentru că etica ar putea fi redusă la căsuțe și săgeți. Ar fi un lucru ciudat de crezut și unul și mai ciudat de achiziționat. Ideea este mai simplă. Sistemele serioase trec deja prin stări. Dacă aceste stări nu sunt denumite, modelul se va mișca oricum, fluxul de lucru va avansa oricum, iar organizația își va descoperi guvernanța din întâmplare. Denumirea stărilor nu este moft birocratic. Este felul în care responsabilitatea capătă o formă de execuție.
De ce principiile au nevoie de limite
Principiile sunt utile la început pentru că oferă direcție. Echitate, transparență, responsabilitate, confidențialitate, siguranță, agenție umană, robustețe, contestabilitate. Aceste cuvinte nu sunt goale. Dar nu sunt nici executabile de la sine. Un sistem nu poate apela un principiu în timpul execuției și întreba dacă următoarea acțiune este permisă. Un dezvoltator poate scrie un prompt care spune să fii echitabil, dar fluxul de lucru trebuie totuși să știe când să se oprească, când să întrebe, când să înregistreze și când să refuze.
Marginile sunt locul în care principiile devin utile. Un principiu de echitate devine o cerință ca o anumită categorie de decizii să treacă printr-o evaluare la nivel de grup înainte de lansare și să producă coduri de motiv la nivel de caz după lansare. Un principiu de transparență devine o chitanță care numește sursele, versiunea modelului, versiunea politicii și rolul uman. Un principiu de confidențialitate devine o barieră care refuză recuperarea datelor în afara scopului, perioadei de păstrare, consimțământului sau temeiului legal. Responsabilitatea devine o stare care nu poate avansa fără un deținător. Contestabilitatea devine o cale de apel care există înainte de prima plângere, nu după primul apel la ziar.
Fără margini, IA responsabilă devine un set de adjective în jurul unui sistem care se comportă totuși oricum îi permite fluxul de lucru. O echipă poate crede sincer că are supraveghere umană pentru că o persoană poate privi rezultatele. Dar dacă sistemul poate acționa înainte ca acea persoană să fi văzut dovezile, supravegherea este doar decorativă. O echipă poate crede că are transparență pentru că modelul se explică singur. Dar dacă explicația nu poate fi legată de surse și de stare, transparența a alunecat spre teatru. O echipă poate crede că este în siguranță pentru că modelul refuză solicitările periculoase. Dar dacă poarta de acces a instrumentelor acordă autoritate largă, refuzul este doar o singură ușă într-o casă cu ferestre foarte entuziaste.
Mașina cu stări nu înlocuiește judecata. Este o modalitate de a face judecata să aterizeze undeva. Forțează echipa să răspundă la întrebări practice. În ce stare se află acest caz. Ce tranziții sunt posibile de aici. Ce dovezi sunt necesare. Ce rol poate aproba. Ce tranziție este ireversibilă. Ce tranziție creează o înregistrare. Ce tranziție creează obligația de a notifica, păstra, șterge sau escalada. Aceste întrebări sunt mai puțin poetice decât declarațiile de valori. Sunt și mai greu de evitat.
Mașina ascunsă există întotdeauna
Fiecare flux de lucru cu IA are deja o mașină cu stări, chiar și atunci când nimeni nu a desenat-o. Versiunea ascunsă trăiește în statusurile de tichet, coloanele de foi de calcul, cozile de reîncercare, ramurile de prompt, obiceiurile recenzorilor, mesajele Slack, indicatorii din bazele de date, tabelele de excepții și memoria acelei singure persoane pe care toți o întreabă pentru că era acolo când a avut loc proiectul pilot. Aceasta nu este o arhitectură distribuită fermecătoare. Este folclor instituțional cu latență.
Mașina ascunsă este periculoasă pentru că dă aparența de control, mutând în același timp responsabilitatea în locuri care nu pot fi revizuite. Promptul poate spune că cazurile sensibile ar trebui escaladate, dar coada s-ar putea să nu păstreze motivul. Sistemul de cazuri poate afișa aprobat, dar nu și dacă aprobarea s-a aplicat răspunsului modelului, apelului instrumentului sau comunicării externe. Un recenzor poate respinge un rezultat, dar respingerea s-ar putea să nu intre niciodată în setul de evaluare. Un caz poate fi închis, dar datele derivate pot trăi în continuare într-un magazin de caracteristici. Un model poate fi înlocuit, dar cazurile în așteptare pot purta în continuare rezultate de la versiunea mai veche. Sistemul se mișcă; înregistrarea șchioapătă în urma lui purtând o cravată.
Explicitarea mașinii cu stări nu necesită transformarea organizației într-un laborator de metode formale. Necesită suficientă disciplină pentru a separa stările care au obligații diferite. Schița nu este revizuită. Revizuitul nu este executat. Executatul nu este închis. Închisul nu este șters. Ștersul nu este arhivat. Blocat de politică nu este eșuat din cauza infrastructurii. Necesită judecată umană nu este încredere scăzută. Incident suspectat nu este incident confirmat. Aceste distincții par obișnuite până când un audit întreabă care dintre ele s-a întâmplat, când și de ce.
Stările denumite opresc și o defecțiune frecventă a automatizării: alunecarea lină de la asistență la decizie. Un sistem începe ca un instrument de redactare. Oamenii îi acordă încredere. Schița devine implicită. Implicitul devine recomandare. Recomandarea devine acțiune. Nimeni nu a votat pentru automatizare completă. Nimeni nu a proiectat noua suprafață de responsabilitate. Tranziția s-a produs prin comoditate, care este cel mai eficient lobbyist din software. O mașină cu stări poate forța această mișcare să devină vizibilă.
Garzile nu sunt vibrații
O tranziție are nevoie de o gardă. Garda este condiția care trebuie să fie adevărată înainte ca sistemul să se poată mișca. În software-ul obișnuit, aceasta poate fi o verificare booleană, o evaluare a politicii, o graniță de permisiuni, un rezultat de validare sau o aprobare umană. În IA responsabilă, este și locul în care promisiunile instituționale devin operaționale. Garda întreabă dacă scopul este permis, datele sunt în sfera de aplicare, rezultatul are suficiente dovezi, modelul este aprobat pentru această utilizare, acțiunea este reversibilă, persoana are autoritate, costul este limitat, iar utilizatorul afectat are o cale de întoarcere.
Trucul practic este să ții gărzile aproape de tranziția pe care o protejează. Dacă o gardă există doar într-un document de politică, runtime-ul o va uita cu o viteză impresionantă. Dacă există doar într-un prompt, va fi greu de testat și ușor de ocolit. Dacă există doar într-un obicei uman, va eșua în zilele de boală, în vacanțe, la reorganizări și în săptămâna în care toată lumea încearcă să lanseze. O gardă bună este suficient de explicită pentru a fi testată și suficient de locală pentru a conta.
Aceasta nu înseamnă că fiecare gardă trebuie automatizată. Unele gărzi sunt umane pentru că întrebarea este cu adevărat contextuală. Dar chiar și gărzile umane au nevoie de stare. Evaluatorul ar trebui să vadă dovezile, politica aplicabilă, clasificarea riscului, acțiunea propusă și consecințele aprobării. Sistemul ar trebui să înregistreze decizia ca o tranziție, nu ca un comentariu pe care viitoarea arheologie s-ar putea să îl descopere sau nu. Supravegherea umană fără o schimbare de stare este adesea doar o întâlnire cu o interfață.
Există și un punct plictisitor, dar important, despre gărzile negative. IA responsabilă nu înseamnă doar să spui da în mod responsabil. Înseamnă să spui nu clar. Nu pentru că scopul lipsește. Nu pentru că sursa este învechită. Nu pentru că modelul este în afara domeniului aprobat. Nu pentru că utilizatorul nu are autoritate. Nu pentru că este necesară revizuirea umană. Nu pentru că acțiunea este prea importantă pentru dovezile disponibile. Un refuz cu motiv este o stare mai bună a sistemului decât un eșec vag care invită la reîncercare până când ceva se mișcă.
Stările fac responsabilitatea atribuibilă
Un motiv pentru care responsabilitatea în IA devine neclară este că discuția despre responsabilitate se poartă la nivelul întregului sistem. Organizația este responsabilă. Furnizorul este responsabil. Proprietarul produsului este responsabil. Responsabilul cu protecția datelor este responsabil. Modelul este responsabil, o formulare care ar face orice avocat să privească spre tavan ca să își adune puterile. La runtime, responsabilitatea are nevoie de un mâner mai mic.
Statele creează acest mâner. La intake, proprietarul serviciului poate fi responsabil pentru scop și domeniu. La retrieval, proprietarul datelor poate fi responsabil pentru calitatea sursei și permisiuni. La generarea modelului, proprietarul tehnic poate fi responsabil pentru versiunile și setările aprobate. La review, un rol uman poate fi responsabil pentru judecată. La acțiune, proprietarul fluxului de lucru poate fi responsabil pentru efectele externe. La închidere, gestionarea evidențelor poate fi responsabilă pentru păstrare și ștergere. Harta exactă va diferi, dar principiul rămâne: responsabilitatea se atașează mai bine de tranziții decât de ceață.
Acest lucru contează când ceva merge prost. Dacă un rezultat a fost prost pentru că sursa era veche, mașina cu stări ar trebui să arate unde a fost verificată prospețimea sau unde a fost ratată. Dacă un om a aprobat o acțiune riscantă, evidența ar trebui să arate ce dovezi a văzut. Dacă o politică s-a schimbat, cazurile în curs ar trebui să dezvăluie ce versiune le-a guvernat. Dacă un model a fost actualizat, tranzițiile peste granița de lansare ar trebui să fie inspectabile. Scopul nu este să găsim mai repede pe cineva de vină. Scopul este să facem reparația posibilă fără să pretindem că întregul sistem a eșuat într-un singur ridicat nediferențiat din umeri.
Responsabilitatea atribuibilă îmbunătățește și munca de zi cu zi. Echipele știu ce stare dețin. Metricile devin mai puțin teatrale. În loc să anunțe că programul de IA responsabilă este matur, organizația poate măsura blocările pe surse vechi, refuzurile pe lipsa scopului, suprascrierile la review, rezultatele contestațiilor, tranzițiile incidentelor și întârzierile la închidere. Acest lucru este mai puțin potrivit pentru un slide lucios. Este mult mai potrivit pentru operarea unui sistem.
Stările rele merită nume proprii
Cele mai multe eșecuri ale IA responsabile nu sunt răuvoitoare. Sunt stări obișnuite cu nume rele sau fără nume. Un răspuns în lucru este tratat ca un răspuns final. O excepție temporară devine o rută. Un rezultat cu încredere scăzută devine o acțiune cu impact mare pentru că fluxul de lucru nu avea o stare intermediară. Un model vede date pe care nu ar fi trebuit să le vadă pentru că starea de retrieval nu purta scopul. Un recenzent uman devine o ștampilă de cauciuc pentru că starea numită review nu impunea dovezi sau captarea dezacordului.
Să dai stărilor rele nume proprii este inconfortabil și util. Schiță tăcută. Extinderea scopului. Sursă veche. Proprietar lipsă. Act nerevizuit. Fără ieșire. Acestea nu sunt cauze rădăcină în sine, dar sunt locuri unde pot fi puse controale. Un sistem poate detecta schița tăcută când textul generat este copiat în comunicarea externă fără aprobare. Poate detecta extinderea scopului când un flux de lucru solicită o sursă în afara scopului declarat. Poate detecta sursa veche când o citare este mai veche decât permite politica. Poate detecta lipsa ieșirii când cazurile blocate rămân pentru totdeauna pentru că nimeni nu a proiectat refuzul uman.
Obiceiul previne și suprareacția morală. Nu orice eșec este o criză etică. Uneori este o stare de coadă fără proprietar. Uneori este o stare de păstrare pe care nimeni nu a conectat-o la ștergere. Uneori este un prag de încredere care se preface a fi judecată. Numirea stării permite echipei să repare mecanismul. Fără nume, fiecare incident devine o dezbatere despre cultură. Cultura contează, dar este un substitut slab pentru a ști ce tranziție a scurs.
Există o comedie secă în a vedea organizații care se tem de cuvântul mașină cu stări pentru că sună prea tehnic, în timp ce operează fericite un labirint de emailuri de aprobare, statusuri în foi de calcul și excepții cunoscute doar de trei persoane și o invitație de calendar. Versiunea formală este adesea mai simplă. Doar că are neobrăzarea de a fi vizibilă.
Dovezile aparțin tranziției
Dacă mașina cu stări trebuie să conteze, are nevoie de dovezi. Înregistrarea nu ar trebui să spună doar că un caz a fost aprobat. Ar trebui să spună ce a declanșat tranziția, ce gardă a fost evaluată, ce date au fost folosite, ce versiuni de model și de politică s-au aplicat, cine sau ce a aprobat, ce efect a urmat și cum poate fi redat sau contestat cazul. Dovada nu este un ornament după acțiune. Face parte din acțiunea care devine responsabilă.
Acest lucru este deosebit de important pentru AI, deoarece rezultatele pot fi plauzibile în timp ce calea lor este fragilă. Un rezumat poate fi corect, dar bazat pe o sursă la care utilizatorul nu avea voie să acceseze. O recomandare poate fi rezonabilă, dar în afara utilizării aprobate a modelului. O clasificare poate fi exactă, dar produsă după un termen-limită al politicii. Un refuz poate fi sigur, dar inutil din punct de vedere juridic dacă nu oferă nicio cale de reparare. Răspunsul singur nu îți poate spune aceste lucruri. Înregistrarea tranziției poate.
Dovezile bune oferă, de asemenea, echipelor curajul de a automatiza acolo unde automatizarea este adecvată. AI responsabil nu este o scuză permanentă pentru folosirea mașinilor. Dacă o sarcină are impact redus, este bine delimitată, reversibilă, testată adecvat și înregistrată corespunzător, automatizarea poate fi calea responsabilă. Dacă o sarcină are impact ridicat, este contestată, nouă sau ireversibilă, mașina cu stări ar trebui să o încetinească. Ideea nu este să venerăm revizuirea umană. Ideea este să direcționăm munca în funcție de risc, dovezi și remediu.
Dovezile fac această direcționare mai puțin politică. O echipă poate arăta că o stare este sigură pentru automatizare, deoarece tranzițiile anterioare au fost exacte, contestațiile au fost rare, corecțiile au fost încorporate, iar controalele au prins cazurile potrivite. Sau poate arăta că o stare necesită mai multă judecată umană, deoarece modelele de eroare rămân dificile, persoanele afectate contestă rezultatele sau calitatea datelor este slabă. Acesta este un argument mai bun decât teatrul obișnuit în care o parte spune inovație, iar cealaltă spune risc, până când toată lumea are nevoie de cafea.
Revizuirea umană este o stare, nu un gest
Revizuirea umană este invocată frecvent ca și cum simpla ei existență ar rezolva problema responsabilității. Un om este în buclă. Foarte bine. În ce buclă. În ce stare. Cu ce dovezi. Cu ce autoritate. Poate omul să nu fie de acord. Schimbă dezacordul sistemul. Revizuirea este eșantionată, obligatorie, declanșată de risc sau cosmetică. Revizorul vede materialul sursă sau doar textul îngrijit al modelului. Există timp de gândire. Există instruire. Există o înregistrare. Expresia „om în buclă” ar trebui tratată ca o întrebare de deschidere, nu ca un argument de închidere.
O mașină cu stări face revizuirea umană concretă. Poate distinge revizuirea necesară de cea opțională, revizuirea în așteptare de cea finalizată, rezultatul modificat de om de rezultatul confirmat de om, escaladarea necesară de escaladarea realizată. Poate distinge și tipul de judecată implicat. Unele revizuiri verifică utilizarea corectă a surselor factuale. Altele verifică conformitatea cu politicile. Altele verifică empatia și tonul. Altele verifică autoritatea legală. Altele verifică dacă o excepție este justificată. O singură căsuță numită „aprobat” este rareori suficient de bogată pentru o muncă serioasă.
Proiectarea revizuirii ca stare îi protejează și pe oameni de a fi folosiți ca amortizor moral. Dacă sistemul trimite fiecare caz dificil unei persoane fără dovezi, prioritizare sau feedback, persoana devine un depozit pentru incertitudine. Asta nu este supraveghere. Este un model de personal cu vinovăție atașată. O stare de revizuire responsabilă împachetează cazul, numește decizia necesară, păstrează disidența și trimite rezultatele înapoi în evaluare. Îi oferă omului o slujbă demnă de un om.
Este adevărat și invers. Unele sisteme folosesc revizuirea umană acolo unde o protecție mai bună ar fi mai blândă. Dacă un caz nu are bază legală, nu-l trimiteți unui revizor ca să descopere asta manual. Blocați-l. Dacă sursa este veche, reîmprospătați sau refuzați. Dacă utilizatorul nu are autoritate, spuneți-o clar. Oamenii ar trebui să se ocupe de judecată, nu să compenseze lipsa infrastructurii. Am petrecut decenii inventând mașini. Ar fi proastă purtare să facem oamenii să se comporte ca niște scripturi de validare.
Ireversibilitatea schimbă mașina
Nu toate tranzițiile sunt egale. Unele sunt reversibile. O ciornă poate fi editată. Un traseu poate fi schimbat. O recomandare poate fi retrasă. Alte tranziții sunt mai greu de anulat: un mesaj este trimis, un beneficiu este refuzat, un indicator de risc schimbă o coadă, o înregistrare este actualizată, o persoană este raportată, o plată este efectuată, un client este blocat. IA responsabilă trebuie să știe care tranziții trec în lume.
Ireversibilitatea ar trebui să schimbe garda. Sistemul ar trebui să ceară mai multe dovezi, o autoritate mai puternică, o judecată umană mai clară, o notificare mai bună și o cale de contestație mai vizibilă înainte de efecte ireversibile. Ar trebui, de asemenea, să prefere tranzițiile în etape acolo unde este posibil. Ciornă înainte de trimitere. Recomandare înainte de decizie. Reținere înainte de respingere. Notificare înainte de aplicare. Revizuire înainte de raportare. Aceasta nu este lentoare de dragul lentoarei. Este diferența dintre un sistem care se poate corecta singur și un sistem care creează muncă de curățenie cu o față încrezătoare.
Mașina cu stări ajută și la reversibilitatea parțială. Unele daune pot fi reparate tehnic, dar nu și social. Un rezumat intern greșit poate fi corectat. O acuzație externă greșită poate rămâne în aer chiar și după corectare. Un beneficiu întârziat poate fi plătit mai târziu, dar chiria era scadentă mai devreme. O înregistrare ștearsă poate fi uneori restaurată, dar încrederea poate să nu fie. Mașina ar trebui să trateze aceste tranziții cu seriozitatea efectului lor uman, nu doar cu seriozitatea unui rollback de bază de date.
Aici IA responsabilă scapă de fantezia că etica este separată de operațiuni. Detaliul operațional este suprafața etică. Designul cozii afectează echitatea. Politica de reîncercare afectează duplicarea. Comportamentul de timeout afectează accesul. Retenția afectează confidențialitatea. Volumul de revizuire afectează demnitatea. Tranzițiile de stare nu sunt instalații sanitare neutre. Ele sunt modul în care sistemul întâlnește oamenii.
Evaluarea ca dovadă a tranziției
Evaluarea stă adesea în afara fluxului de lucru, ca și cum ar fi un examen școlar susținut înainte ca sistemul să absolve. Într-o mașină cu stări responsabilă, evaluarea devine dovadă continuă a tranziției. Fiecare tranziție poate produce semnale: cât de des a blocat garda, cât de des au anulat oamenii decizia, cât de des au reușit contestațiile, cât de des au fost sursele învechite, cât de des a fost dezacordul dintre judecata modelului și cea umană, cât de des o rută presupusă cu impact redus a generat plângeri.
Aceste semnale ar trebui să alimenteze mașina. O tranziție care produce contestații repetate poate avea nevoie de o gardă mai puternică sau de o notificare mai clară. O stare de revizuire umană cu acord ridicat și impact redus poate fi eligibilă pentru mai multă automatizare, cu condiția ca remediul să rămână real. O stare de refuz care prinde utilizatorii în capcană poate avea nevoie de o cale de reparare. O gardă de politică care blochează prea multe cazuri legitime poate dezvălui o politică proastă, nu un model prost. Mașina nu este responsabilă pentru că este statică. Este responsabilă pentru că poate învăța fără să ascundă trecutul.
Această învățare necesită versionare. Stările, gărzile, pragurile, prompturile, modelele, politicile, sursele de date și instrucțiunile de revizuire se schimbă. Înregistrarea trebuie să spună ce versiune s-a aplicat la ce tranziție. Altfel, organizația poate evalua doar o supă de alegeri trecute. Supa are utilizări culinare. Nu este o metodă de guvernanță, indiferent câte dashboard-uri plutesc deasupra ei.
Dovada versionată a tranziției menține și îmbunătățirea onestă. O echipă poate spune că o gardă nouă a redus acțiunile nerevizuite, dar a crescut întârzierea. Poate spune că o sursă nouă a îmbunătățit acuratețea, dar a crescut fricțiunea privind confidențialitatea. Poate spune că o actualizare de model a îmbunătățit rezumatele, dar a slăbit disciplina refuzului. Compromisurile nu sunt eșecuri. Compromisurile ascunse sunt eșecuri care așteaptă o invitație la calendar.
Lecția
Mașina cu stări din spatele IA responsabile nu este o chemare la sisteme mai reci. Este o chemare la sisteme care știu ce fac în timp ce fac. O stare numită nu este o realizare morală. O gardă nu este justiție. O chitanță nu este încredere. Dar fără aceste lucruri, IA responsabilă rămâne la nivelul intenției, iar intenția are un istoric slab de disponibilitate.
Inteligența artificială responsabilă are nevoie de scop, autoritate, dovezi, limite, judecată umană, căi de atac, reparare, păstrare și învățare. Aceste cuvinte devin operaționale prin stări și tranziții. Ele decid când un caz avansează, când se oprește, cine îl deține, ce înregistrare este creată, ce remediu există și ce ar trebui să rețină sistemul data viitoare. Aceasta nu este întreaga etică. Este partea care poate opri o acțiune rea înainte ca aceasta să devină un regret foarte bine documentat.
Formularul de la început are încă valoare. Pune întrebările corecte de deschidere. Dar formularul trebuie să conducă la o mașinărie care funcționează: stări denumite, protecții explicite, dovezi durabile, revizuire reală și ieșiri pentru persoanele afectate de sistem. Inteligența artificială responsabilă nu este dovedită de existența unei politici. Este dovedită, sau infirmată, la tranziția în care sistemul decide ce se întâmplă mai departe.