The state machine behind responsible AI
Formularen, der ikke blev udført
Den første ansvarlige AI-workshop ender ofte med en formular. Formularen er som regel pæn på den måde, interne formularer kan være pæne, når en komité har opdaget luft i layoutet. Den spørger om formål, påvirkning, data, risiko, bias, menneskeligt tilsyn, leverandørafhængighed, opbevaring og eskalering. Folk udfylder den omhyggeligt. En boks markeres. En godkendelseskomité nikker. Et projekt skrider frem. Et sted modtager en mappe endnu et dokument og bliver en smule mere overbevist om sig selv.
Tre måneder senere er systemet i produktion, og formularen er ikke længere der, hvor handlingen sker. En supportanmodning ankommer med manglende felter. En model returnerer et selvsikkert svar med svag dokumentation. Et værktøjskald ville opdatere en kundepost. En politik ændrer sig mellem udkastet og den endelige handling. Den menneskelige anmelder er syg. Retrival-indekset er forældet. En ny datakilde foreslås, fordi den ville være praktisk, hvilket er sådan mange dårlige idéer præsenterer sig selv høfligt.
I det øjeblik er ansvarlig AI ikke et princip. Det er en tilstandsovergang. Systemet er i én tilstand og ønsker at bevæge sig til en anden. Udkast til beslutning. Forslag til handling. Lav påvirkning til høj påvirkning. Internt hjælpemiddel til ekstern kommunikation. Anmeldt til udført. Tilladt til blokeret. Midlertidig undtagelse til permanent rute, hvis ingen holder øje. Spørgsmålet er, om overgangen har en vagt, en registrering, en ejer og en udgangssti.
Dette er tilstandsautomaten bag ansvarlig AI. Ikke fordi etik kan reduceres til bokse og pile. Det ville være en mærkelig ting at tro og en endnu mærkeligere ting at anskaffe. Pointen er enklere. Seriøse systemer bevæger sig allerede gennem tilstande. Hvis disse tilstande er unavngivne, vil modellen stadig bevæge sig, arbejdsgangen vil stadig skride frem, og organisationen vil opdage sin styring ved et tilfælde. At navngive tilstandene er ikke bureaukratisk pjat. Det er sådan, ansvar får en runtime-form.
Hvorfor principper har brug for grænser
Principper er nyttige i begyndelsen, fordi de giver retning. Retfærdighed, gennemsigtighed, ansvarlighed, privatliv, sikkerhed, menneskelig handlekraft, robusthed, anfægtelighed. Disse ord er ikke tomme. De er heller ikke eksekverbare i sig selv. Et system kan ikke kalde et princip under kørsel og spørge, om den næste handling er tilladt. En udvikler kan skrive en prompt, der siger vær retfærdig, men arbejdsgangen skal stadig vide, hvornår den skal stoppe, hvornår den skal spørge, hvornår den skal registrere, og hvornår den skal afvise.
Kanter er der, hvor principper bliver brugbare. Et retfærdighedsprincip bliver til et krav om, at en bestemt kategori af beslutninger skal gennemgå evaluering på gruppeniveau, før de frigives, og skal producere begrundelseskoder på sagsniveau efter frigivelse. Et transparensprincip bliver til en kvittering, der angiver kilder, modelversion, politikversion og menneskelig rolle. Et privatlivsprincip bliver til en vagt, der nægter hentning uden for formål, opbevaring, samtykke eller retsgrundlag. Ansvarlighed bliver til en tilstand, der ikke kan gå videre uden en ejer. Anfægtelighed bliver til en klagemulighed, der eksisterer før den første klage, ikke efter den første avisomtale.
Uden kanter bliver ansvarlig AI til en række tillægsord omkring et system, der stadig opfører sig, som arbejdsgangen tillader. Et team kan i god tro tro, at det har menneskeligt tilsyn, fordi en person kan se på output. Men hvis systemet kan handle, før personen har set beviserne, er tilsynet kun til pynt. Et team kan tro, at det har transparens, fordi modellen forklarer sig selv. Men hvis forklaringen ikke kan knyttes til kilder og tilstand, er transparensen blevet til teater. Et team kan tro, at det er sikkert, fordi modellen afviser farlige prompter. Men hvis værktøjsgatewayen giver bred adgang, er afvisningen kun én dør i et hus med meget entusiastiske vinduer.
Tilstandsmaskinen er ikke en erstatning for dømmekraft. Den er en måde at få dømmekraft til at lande et sted. Den tvinger teamet til at besvare praktiske spørgsmål. Hvilken tilstand er denne sag i. Hvilke overgange er mulige herfra. Hvilke beviser kræves. Hvilken rolle må godkende. Hvilken overgang er irreversibel. Hvilken overgang opretter en registrering. Hvilken overgang skaber en pligt til at underrette, opbevare, slette eller eskalere. Disse spørgsmål er mindre poetiske end værdierklæringer. De er også sværere at undvige.
Den skjulte maskine findes altid
Enhver AI-arbejdsgang har allerede en tilstandsmaskine, selv når ingen har tegnet den. Den skjulte version lever i sagstatus, regnearkskolonner, køer til gentagelse, promptforgreninger, anmelderes vaner, Slack-beskeder, databaseflag, undtagelsestabeller og hukommelsen hos den ene person, som alle spørger, fordi de var der, da piloten skete. Dette er ikke en charmerende distribueret arkitektur. Det er institutionel folklore med latenstid.
Den skjulte maskine er farlig, fordi den giver udseende af kontrol, mens den flytter ansvar til steder, der ikke kan gennemgås. Prompterne kan sige, at følsomme sager skal eskaleres, men køen bevarer måske ikke begrundelsen. Sagssystemet kan vise godkendt, men ikke om godkendelsen gjaldt modelens svar, værktøjskaldet eller den eksterne kommunikation. En anmelder kan afvise et output, men afvisningen kommer måske aldrig ind i evalueringssættet. En sag kan være lukket, men afledte data kan stadig ligge i et feature store. En model kan være udskiftet, men verserende sager kan stadig indeholde output fra den ældre version. Systemet bevæger sig; registreringen halter bagefter med slips på.
At gøre tilstandsmaskinen eksplicit kræver ikke, at organisationen forvandles til et laboratorium for formelle metoder. Det kræver tilstrækkelig disciplin til at adskille tilstande, der har forskellige pligter. Kladde er ikke gennemgået. Gennemgået er ikke udført. Udført er ikke lukket. Lukket er ikke slettet. Slettet er ikke arkiveret. Blokeret af politik er ikke fejlet af infrastruktur. Kræver menneskelig dømmekraft er ikke lav tillid. Formodet hændelse er ikke bekræftet hændelse. Disse skel lyder almindelige, indtil en revision spørger, hvilken der skete, hvornår og hvorfor.
Navngivne tilstande stopper også en almindelig fejl i automatisering: den glidende overgang fra assistance til beslutning. Et system starter som et skriveværktøj. Folk stoler på det. Udkastet bliver en standard. Standardet bliver en anbefaling. Anbefalingen bliver en handling. Ingen stemte for fuld automatisering. Ingen designede den nye ansvarsflade. Overgangen skete gennem bekvemmelighed, som er den mest succesfulde lobbyist i software. En tilstandsmaskine kan tvinge den bevægelse til at blive synlig.
Guards er ikke vibes
En overgang har brug for en guard. En guard er den betingelse, der skal være sand, før systemet må bevæge sig. I almindelig software kan det være et boolsk tjek, en politikvurdering, en tilladelsesgrænse, et valideringsresultat eller en menneskelig godkendelse. I ansvarlig AI er det også det sted, hvor institutionelle løfter bliver operationelle. Guarden spørger, om formålet er tilladt, om dataene er inden for scope, om outputtet har tilstrækkelig dokumentation, om modellen er godkendt til denne brug, om handlingen er reversibel, om personen har autoritet, om omkostningen er afgrænset, og om den berørte bruger har en vej tilbage.
Det praktiske trick er at holde guards tæt på den overgang, de beskytter. Hvis en guard kun lever i et politisk dokument, vil runtime glemme den i imponerende fart. Hvis den kun lever i en prompt, bliver den svær at teste og let at omgå. Hvis den kun lever i en menneskelig vane, vil den fejle på sygedage, helligdage, omorganiseringer og den uge, hvor alle prøver at ship. En god guard er eksplicit nok til at teste og lokal nok til at betyde noget.
Det betyder ikke, at hver guard skal automatiseres. Nogle guards er menneskelige, fordi spørgsmålet er genuint kontekstuelt. Men selv menneskelige guards har brug for tilstand. Revieweren skal se dokumentationen, den gældende politik, risikoklassificeringen, den foreslåede handling og konsekvenserne af at godkende. Systemet skal registrere beslutningen som en overgang, ikke som en kommentar, som fremtidig arkæologi måske eller måske ikke opdager. Menneskeligt tilsyn uden en tilstandsændring er ofte bare et møde med en brugergrænseflade.
Der er også et kedeligt, men vigtigt punkt om negative guards. Ansvarlig AI handler ikke kun om at sige ja ansvarligt. Det handler om at sige nej klart. Nej, fordi formålet mangler. Nej, fordi kilden er forældet. Nej, fordi modellen er uden for sit godkendte domæne. Nej, fordi brugeren mangler autoritet. Nej, fordi menneskelig gennemgang er påkrævet. Nej, fordi handlingen er for konsekvensrig i forhold til den tilgængelige dokumentation. Et afslag med en begrundelse er en bedre systemtilstand end en vag fejl, der inviterer til at prøve igen, indtil noget bevæger sig.
Tilstande gør ansvar tildelbart
En af grundene til, at AI-ansvarlighed bliver uklar, er, at ansvar diskuteres på hele systemets niveau. Organisationen er ansvarlig. Leverandøren er ansvarlig. Produktejeren er ansvarlig. Databeskyttelsesrådgiveren er ansvarlig. Modellen er ansvarlig, hvilket er en sætning, der burde få en advokat til at stirre op i loftet for at samle kræfter. Ved kørsel har ansvar brug for et mindre håndtag.
Stater skaber det håndtag. Under optagelse kan serviceejeren være ansvarlig for formål og omfang. Under hentning kan dataejeren være ansvarlig for kildekvalitet og tilladelser. Under modelgenerering kan den tekniske ejer være ansvarlig for godkendte versioner og indstillinger. Under gennemgang kan en menneskelig rolle være ansvarlig for vurdering. Under handling kan workflowejeren være ansvarlig for eksterne virkninger. Under afslutning kan records management være ansvarlig for opbevaring og sletning. Det præcise kort vil variere, men princippet holder: ansvar knytter sig bedre til overgange end til tåge.
Dette betyder noget, når noget går galt. Hvis et output var dårligt, fordi kilden var forældet, bør statmaskinen vise, hvor friskheden blev kontrolleret eller overset. Hvis et menneske godkendte en risikabel handling, bør registreringen vise, hvilke beviser de så. Hvis en politik ændrede sig, bør verserende sager afsløre, hvilken version der styrede dem. Hvis en model blev opgraderet, bør overgange på tværs af udgivelsesgrænsen kunne inspiceres. Pointen er ikke at finde nogen at bebrejde hurtigere. Pointen er at gøre reparation mulig uden at lade som om, hele systemet fejlede i ét udifferentieret skuldertræk.
Tildelbart ansvar forbedrer også det daglige arbejde. Teams ved, hvilken stat de ejer. Målinger bliver mindre teatralske. I stedet for at annoncere, at det ansvarlige AI-program er modent, kan organisationen måle blokeringer af forældede kilder, afvisninger på grund af manglende formål, gennemgangsoverskridelser, appelsager, hændelsesovergange og forsinkelser i afslutning. Dette er mindre egnet til en glossy slide. Det er meget mere egnet til at drive et system.
Dårlige stater fortjener ordentlige navne
De fleste fejl i ansvarlig AI er ikke skurkeagtige. De er almindelige stater med dårlige navne eller ingen navne. Et udkast til svar behandles som et endeligt svar. En midlertidig undtagelse bliver en rute. Et output med lav sikkerhed bliver en handling med høj effekt, fordi workflowet ikke havde nogen mellemstat. En model ser data, den ikke burde have set, fordi hentningsstaten ikke bar formålet. En menneskelig gennemgåer bliver en rubber stamp, fordi staten kaldet gennemgang ikke krævede beviser eller registrering af uenighed.
At give dårlige stater ordentlige navne er ubehageligt og nyttigt. Stille udkast. Scope creep. Forældet kilde. Manglende ejer. Ugennemgået handling. Ingen udgang. Disse er ikke rodårsager i sig selv, men de er steder at placere kontroller. Et system kan opdage stille udkast, når genereret tekst kopieres til ekstern kommunikation uden godkendelse. Det kan opdage scope creep, når et workflow anmoder om en kilde uden for det erklærede formål. Det kan opdage en forældet kilde, når en citation er ældre, end politikken tillader. Det kan opdage ingen udgang, når blokerede sager sidder for evigt, fordi ingen designede den humane afvisning.
Vanen forhindrer også moralsk overreaktion. Ikke enhver fejl er en etisk krise. Nogle gange er det en køstat uden en ejer. Nogle gange er det en opbevaringsstat, som ingen forbindt med sletning. Nogle gange er det en sikkerhedstærskel, der lader som om den er dømmekraft. At navngive staten lader teamet reparere mekanismen. Uden navne bliver enhver hændelse en debat om kultur. Kultur betyder noget, men det er en dårlig erstatning for at vide, hvilken overgang der lækkede.
Der er tør komik i at se organisationer frygte ordet statmaskine, fordi det lyder for teknisk, mens de gladeligt driver en labyrint af godkendelsesmails, regnearkstatus og undtagelser, som kun tre personer og en kalenderinvitation kender. Den formelle version er ofte enklere. Den har bare den uforskammethed at være synlig.
Dokumentation hører til på overgangen
Hvis tilstandsautomaten skal have betydning, skal den have dokumentation. Registreringen skal ikke blot sige, at en sag er godkendt. Den skal sige, hvad der udløste overgangen, hvilken vagt der blev vurderet, hvilke data der blev brugt, hvilke model- og politikversioner der blev anvendt, hvem eller hvad der godkendte, hvilken effekt der fulgte, og hvordan sagen kan genses eller anfægtes. Dokumentation er ikke pynt efter handlingen. Den er en del af, at handlingen bliver ansvarlig.
Dette er især vigtigt for AI, fordi output kan være plausible, mens deres vej er skrøbelig. Et resumé kan være korrekt, men baseret på en kilde, som brugeren ikke havde adgang til. En anbefaling kan være fornuftig, men uden for modellens godkendte anvendelse. En klassificering kan være præcis, men produceret efter en politiks deadline. Et afslag kan være sikkert, men juridisk ubrugeligt, hvis det ikke giver nogen vej til reparation. Svaret alene kan ikke fortælle dig disse ting. Overgangsregistreringen kan.
God dokumentation giver også teams mod til at automatisere, hvor automatisering er passende. Ansvarlig AI er ikke en permanent undskyldning for at bruge maskiner. Hvis en opgave har lav påvirkning, er velafgrænset, reversibel, tilstrækkeligt testet og korrekt registreret, kan automatisering være den ansvarlige vej. Hvis en opgave har høj påvirkning, er omstridt, ny eller irreversibel, bør tilstandsautomaten bremse den. Pointen er ikke at tilbede menneskelig gennemgang. Pointen er at rute arbejde efter risiko, dokumentation og afhjælpning.
Dokumentation gør denne ruting mindre politisk. Et team kan vise, at en tilstand er sikker for automatisering, fordi tidligere overgange var præcise, appeller var sjældne, korrektioner blev inkorporeret, og kontroller fangede de rigtige tilfælde. Eller det kan vise, at en tilstand har brug for mere menneskelig dømmekraft, fordi fejlmønstre forbliver vanskelige, berørte personer anfægter resultater, eller datakvaliteten er svag. Dette er et bedre argument end det sædvanlige teater, hvor den ene side siger innovation, og den anden side siger risiko, indtil alle har brug for kaffe.
Menneskelig gennemgang er en tilstand, ikke en gestus
Menneskelig gennemgang påberåbes ofte, som om den løste ansvar ved at eksistere. Et menneske er i loopet. Fint. Hvilket loop. På hvilken tilstand. Med hvilke beviser. Med hvilken autoritet. Kan mennesket være uenig. Ændrer uenighed systemet. Er gennemgangen stikprøvebaseret, obligatorisk, risikoudløst eller kosmetisk. Ser gennemgående det kildemateriale eller kun modellens pæne prosa. Er der tid til at tænke. Er der træning. Er der en registrering. Udtrykket menneske i loopet bør behandles som et åbningsspørgsmål, ikke som et afsluttende argument.
En tilstandsmaskine gør menneskelig gennemgang konkret. Den kan skelne mellem gennemgang påkrævet og gennemgang valgfri, gennemgang afventende og gennemgang fuldført, menneske ændrede output og menneske bekræftede output, eskalering nødvendig og eskalering udført. Den kan også skelne mellem den slags vurdering, der er involveret. Nogle gennemgange kontrollerer faktuel kildebrugen. Nogle kontrollerer politikoverholdelse. Nogle kontrollerer empati og tone. Nogle kontrollerer juridisk autoritet. Nogle kontrollerer, om en undtagelse er berettiget. En enkelt boks kaldet godkendt er sjældent rig nok til seriøst arbejde.
At designe gennemgang som en tilstand beskytter også mennesker mod at blive brugt som moralsk polstring. Hvis systemet sender hver akavet sag til en person uden beviser, prioritering eller feedback, bliver personen en losseplads for usikkerhed. Det er ikke tilsyn. Det er en bemandingsmodel med skyld knyttet til. En ansvarlig gennemgangstilstand pakker sagen, navngiver den beslutning, der kræves, bevarer uenighed og fodrer resultater tilbage i evaluering. Den giver mennesket et job, der er et menneske værdigt.
Det modsatte er også sandt. Nogle systemer bruger menneskelig gennemgang, hvor en bedre vagt ville være venligere. Hvis en sag mangler juridisk grundlag, så send den ikke til en gennemgående for at opdage det manuelt. Blokér den. Hvis kilden er forældet, opfrisk eller afvis. Hvis brugeren mangler autoritet, så sig det. Mennesker bør håndtere vurdering, ikke kompensere for manglende rørføring. Vi har brugt årtier på at opfinde maskiner. Det ville være dårlig opførsel at få folk til at opføre sig som valideringsscripts.
Irreversibilitet ændrer maskinen
Ikke alle overgange er lige. Nogle er reversible. Et udkast kan redigeres. En rute kan ændres. En anbefaling kan trækkes tilbage. Andre overgange er sværere at fortryde: en besked er sendt, en ydelse er nægtet, et risikoflag ændrer en kø, en registrering er opdateret, en person er rapporteret, en betaling er foretaget, en kunde er låst ude. Ansvarlig AI skal vide, hvilke overgange der krydser ind i verden.
Irreversibilitet bør ændre vagtposten. Systemet bør kræve mere dokumentation, stærkere autoritet, tydeligere menneskelig vurdering, bedre varsel og en mere synlig klagevej, før irreversible virkninger indtræffer. Det bør også foretrække trinvise overgange, hvor det er muligt. Udkast før afsendelse. Anbefal før beslutning. Hold igen før afvisning. Giv besked før håndhævelse. Gennemgå før rapportering. Dette er ikke langsommelighed for sin egen skyld. Det er forskellen mellem et system, der kan rette sig selv, og et system, der skaber oprydningsarbejde med en selvsikker facade.
Tilstandsmaskinen hjælper også med delvis reversibilitet. Noget skade kan repareres teknisk, men ikke socialt. En forkert intern opsummering kan rettes. En forkert ekstern beskyldning kan hænge ved, selv efter den er rettet. En forsinket ydelse kan udbetales senere, men huslejen forfaldt tidligere. En slettet post kan nogle gange gendannes, men tilliden kan det ikke nødvendigvis. Maskinen bør behandle disse overgange med den alvor, deres menneskelige virkning fortjener, ikke blot deres database-rollback.
Det er her, ansvarlig AI undslipper fantasien om, at etik er adskilt fra drift. Den operationelle detalje er den etiske overflade. Kødesign påvirker retfærdighed. Genforsøgspolitik påvirker duplikering. Timeout-adfærd påvirker adgang. Opbevaring påvirker privatliv. Gennemgangsbyrde påvirker værdighed. Tilstandsovergange er ikke neutralt rørføring. De er, hvordan systemet møder mennesker.
Evaluering som overgangsdokumentation
Evaluering ligger ofte uden for arbejdsgangen, som om det var en skoleeksamen, der blev afholdt, før systemet dimitterede. I en ansvarlig tilstandsmaskine bliver evaluering løbende overgangsdokumentation. Hver overgang kan producere signaler: hvor ofte vagtposten blokerede, hvor ofte mennesker tilsidesatte, hvor ofte appeller lykkedes, hvor ofte kilder var forældede, hvor ofte modelkonfidens var uenig med menneskelig vurdering, hvor ofte en formodet lavrisiko-vej skabte klager.
Disse signaler bør føde maskinen. En overgang, der producerer gentagne appeller, kan have brug for en stærkere vagtpost eller tydeligere varsel. En menneskelig gennemgangstilstand med høj enighed og lav virkning kan være berettiget til mere automatisering, forudsat at afhjælpningen forbliver reel. En afvisningstilstand, der fanger brugere, kan have brug for en reparationsvej. En politikvagtpost, der blokerer for mange legitime sager, kan afsløre en dårlig politik, ikke en dårlig model. Maskinen er ikke ansvarlig, fordi den er statisk. Den er ansvarlig, fordi den kan lære uden at skjule fortiden.
Denne læring kræver versionsstyring. Tilstande, vagtposter, tærskler, prompter, modeller, politikker, datakilder og gennemgangsinstruktioner ændrer sig. Registret skal vise, hvilken version der blev anvendt på hvilken overgang. Ellers kan organisationen kun evaluere en suppe af tidligere valg. Suppe har kulinariske anvendelser. Det er ikke en styringsmetode, uanset hvor mange dashboards der flyder ovenpå.
Versionsstyret overgangsdokumentation holder også forbedringer ærlige. Et team kan sige, at en ny vagtpost reducerede ugennemgåede handlinger, men øgede forsinkelse. Det kan sige, at en ny kilde forbedrede nøjagtighed, men øgede privatlivsfriktion. Det kan sige, at en modelopgradering forbedrede opsummeringer, men svækkede afvisningsdisciplin. Afvejninger er ikke fejl. Skjulte afvejninger er fejl, der venter på en kalenderinvitation.
Lærdommen
Tilstandsmaskinen bag ansvarlig AI er ikke et kald til koldere systemer. Det er et kald til systemer, der ved, hvad de laver, mens de gør det. En navngivet tilstand er ikke en moralsk præstation. En vagtpost er ikke retfærdighed. En kvittering er ikke tillid. Men uden disse ting forbliver ansvarlig AI på intentionens niveau, og intention har en dårlig oppetidsrekord.
Ansvarlig AI kræver formål, autoritet, dokumentation, grænser, menneskelig vurdering, klageadgang, udbedring, opbevaring og læring. Disse ord bliver operationelle gennem tilstande og overgange. De afgør, hvornår en sag flytter sig, hvornår den stopper, hvem der ejer den, hvilken registrering der oprettes, hvilken løsning der findes, og hvad systemet skal huske næste gang. Dette er ikke hele etikken. Det er den del, der kan stoppe en dårlig handling, før den bliver til en meget veldokumenteret fortrydelse.
Formularen i starten har stadig værdi. Den stiller de rigtige indledende spørgsmål. Men formularen skal føre til en maskine, der kører: navngivne tilstande, eksplicitte betingelser, holdbar dokumentation, reel gennemgang og udgange for mennesker, der er berørt af systemet. Ansvarlig AI bevises ikke af, at der findes en politik. Den bevises eller modbevises ved overgangen, hvor systemet beslutter, hvad der sker derefter.