Právo vedieť, čo sa zmenilo

Rozhodnutie nie je len jeho posledná veta. Je to pravidlo, dáta, systém, postup a ľudská autorita, ktoré ju umožnili. Bez ich histórie sa zodpovednosť mení...

Právo vedieť, čo sa zmenilo

Dokument, ktorý tam nebol

V marci 2024 začal európsky ombudsman vyšetrovanie týkajúce sa toho, ako Európska komisia rozhoduje o využívaní umelej inteligencie a ako ju používa. Otázky sa týkali troch bežných oblastí administratívnej práce: analýzy pripomienok verejnosti, zisťovania možných porušení pravidiel hospodárskej súťaže a vybavovania sťažností. Ombudsman sa pýtal na automatizáciu, rozhodnutie použiť AI, transparentnosť tohto rozhodnutia a zodpovednosť. Verejné oznámenie neopisovalo divadelné zlyhanie. Opisovalo potrebu pochopiť, ako inštitúcia prijíma a riadi určité rozhodnutie.

Tento rozdiel je dôležitý. Keď sa orgán pýtajú, prečo použil určitý systém, užitočnou odpoveďou je málokedy záverečná tlačová správa. Recenzent potrebuje vedieť, aký účel bol schválený, ktoré pravidlo a definícia údajov boli v platnosti, aká verzia systému sa použila, čo mohol operátor vidieť a ktorá osoba mala právomoc výsledok prijať alebo odmietnuť. Vysvetlenie je cestou v čase. Ak bola táto cesta prepísaná súčasnosťou, inštitúcia môže ponúknuť vierohodné vysvetlenie, ale nie nevyhnutne to, ktoré bolo pravdivé v čase rozhodnutia.

Verejné organizácie tento problém chápu už dlho. Povolenie, politický dokument, zápis v registri, súdny spis a rozhodnutie ministra nadobúdajú význam zo svojej histórie. Zákon má dátum účinnosti. Verejný záznam má tvorcu a kontext. Oprava sa ticho nestane originálom. Digitálne systémy tieto skutočnosti neodstránili. Rozptýlili ich naprieč verziami, konfiguráciou, zdrojovými kanálmi, frontami, výzvami, pravidlami prístupu a službami dodávateľov. Konečný stav môže byť stále viditeľný. Cesta, ktorá mu dala autoritu, môže byť preč.

Právo vedieť, čo sa zmenilo, preto nie je žiadosťou o každý úder klávesu. Je to nárok na zodpovednú pamäť. Ľudia dotknutí verejným rozhodnutím by mali mať možnosť zistiť, ktorá verzia relevantného sveta ho vytvorila, v rámci limitov stanovených ochranou súkromia, bezpečnosťou a inými oprávnenými záujmami. Inštitúcie potrebujú rovnaké poznatky na opravu chýb, vybavovanie odvolaní a vysvetľovanie vlastného konania. História nie je dekoratívnou prílohou rozhodnutia. Je súčasťou toho, čo robí z rozhodnutia rozhodnutie, a nie osamotený výstup.

Zoznam zmien je zdvorilosťou; história je dôkaz

Softvérové tímy poznajú zoznamy zmien. Poznámka k vydaniu hovorí, že rozhranie bolo vylepšené, chyba opravená alebo závislosť aktualizovaná. Dobrý zoznam zmien je užitočná komunikácia. Pomáha používateľom rozhodnúť sa, či prejsť na novšiu verziu, a dáva správcom verejný prehľad o ich práci. Sám o sebe však nie je záznamom o rozhodnutí. Zvyčajne opisuje to, čo vydavateľ považuje za dôležité. Nesľubuje, že reprodukuje stav každého prípadu, ktorý prešiel systémom.

História rozhodnutí má inú úlohu. Musí odpovedať na otázku o konkrétnom akte v konkrétnom čase. Ktorá verzia pravidla oprávnenosti sa použila na túto žiadosť. Ktorá definícia príjmu bola k dispozícii, keď sa vypočítalo skóre. Ktorý model a kalibrácia vytvorili poradie. Ktorá trasa pracovného toku postavila prípad pred tohto recenzenta. Ktoré dôkazy recenzent videl. Ktoré oznámenie bolo odoslané. Odpoveď sa môže odvolávať na zoznam zmien, ale nemôže sa tam zastaviť. Poznámka k vydaniu opisuje zmenu všeobecne. História spája zmenu s dotknutým rozhodnutím.

Preto zelený riadok s textom aktualizované nestačí. Aktualizované kedy, na základe akej právomoci, s akým dátumom účinnosti a pre ktoré prípady. Záznam s textom politika vylepšená ponecháva otvorené, či stará politika zostáva relevantná pre odvolanie, či je potrebné preskúmať skorší výsledok a či sa zmena zaviedla všade naraz. História nesie vzťahy, nie prídavné mená. Spája objekt s jeho predchádzajúcim stavom, jeho nástupcom, dôvodom prechodu a obdobím, v ktorom bol stav platný.

Medzi týmito dvoma záznamami je praktický rozdiel v tom, ako vznikajú. Záznam zmien možno napísať až po dokončení technickej práce, pretože jeho čitateľ potrebuje súhrn. História rozhodnutí sa musí vytvárať priebežne počas práce, alebo z podkladov, ktoré vznikli v tom čase. Spätné poznámky sú užitočné, ale sú interpretáciou. Nemôžu bezpečne nahradiť dobový kontext. Tento rozdiel nie je romantický. Jeden záznam pomáha ľuďom držať krok s produktom. Druhý umožňuje inštitúcii stáť za svojím konaním.

História rozhodnutí spája výsledok s verziami, ktoré ho umožnili, a zanecháva cestu pre nápravu.

Čo sa zmenilo, je málokedy len jedna vec

Keď sa rozhodnutie prehodnocuje, ľudia často začínajú najviditeľnejšou súčasťou. Zmenil sa model. Zmenil sa formulár. Stránka politiky má nový nadpis. Dodávateľ nasadil aktualizáciu. Tieto tvrdenia môžu byť všetky pravdivé a napriek tomu im unikne podstatná zmena. Verejné rozhodnutie sa skladá z vrstiev, ktoré sa pohybujú rôznou rýchlosťou, majú rôznych vlastníkov a rôzne predstavy o tom, čo sa považuje za vydanie.

Dátová vrstva sa môže zmeniť, keď zdrojová autorita opraví adresu osoby, štatistickú definíciu, klasifikačný kód alebo referenčnú tabuľku. Pipeline sa môže zmeniť v tom, ako spája záznamy alebo spracúva chýbajúce hodnoty. Index vyhľadávania sa môže znovu vytvoriť z inej kolekcie. Vyrovnávacia pamäť môže uchovávať starší výklad aj potom, čo sa zdroj posunul ďalej. Žiadnu z týchto zmien netreba nazvať zmenou AI, aby zmenila výsledok pracovného postupu s podporou AI.

Vrstva pravidiel má tiež viac ako jeden povrch. Môže existovať zákon, interná politika, písomný pokyn, prah v konfigurácii, tabuľka výnimiek a školiaca poznámka pre posudzovateľov. Zverejnená politika môže zostať doslova rovnaká, zatiaľ čo prah sa zmení v súbore nasadenia. Naopak, politika sa môže zmeniť, zatiaľ čo staré pravidlo naďalej platí v jednom regióne, pretože vydanie bolo rozložené. Osoba dotknutá výsledkom by nemusela vedieť, ktorý tím vlastní ktorý fragment, skôr než sa spýta, čo sa stalo.

Vrstva systému zahŕňa model, jeho váhy alebo balík, jeho prompt alebo šablónu, konfiguráciu vyhľadávania, bezpečnostné nastavenia a softvér, ktorý ho volá. Vrstva pracovného postupu zahŕňa front, trasu, oprávnenia, obrazovku a odovzdanie. Konanie posudzovateľa závisí od toho, čo rozhranie prezentuje ako dôležité a čo umožňuje. Vrstva rozhodnutia zahŕňa výsledok, vysvetlenie, oznámenie, následný účinok a prípadné odvolanie. História verzií je disciplína pomenúvania vrstiev, ktoré boli podstatné, nie pokus prinútiť jedno obrovské číslo verzie, aby vykonalo inštitucionálne kúzlo.

Archív už vie, že na verziách záleží

Holandský národný archív používa definíciu, ktorá je osviežujúco jednoduchá: historická verzia je predchádzajúca verzia informačného objektu. Jeho usmernenie uvádza bežné príklady. Poznámka sa môže posunúť z návrhu cez koncept až po schválený text. Zákon môže byť novelizovaný. Do žiadosti o povolenie možno doplniť informácie. Osoba sa môže presťahovať, čím sa zmení hodnota v registri. V závislosti od dôležitosti zmeny môže byť potrebné, aby staršie verzie zostali prístupné. To nie je nová požiadavka vytvorená strojovým učením. Je to správa záznamov aplikovaná na digitálnu prácu.

Rovnaké usmernenie uvádza dva body, ktoré sa v diskusii o cloudových systémoch ľahko stratia. Informácie vlády sú pokryté bez ohľadu na ich technickú formu. Môže ísť o záznam v databáze, webovú stránku, správu alebo video, nielen o podpísaný papier. A miesto, kde sú informácie uložené, nerozhoduje o tom, či musia zostať prístupné. Server dodávateľa nerobí záznam menej relevantným pre inštitúciu, ktorá ho používala. Súkromný laptop nezmení oficiálne informácie na osobný suvenír.

Tieto zásady sú užitočné pre AI, pretože AI skrýva bežné informácie pod technickými povrchmi. Definícia funkcie, modelová karta, notebook na vyhodnotenie, šablóna výzvy, pravidlo smerovania alebo správa o schválení môžu určiť, ako sa verejná služba správa. Nazývať ich konfiguráciou neodstraňuje ich administratívny účinok. Len to sťažuje videnie ich histórie. Archívne myslenie kladie lepšiu otázku: aké informácie boli vytvorené alebo prijaté, kým organizácia vykonávala svoju úlohu, a čo musí zostať použiteľné, aby bolo možné úlohu neskôr pochopiť.

Archivovanie nie je to isté ako uchovávanie všetkého. Národný archív opisuje rozhodnutia o tom, ktoré historické verzie zostanú prístupné. Návrh nemusí vyžadovať rovnaké zaobchádzanie ako schválené rozhodnutie. Osobné pole môže vyžadovať inú cestu uchovávania ako právny základ. Ide o to, aby sa rozhodnutie urobilo zámerne a zaznamenal sa dôvod. Vymazanie histórie môže byť legitímne. Vymazanie bez toho, aby sme vedeli, či ide o históriu dotknutého rozhodnutia, je len rýchly spôsob, ako neskôr prehrať argument.

GDPR vyžaduje zodpovednosť, nie archeológiu

Všeobecné nariadenie o ochrane údajov nepredpisuje verejným orgánom jediný produkt na správu verzií. Robí niečo náročnejšie. Článok 5 ods. 2 kladie zodpovednosť na prevádzkovateľa a vyžaduje, aby prevádzkovateľ dokázal preukázať súlad so zásadami ochrany údajov. Článok 24 opisuje zodpovednosť za primerané technické a organizačné opatrenia. Článok 30 vyžaduje záznamy o činnostiach spracúvania za okolností stanovených nariadením. Spoločne tieto ustanovenia robia zo zodpovednosti vlastnosť, ktorú musí organizácia vedieť preukázať, nielen presvedčenie, ktoré môže vyhlásiť.

Záznam o činnostiach spracúvania nie je úplnou históriou rozhodnutí. Zvyčajne opisuje spracovateľskú operáciu na organizačnej úrovni: jej účel, kategórie údajov a osôb, príjemcov, uchovávanie a bezpečnostné opatrenia. Tento záznam odpovedá na inú otázku ako to, ktorá zdrojová hodnota bola aktívna v jednotlivom prípade. Ale zásada zodpovednosti vytvára jasný dôvod na zachovanie vzťahov, ktoré organizácii umožňujú preukázať, čo urobila. História verzií je jedným zo spôsobov, ako tieto vzťahy sprístupniť na kontrolu. Podporuje zákonnú povinnosť; magicky ju nespĺňa.

Toto rozlíšenie zabraňuje dvom častým chybám. Prvou je považovať register za prehratie každého rozhodnutia. Stránka, ktorá uvádza, že organizácia spracúva adresné údaje na poskytovanie služieb, nemôže dokázať, ktorá adresa bola použitá pre konkrétne oznámenie. Druhou je považovať podrobné záznamy za automaticky zákonný dôkaz. Záznam môže obsahovať viac osobných údajov, než si účel vyžaduje, môže byť uchovávaný dlhšie, než je odôvodnené, alebo môže byť prístupný ľuďom, ktorí to nepotrebujú vedieť. Zodpovednosť zahŕňa minimalizáciu a bezpečnosť. Pamäť musí byť navrhnutá tak, aby mala aj východ, nielen vchod.

Pre tímy, ktoré budujú alebo nakupujú systémy s umelou inteligenciou, je praktickým dôsledkom definovať čo najmenší trvalý záznam, ktorý dokáže odpovedať na predvídateľnú otázku. Môže ísť o odkaz na zdrojovú verziu namiesto kópie celého zdroja. Môže ísť o zapečatený balík dôkazov s obmedzeným prístupom. Môže ísť o identifikátor pravidla a obdobie účinnosti spolu s výsledkom. Právnym testom nie je, či organizácia zhromaždila pôsobivé množstvo telemetrie. Je ním, či organizácia dokáže preukázať zákonné, spravodlivé a účelovo viazané spracúvanie bez toho, aby z každého človeka vytvorila trvalú stopu dátového výfuku.

Akt o umelej inteligencii mení pamäť životného cyklu na požiadavku

Akt o umelej inteligencii je explicitnejší, pokiaľ ide o technickú pamäť určitých systémov. Článok 11 vyžaduje, aby technická dokumentácia systému umelej inteligencie s vysokým rizikom bola pripravená pred uvedením systému na trh alebo do prevádzky, bola priebežne aktualizovaná a bola dostatočne jasná na to, aby orgány a notifikované osoby mohli posúdiť súlad. Článok 12 vyžaduje, aby systémy s vysokým rizikom technicky umožňovali automatické zaznamenávanie udalostí počas životnosti systému, pričom protokolovanie musí byť relevantné pre riziko, monitorovanie po uvedení na trh a prevádzku. Ide o povinnosti počas celého životného cyklu, nie o žiadosť o brožúru ku dňu uvedenia na trh.

Odôvodnenie nariadenia o vysledovateľnosti vysvetľuje prečo. Informácie o tom, ako bol systém s vysokým rizikom vyvinutý a ako funguje počas svojej životnosti, sú potrebné na posúdenie súladu a monitorovanie prevádzky. Dokumentácia má pokrývať charakteristiky, schopnosti, obmedzenia, algoritmy, údaje, tréning, testovanie, validáciu a riadenie rizík. Slová priebežne aktualizovaná vykonávajú dôležitú prácu. Dokument, ktorý opisoval skorší systém, ale nikdy nebol zmenený, je dôkazom skoršieho stavu, nie dôkazom, že súčasný stav zostáva v súlade.

Príloha IV konkretizuje vzťah medzi verziami. Všeobecný opis systému s vysokým rizikom zahŕňa jeho názov a verziu, vzťah k predchádzajúcim verziám, ako aj príslušné verzie softvéru alebo firmvéru a požiadavky na aktualizáciu. Číslo verzie bez vzťahu je len štítok. Vzťah umožňuje recenzentovi pochopiť kontinuitu, zmenu a rozsah. Je to rozdiel medzi tvrdením toto je verzia štyri a ukázaním, ktoré predpoklady verzia štyri prevzala, nahradila alebo zastarala.

Nič z toho neznamená, že každé verejné rozhodnutie je automaticky prípadom vysoko rizikovej umelej inteligencie podľa aktu. Klasifikácia závisí od systému, účelu a použitia opísaných v nariadení. Znamená to však, že organizácie by mali prestať považovať vysledovateľnosť za voliteľné pohodlie pre technicky najvyspelejšie tímy. Tam, kde zákon vyžaduje, aby systém zanechal použiteľnú prevádzkovú históriu, sa otázka dizajnu stáva praktickou: ktoré udalosti, verzie a orgány musí záznam prepojiť, aby neskoršia kontrola mohla zistiť, čo sa stalo, bez toho, aby musela žiadať pôvodný tím, aby si to pamätal.

Verejné rozhodnutie je zásobník

Predstavte si, že otvárate spis spred dvoch rokov. Výsledok je tam. Záznam osoby je teraz úplnejší. Stránka s pravidlami bola prepracovaná. Model bol dvakrát aktualizovaný. Rozhranie má nový panel na posudzovanie. Dodávateľ zmenil svoje hostingové opatrenia. Manažér tvrdí, že tím vždy vykonával ľudskú kontrolu. Každé vyhlásenie môže byť dnes presné. Žiadne vám však nepovie, ako spis vyzeral, keď rozhodnutie prekročilo hranicu z odporúčania na konanie.

Obhájiteľný záznam sa na rozhodnutie pozerá ako na zásobník. Na dne je zdrojový stav s identitou, platnosťou, pôvodom a podmienkami prístupu. Nad ním sú platné pravidlá a prahy. Stav systému identifikuje softvér, model, výzvu, index a konfiguráciu. Stav pracovného postupu zachytáva smerovanie, oprávnenia, pozíciu v poradí a úlohu človeka. Potvrdenie rozhodnutia spája výstup, dôvod, oznámenie, konanie a nadväzujúci odkaz. Neskoršia oprava sa potom môže vrátiť cez zásobník a zistiť, ktoré rozhodnutia záviseli od zmenenej vrstvy.

Zásobník nemusí každému čitateľovi odhaliť každý vnútorný detail. Verejné oznámenie môže byť stručné, zatiaľ čo oprávnený posudzovateľ môže preskúmať hlbší záznam. Dôležité je, aby inštitúcia nezlúčila odlišné významy do jedného poľa s názvom verzia. Verzia zdroja nie je verziou pravidiel. Verzia modelu nie je vydaním pracovného postupu. Úloha posudzovateľa nie je dôvodom schválenia. Ich oddelenie umožňuje organizácii poskytnúť správne vysvetlenie správnej osobe a vyhnúť sa vymýšľaniu jediného príbehu, ktorý žiadny systém v skutočnosti nezaznamenal.

To tiež objasňuje vlastníctvo. Správca údajov vlastní cestu opravy zdroja. Vlastník pravidiel vlastní platné pravidlo. Technický tím vlastní artefakt vydania. Prevádzkový tím vlastní pracovný postup a školenie. Rozhodovateľ vlastní samotný úkon. Riadenie spája záznamy a stanovuje hranice uchovávania a prístupu. Ak nikto nevie povedať, kto vlastní vrstvu, história verzií bude zoznamom štítkov bez zodpovedného hlasu.

Čas má viac ako jedny hodiny

Dátumy sú potrebné a často zavádzajúce. Pravidlo môže byť zverejnené v pondelok, nadobudnúť účinnosť v piatok a dostať sa ku konkrétnej službe v nasledujúci utorok. Zdroj môže byť zhromaždený o 09:10, opravený o 11:00 a spracovaný o 14:00. Balík modelu môže byť schválený v jednom prostredí a nasadený v inom. Posudzovateľ môže otvoriť spis pred zmenou a odoslať ho po nej. Jedna časová pečiatka nemôže niesť všetky tieto významy bez pomoci.

Dobrá história rozlišuje prinajmenšom čas vytvorenia artefaktu, čas nadobudnutia účinnosti, čas pozorovania alebo zachytenia a čas použitia. Môže tiež potrebovať čas vyradenia, opravy alebo zistenia, že je nesprávny. Toto nie sú pedantské rozdiely. Odvolanie môže závisieť od toho, či sa nový prah vzťahoval na žiadosť podanú pred dátumom účinnosti, alebo či by oprava mala zmeniť už vydané oznámenie. Odpoveď patrí zákonu a politike inštitúcie, ale fakty si vyžadujú hodiny, ktoré dokážu ukázať postupnosť.

Platnosť má aj rozsah. Regionálny pracovný postup môže mať jedno vydanie v Rotterdame a iné v Lyone. Jazykový balík sa môže meniť podľa iného harmonogramu ako rozhodovacie pravidlo. Model môže byť k dispozícii na návrh, ale zakázaný na konečné konanie. Záznam, ktorý hovorí aktívny bez uvedenia kde a na aký účel, je mapa bez dopravných značiek. Rozsah mení všeobecnú verziu na použiteľný fakt.

Hodiny by mali byť zrozumiteľné aj pre ľudí, ktorí nespravujú nasadzovací proces. Dotknutá osoba by sa nemusela učiť zostavovací systém, aby sa mohla opýtať, ktoré pravidlo sa uplatnilo. Technický záznam si môže ponechať presné identifikátory, zatiaľ čo verejné vysvetlenie ich preloží do účinného dátumu, pomenovanej politiky a jasného vyhlásenia o tom, čo organizácia ešte môže urobiť. Presnosť a jednoduchý jazyk nie sú protivníkmi. Presnosť dáva jednoduchému jazyku niečo konkrétne, o čom môže hovoriť.

Prehratie je metóda, nie tlačidlo

Slovo prehratie vytvára nebezpečné očakávanie. Znie to, akoby organizácia mohla stlačiť tlačidlo a sledovať, ako sa minulosť odohrá znova, presne tak, ako sa stala. Niekedy ohraničený systém dokáže niečo podobné. Častejšie prehratie znamená znovuvytvorenie príslušného stavu zo zaznamenaných vstupov, verzií, pravidiel, povolení a akcií a následné ukázanie, kde je rekonštrukcia presná a kde zostáva neistota.

Skutočný záznam prehratia oddeľuje to, čo bolo pozorované, od toho, čo sa rekonštruuje. Pôvodný vstup môže byť zapečatený. Identifikátory pravidla a modelu môžu byť známe. Presná odpoveď externej služby nemusela byť zachovaná. Neskoršia oprava zdroja môže byť dostupná, ale v danom čase neplatná. Ľudská kontrola môže mať podpísaný výsledok, ale nie úplný záznam obrazovky. Prehratie by nemalo tieto medzery vyplniť novým sebavedomým odsekom. Malo by ich označiť. Úprimná čiastočná história je užitočnejšia ako úplná fikcia.

Prehratie tiež nie je to isté ako regenerácia. Požiadať súčasný systém, aby odpovedal na starú otázku, môže ukázať, ako sa systém správa dnes. Nedokazuje to, čo robil vtedy. Nový výsledok môže používať iný model, zdroj, politiku, výzvu, rozhodnutie o smerovaní alebo jazykové znázornenie. Môže byť hodnotný ako porovnanie, ak záznam uvádza, že ide o porovnanie. Neskoršia analýza sa nesmie vydávať za vtedajšie odôvodnenie.

Prehratie je okno dôkazov. Ukazuje, čo možno získať späť, čo sa zmenilo a kam ešte môže oprava putovať.

Prehrateľná história mení kvalitu odvolania. Otázka prestáva byť, prečo si organizácia myslí, že sa to stalo, a stáva sa, ktoré časti histórie môžeme overiť. To je zdravší východiskový bod. Dáva inštitúcii povolenie povedať, že záznam je úplný, pokiaľ ide o pravidlo a výsledok, ale neúplný, pokiaľ ide o externú odpoveď. Dáva kontrolórovi spôsob, ako rozhodnúť, či je chýbajúca časť podstatná. Dáva inžinierom presnú chybu na opravu namiesto vágnej požiadavky na väčšiu transparentnosť.

Transparentnosť má hranice, nie výhovorky

Právo vedieť, čo sa zmenilo, nie je právom dostať každý interný záznam v surovej podobe. Verejné orgány majú stále povinnosť chrániť osobné údaje, informácie citlivé z hľadiska bezpečnosti, dôverné obchodné informácie a integritu vyšetrovaní. Podrobná história môže odhaliť údaje inej osoby alebo uľahčiť obchádzanie kontroly. Užitočné verejné vysvetlenie preto môže byť viacvrstvovým záznamom: zrozumiteľným opisom príslušného pravidla a časového rámca, odkazom na auditovateľný balík dôkazov a riadeným spôsobom hlbšieho nahliadnutia.

Vrstvenie funguje len vtedy, keď hlbší záznam existuje. Redigovanie nie je náhradou za uchovávanie originálu. Ak inštitúcia zverejní súhrn a zlikviduje materiál, ktorý by oprávnenému kontrolórovi umožnil ho overiť, súhrn sa stane trvalým tvrdením. Verejnosť nemusí mať nárok na každú prílohu, ale niekto s oprávnenou úlohou musí byť schopný preskúmať základ. Riadenie prístupu môže obmedziť, kto záznam uvidí. Nemôže urobiť bezpečným záznam, ktorý neexistuje.

Okolo významu transparentnosti existuje druhá hranica. Označenie verzie nie je vysvetlením. Ukázať, že sa model zmenil, nehovorí dotknutej osobe, či zmena mohla ovplyvniť výsledok. Ukázať rozdiel v politike jej nehovorí, ktorá časť sa použila. Dobré vysvetlenia spájajú zmenu s úkonom, uvádzajú, čo sa použilo, a hovoria, aký opravný prostriedok je k dispozícii. Účelom nie je vyvolať dojem, že inštitúcia je technicky zdatná. Účelom je umožniť človeku pochopiť jeho postavenie.

Verejné registre môžu pomôcť tým, že sprístupnia dôležité stavy systému skôr, než je niekto nútený sa pýtať. Akt o umelej inteligencii zahŕňa povinnosti registrácie a dokumentácie v určených súvislostiach, zatiaľ čo národná archívna prax považuje prístup a budúcu použiteľnosť za súčasť správy záznamov. Tieto mechanizmy nie sú náhradou za históriu na úrovni prípadov. Sú okolitou mapou. Mapa je cenná, ale nemala by sa zamieňať s cestou, ktorou prešiel konkrétny človek.

Dopyt prichádza po tom, ako sa rozhranie zmenilo

Vyšetrovanie ombudsmanky z roku 2024 týkajúce sa používania umelej inteligencie Komisiou je užitočným príkladom otázky, ktorej budú inštitúcie čeliť častejšie. Verejný opis sa pýta, ako sa Komisia rozhoduje používať umelú inteligenciu, ktoré úlohy sú automatizované, ako sa prijíma rozhodnutie o použití umelej inteligencie a ako sa udržiava zodpovednosť. Nepredpokladá, že algoritmický výstup je celým rozhodnutím. Pýta sa na administratívnu voľbu obklopujúcu systém.

Táto voľba má tiež históriu. Inštitúcia môže začať skúšobnou prevádzkou, definovať účel, obmedziť úlohu, zmeniť zdroj, rozšíriť pracovnú záťaž, zmeniť spôsob preskúmania a neskôr zverejniť vysvetlenie. Ak záznam obsahuje iba súčasnú politiku a súčasné rozhranie, kontrolór musí odvodiť skoršiu hranicu. Inštitúcia môže konať v dobrej viere a napriek tomu nebyť schopná preukázať, čo v danom čase vedela, schválila alebo povolila. Dobrá viera je cenná vlastnosť. Nie je strojom času.

Vyšetrovania tiež ukazujú, prečo musí správa záznamov zahŕňať neformálne kanály. Rozhodnutia môžu byť formované pracovnými dokumentmi, správami, sledovačmi problémov, preskúmaniami konfigurácie a rozhovormi, ktoré sa nikdy nestanú formálnou politikou. Nie každá veta si vyžaduje trvalé uchovanie. Organizácia však potrebuje pravidlo na identifikáciu, ktoré výmeny nesú inštitucionálny úkon alebo záväzok, a spôsob, ako zachovať tento materiál, keď sa jeho relevantnosť ukáže. Inak história začína prvým upraveným dokumentom, po tom, čo sa dôležité rozhodnutie už stalo.

Odpoveďou nie je premeniť verejnú správu na sledovací archív vlastných zamestnancov. Odpoveďou je zviditeľniť podstatný stav práce. Rozhodnutie by malo mať vlastníka, dôvod, rozsah, dátum účinnosti a záznam o zmene, ktorá ho odlíšila. Neformálna diskusia môže zostať diskusiou. Akonáhle zmení právomoc, údaje, politiku alebo činnosť, príslušný výsledok patrí do inštitucionálneho záznamu.

AI robí staré vysvetlenia obzvlášť krehkými

Generované vysvetlenia vytvárajú osobitné riziko, pretože sú dostatočne plynulé na to, aby skryli svoje časové zaradenie. Systém môže vytvoriť zmysluplný opis starého rozhodnutia pomocou dnešného modelu a politiky. Opis nemusí obsahovať žiadnu zjavne nepravdivú vetu. Napriek tomu môže byť nepravdivý ako záznam, pretože vysvetlenie neexistovalo v čase, keď bolo rozhodnutie prijaté, a nebolo odvodené zo stavu, ktorý ho vytvoril.

Najbezpečnejšie oddelenie je medzi dobovými dôkazmi a neskoršou interpretáciou. Dobový záznam hovorí, čo systém dostal, ktorá verzia konala, aký výsledok bol vytvorený, čo urobil človek a aké oznámenie bolo odoslané. Neskorší analytik môže pridať rekonštrukciu, kontrafaktuál, porovnanie s dnešným správaním alebo posúdenie, či pravidlo malo byť iné. Tieto dodatky sú hodnotné, keď sú označené ako neskoršia práca. Stávajú sa nebezpečnými, keď označenie zmizne.

Skóre spoľahlivosti má rovnaký problém. Číslo bez svojej kalibrácie, populácie, prahu a účelu sa samo nevysvetlí. Číslo mohlo byť užitočné na zoradenie pozornosti a nikdy nebolo autorizované na konečnú akciu. Mohlo byť zobrazené recenzentovi alebo skryté za rozhraním. Mohlo byť prekalibrované po udalosti. Zachovanie skóre pri strate podmienok zachováva tvar dôkazu a odstraňuje jeho význam.

Preto by história verzií mala zahŕňať šablóny vysvetlení a zobrazenia zdrojov, keď ovplyvňujú ľudské rozhodnutie. Formulácia nie je len komunikačnou vrstvou, ak recenzentovi hovorí, prečo systém odporúča akciu. Poradie dôkazov môže záležať. Absencia varovania môže záležať. Sada dostupných tlačidiel môže záležať. Verejné rozhodnutie je ovplyvnené tým, čo ľudia môžu vidieť a robiť, nielen skrytým výpočtom.

Oprava údajov je miesto, kde história ukáže svoju hodnotu

Každý administratívny systém sa nakoniec dozvie, že zdrojový záznam môže byť nesprávny. Adresa sa opraví, kategória sa preklasifikuje, platba sa vráti, meranie sa prepočíta alebo osoba poskytne chýbajúce informácie. Oprava môže zlepšiť aktuálny záznam bez toho, aby automaticky opravila rozhodnutia, ktoré záviseli od skoršej hodnoty. Táto druhá úloha si vyžaduje prepojenie z histórie zdroja na dotknuté rozhodnutia.

Bez tohto prepojenia stojí inštitúcia pred dvoma zlými voľbami. Môže prehodnotiť všetko, čo je nákladné a môže vystaviť ľudí, ktorých sa to nikdy netýkalo. Alebo nemôže prehodnotiť nič, čo ponecháva známu chybu na mieste pre každého, koho rozhodnutie na nej záviselo. Verzované odkazy umožňujú užšiu otázku: ktoré rozhodnutia spotrebovali tento stav, podľa akého pravidla a s akým dôsledkom. Odpoveď môže viesť k proporcionálnemu preskúmaniu.

Rovnaká logika platí pre právne a politické zmeny. Nové pravidlo môže byť správne pre nové prípady bez toho, aby každý starý výsledok bol nesprávny. Súdny výklad môže vyžadovať nový pohľad na rozhodnutia prijaté podľa skoršieho chápania. Proces opravy musí vedieť, kedy bolo staré pravidlo účinné, ktorých prípadov sa týkalo a či je nápravou opätovné otvorenie, oznámenie, kompenzácia, vysvetlenie alebo žiadna akcia. História mení morálnu otázku na operatívne zodpovedateľnú bez toho, aby redukovala morálnu otázku na dopyt.

Oprava by mala tiež zanechať vlastnú stopu. Organizácia by mala zaznamenať, čo sa zistilo, ktoré prípady sa zvážili, aká akcia sa prijala a prečo boli niektoré prípady mimo rozsahu. Tento záznam chráni dotknutú osobu aj inštitúciu. Zabraňuje tomu, aby každý nový recenzent ticho znovu objavil rovnaký problém. Oprava bez záznamu je ospravedlnenie, ktoré si nepamätá, komu pomohlo.

Ľudské preskúmanie tiež potrebuje verziu

Ľudský dohľad sa často opisuje, ako keby prítomnosť človeka robila rozhodnutie stabilným. Nie je to tak. Posudzovateľ koná v určitom kontexte: v súbore dokumentov, na obrazovke, vo fronte, pod termínom, v rámci roly, s poznámkou k politike, s upozornením a so zoznamom dostupných akcií. Ak sa kontext zmení, môže sa zmeniť aj význam posudzovateľovho schválenia. Zaznamenať len meno a časovú pečiatku nerešpektuje ani posudzovateľa, ani dotknutú osobu.

Verziovanie ľudského posudzovania nevyžaduje zaznamenávať každú myšlienku. Vyžaduje si dostatok kontextu na to, aby bola zrejmá právomoc a dôkazy daného úkonu. Ktoré materiály boli predložené. Ktoré boli vylúčené alebo nedostupné. Bol výstup návrhom, požiadavkou alebo spúšťačom. Mohol ho posudzovateľ prepísať. Bola viditeľná cesta eskalácie. Doplnil posudzovateľ dôvod. Bola akcia vykonaná alebo len navrhnutá. Tieto polia vytvárajú záznam o úsudku bez toho, aby predstierali, že úsudok je strojovo čitateľné číslo.

Toto rozlíšenie chráni pracovníkov. Ak organizácia očakáva, že posudzovatelia budú zodpovedať za výsledok, nemala by ich neskôr posudzovať podľa iného rozhrania a iného súboru dôkazov. Chráni aj občanov. Osoba, ktorá napáda rozhodnutie, by nemala počuť, že v procese bol nejaký nemenovaný človek, a potom zistiť, že tento človek mohol iba kliknúť na tlačidlo schváliť. Dohľad má zmysel, keď záznam ukazuje, čo daná osoba mohla urobiť a čo sa stalo, keď nesúhlasila.

Existuje aj kultúrny prínos. Keď sa nesúhlas zaznamenáva ako bežná súčasť pracovného postupu, stáva sa zdrojom učenia, nie znakom nelojálnosti. Organizácie môžu skúmať, či sa prepísania rozhodnutí sústreďujú okolo problému s údajmi, nejasnosti v politike alebo tlaku rozhrania. Môžu zlepšiť systém bez toho, aby obviňovali ľudí, ktorí si všimli, že systém je chybný. História dáva nesúhlasu miesto, kam ísť, okrem chodby.

Pamäť bez hromadenia

Keď organizácia pochopí potrebu histórie, pokušením je uchovať všetko. Každá výzva, snímka obrazovky, hodnota funkcie, správa, nahrávka, export a prechodný súbor sa uchováva navždy, pre prípad, že by sa hodil. To nie je zodpovednosť. Je to archív, ktorý zabudol, prečo existuje. Zvyšuje riziko narušenia súkromia, zvyšuje náklady na bezpečnosť a sťažuje nájdenie relevantných dôkazov.

Uchovávanie by malo nasledovať dôsledky, právne potreby a možnosť nápravy. Rozhodnutie s veľkým dopadom môže vyžadovať úplnejší balík dôkazov a dlhšie chránené obdobie. Návrh s nízkym rizikom môže potrebovať len stručné potvrdenie. Citlivý obsah môže byť odkazovaný identifikátorom a uložený v obmedzenom systéme. Odvodená reprezentácia môže expirovať, zatiaľ čo skutočnosť, že existovala, a dôvod jej vymazania, zostáva. Návrh by mal uviesť, čo sa uchováva, kto k tomu má prístup, ako sa to opravuje a kedy sa to zničí.

Selektívnu pamäť je jednoduchšie obhájiť, keď je záznam štruktúrovaný. Stabilné identifikátory môžu prepojiť rozhodnutie so zdrojom bez kopírovania osobných údajov do každého denníka. Účinné intervaly môžu zabrániť tomu, aby sa aktuálna hodnota čítala ako minulá hodnota. Kódy dôvodov môžu sprístupniť opravu bez uchovávania súkromného rozhovoru. Kontrola integrity môže ukázať, že sa záznam nezmenil, bez toho, aby odhalila jeho obsah každému, kto sa opýta. Dobrá ochrana údajov často vyzerá ako lepšie inžinierstvo, pretože obe disciplíny nemajú radi nejednoznačnosť.

Neexistuje žiadne univerzálne obdobie uchovávania skryté vo fráze história verzií. Obdobie závisí od úlohy, sektora, možnosti odvolania, zmluvnej povinnosti a zákona. Univerzálna by mala byť požiadavka rozhodnúť sa zámerne. Ak organizácia nedokáže uviesť, prečo musí byť komponent uchovaný, možno nerozumie jeho úlohe v rozhodnutí. Ak nedokáže uviesť, prečo môže byť komponent vymazaný, možno uchováva riziko, nie dôkaz.

Navrhovanie histórie bez vytvárania divadla

Užitočná implementácia začína otázkami, nie políčkami. Ktoré rozhodnutie by mohlo byť spochybnené. Ktoré verzie by mohli zmeniť jeho význam. Kto ich potrebuje preskúmať. Kedy je najskorší okamih, keď možno záznam zapečatiť. Aký je najmenší súbor dôkazov, ktorý umožní recenzentovi overiť príslušné tvrdenie. Ktoré zmeny by mali spustiť nový prehľad. Ktoré udalosti musia byť viditeľné pre človeka a ktoré sú prevádzkovým detailom.

Odpovede zvyčajne vedú k niekoľkým trvalým vzorom. Dajte každej politike, modelu, definícii zdroja a vydaniu pracovného postupu stabilnú identitu. Zaznamenávajte obdobia účinnosti oddelene od časov zverejnenia a nasadenia. Prepojte rozhodnutie s presnými identitami, ktoré sa použili, nie s tým, čo je aktuálne, keď niekto otvorí prípad. Zachovajte čitateľný opis popri strojovo čitateľných odkazoch. Zmeny nech sa pripájajú do histórie alebo vytvárajú nový nemenný stav. Ak oprava nahrádza skoršiu hodnotu, zachovajte vzťah medzi nimi.

Testujte históriu ako prevádzkovú funkciu. Vezmite známe rozhodnutie a požiadajte inžiniera, vlastníka politiky a nezávislého recenzenta, aby ho zrekonštruovali. Dospejú k rovnakému stavu. Vedia povedať, čo je potvrdené a čo chýba. Vedia určiť, kto mal právomoc. Vedia nájsť rozhodnutia ovplyvnené opravou zdroja. Vedia vysvetliť, prečo sa súčasné prehratie líši, bez toho, aby minulosť automaticky označili za chybnú. Systém, ktorý prejde iba testom schémy, má uprataný záznam. Systém, ktorý prejde testom prehľadu, má šancu byť zodpovedný.

Napokon si nacvičte zmenu. Nahraďte pravidlo v testovacom prostredí, aktualizujte definíciu zdroja, nasaďte balík modelu, odoberte povolenie a opravte záznam. Potom preskúmajte históriu. Ukazuje prechod, jeho rozsah a jeho vlastníka. Dokáže starý stav stále prečítať oprávnený recenzent. Ukazuje nadväzujúce rozhodnutie na správnu verziu. Ak je odpoveď nie, systém sa spolieha na to, že ho budúci incident naučí verzovaniu. Budúce incidenty sú drahí učitelia.

Čo vám verejný zoznam zmien nepovie

Verejný zoznam zmien môže povedať, že sa upravila hraničná hodnota, aktualizoval sa model alebo zlepšil pracovný postup. Nemôže človeku povedať, či sa zmena týkala jeho prípadu, pokým záznam rozhodnutia nevytvorí toto prepojenie. Môže povedať, kedy sa vydanie sprístupnilo. Nemôže vám povedať, či ho jeden región dostal neskôr. Môže povedať, že sa opravila chyba. Nemôže povedať, ktoré minulé výsledky sa znovu preverili. Zoznamy zmien sú užitočné práve preto, že sú selektívne. Dôkazy sú užitočné, keď je ich pravidlo výberu viditeľné.

Tento rozdiel je dôležitý aj pre demokratický dohľad. Verejný orgán môže zverejniť register modelov a všeobecný opis účelu. Parlament, súd, audítor alebo osoba vykonávajúca právo môžu stále potrebovať vedieť, čo sa stalo v konkrétny deň. Register dáva spoločnosti pohľad na krajinu. História rozhodnutí dáva človeku cestu cez ňu. Potrebné sú oboje. Prvé sú verejné informácie. Druhé sú inštitucionálnou pamäťou, ktorá sa môže zodpovedať za čin.

V prezentovaní zoznamu zmien ako zodpovednosti je tiché nebezpečenstvo, pretože zvýhodňuje perspektívu vydavateľa. Vydavateľ rozhoduje, čo sa považuje za podstatné, používa súčasnú slovnú zásobu a opisuje zamýšľaný účinok. Osoba ovplyvnená systémom začína inde. Pýta sa, ktoré pravidlo sa dotklo mojej žiadosti, ktoré dôkazy sa zohľadnili, či bola úloha systému v rámci jeho právomoci a čo môžem urobiť teraz. Záznam musí byť schopný odpovedať na túto otázku, aj keď je odpoveď nepohodlná.

Dobrý verejný záznam o zmenách má preto dva smery. Vysvetľuje zmeny verejnosti v zrozumiteľnom jazyku a oprávneným posudzovateľom dáva cestu k dôkazom na úrovni jednotlivých prípadov. Uvádza, čo zmena nezmenila. Označuje neskoršie opravy. Odkazuje na vlastníkov politiky, systému a prevádzky. Hovorí, kedy je záznam neúplný. Dôvera nevzniká predstieraním, že každá história je bezproblémová. Vzniká vtedy, keď sú trhliny viditeľné a niekto za ne zodpovedá.

Náš malý podiel na tejto otázke

Vo Dweve sa k tomuto rozlíšeniu stále vraciame, pretože naša vlastná práca na Ledger považuje prevádzkovú históriu za typovaný, prehrateľný záznam, nie za kopu prehľadávateľných správ. Naša práca na prevádzkových záznamoch sleduje rovnakú otázku: čo sa uchováva ako história a čo sa odvodzuje ako aktuálny pohľad. Sú to technické rozhodnutia, nie dôkaz, že verejná inštitúcia alebo dodávateľ splnil svoje povinnosti. Širšie ponaučenie patrí každému, kto buduje zodpovedné systémy: držte záznam blízko udalosti, udržte jeho rozsah čestný a nedovoľte, aby sa aktuálny pohľad potichu vydával za minulosť.

To je malý odsek v oveľa väčšej argumentácii. Táto argumentácia nezávisí od produktu Dweve. Už je prítomná v európskom vedení záznamov, v zodpovednosti za ochranu údajov a v požiadavkách na životný cyklus v zákone o umelej inteligencii. Tento problém nás zaujíma, pretože softvér uľahčuje zabúdanie a verejné rozhodnutia robia zabúdanie závažným. Správnou odpoveďou nie je pridať naše logo k slovu transparentnosť. Je ňou urobiť históriu preskúmateľnou, ohraničenou a užitočnou pre človeka, ktorý musí žiť s výsledkom.

Otázka občana je zvyčajne v minulom čase

Prečo bolo toto rozhodnutie prijaté. Ktoré pravidlo sa uplatnilo. Aké informácie ste použili. Posúdil to človek. Čo sa neskôr zmenilo. Toto sú otázky v minulom čase. Kladú si ich občania, pacienti, pracovníci, študenti, zákazníci, novinári, audítori, súdy a zamestnanci, ktorí zdedia systém, ktorý nenavrhli. Súčasný informačný panel môže ukázať, že systém je zdravý. Nedokáže odpovedať za včerajšie rozhodnutie, ak bol včerajšok prepísaný.

Odpoveď nevyžaduje, aby inštitúcia uchovávala každý detail navždy alebo zverejňovala každý interný záznam. Vyžaduje, aby inštitúcia vedela, ktoré fakty robia rozhodnutie zrozumiteľným, aby tieto fakty uchovávala v podobe, ktorú možno overiť, a aby jasne povedala, keď fakt nemožno získať späť. To je skromný prísľub histórie verzií. Neurobí rozhodnutie správnym. Robí rozhodnutie zodpovedným.

Európska archívna prax to hovorí obyčajným jazykom: dôležité informácie môžu mať historické verzie a digitálna informácia je stále informáciou, nech je uložená kdekoľvek. Európske právo ochrany údajov hovorí, že zodpovednosť zahŕňa schopnosť preukázať súlad. Zákon o umelej inteligencii robí technickú dokumentáciu a zaznamenávanie životného cyklu súčasťou povinností pre vymedzené systémy s vysokým rizikom. Otázky ombudsmana o umelej inteligencii vo verejnom sektore smerujú rovnakým smerom. Inštitúcie budú posudzované nielen podľa toho, čo nasadia, ale aj podľa toho, čo dokážu ukázať o tejto voľbe.

Takže si veďte denník zmien. Napíšte poznámku k vydaniu. Zverejnite register. Potom vytvorte menej okázalý záznam pod ním: taký, ktorý vie, ktorý zdroj, pravidlo, systém, pracovný postup a orgán boli aktívne, keď sa prípad človeka posunul z možnosti na rozhodnutie. Ak organizácia dokáže ukázať, čo sa zmenilo, dokáže ukázať aj to, čo sa nezmenilo, čo sa naučila a čo sa dá ešte opraviť. To nie je archívna nostalgia. Je to minimálna pamäť potrebná na to, aby verejná moc zostala zodpovedná.

Zdroje