Godność danych zaczyna się przed modelem
Formularz na niewłaściwym biurku
Argument o godności danych często zaczyna się zbyt późno. Zaczyna się po wytrenowaniu modelu, po zeskrobaniu, scaleniu, przefiltrowaniu, zdeduplikowaniu, znormalizowaniu, osadzeniu, ocenieniu, spakowaniu, wdrożeniu i obronieniu zbioru danych przez kogoś z działu prawnego, kto nie wyspał się wystarczająco. W tym momencie rozmowa brzmi moralnie, co jest przydatne, a także nieco teatralnie, co jest mniej przydatne. Ludzie pytają, czy model uszanował ludzi stojących za danymi. Uczciwa odpowiedź brzmi zwykle, że model nigdy nie dostał takiej szansy. Decyzja zapadła miesiące wcześniej, na formularzu, którego nikt nie chciał być właścicielem.
Kiedyś obserwowałem, jak zespół badawczy z dziedziny opieki zdrowotnej odkrył to na spotkaniu, które miało dotyczyć jakości modelu. Model nie był problemem. Problemem była mała kolumna wejściowa oznaczona jako ponowne użycie dozwolone. Miała trzy możliwe wartości: tak, nie i puste. Puste oznaczało, że nikt nie wiedział. W potoku eksportu puste było traktowane jako tak, ponieważ w przeciwnym razie eksperyment byłby niewygodny. To nie było nikczemność. Było to gorsze dla celów zarządzania: był to domyślny wybór. Najcichsze pole w arkuszu kalkulacyjnym miało więcej władzy niż komisja etyczna.
Zespół mógł przetrenować, przeprosić, udokumentować i ulepszyć. Ale problem godności nie zaczynał się w sieci neuronowej. Zaczynał się, gdy rekord docierał bez jasnego celu, bez opiekuna, bez zasady przechowywania, bez sposobu na zachowanie wycofania zgody i bez technicznej umowy, która odrzucałaby niepewność. Model jedynie przyspieszył wcześniejszy brak szacunku. Maszynom często zarzuca się chłód, ale wiele najzimniejszych decyzji podejmują ciepli ludzie, którzy klikają import.
Godność danych zaczyna się przed modelem, ponieważ dane stają się polityczne w momencie ich zebrania. Rekord to nie tylko wiersz. To fragment osoby, firmy, społeczności, miejsca pracy, ścieżki pacjenta, usługi publicznej, środowiska czujników lub profesjonalnego osądu. Traktowanie tego fragmentu z godnością nie polega na owijaniu go sentymentalnym językiem. Polega na zachowaniu wokół niego wystarczającej ilości prawdy, aby późniejsze systemy nie mogły udawać, że pojawił się znikąd.
Zgoda to nie perfumy
Wiele organizacji traktuje zgodę jak przyjemny zapach dodawany do procesu po wykonaniu ciężkiej pracy. Akapit trafia do polityki. Pole wyboru pojawia się w portalu. W rejestrze widnieje wpis o prawnie uzasadnionym interesie. Wszyscy odczuwają ulgę, przynajmniej do czasu, aż ktoś zapyta, czego modelowi faktycznie wolno było się nauczyć. Wtedy okazuje się, że język prawny i zgoda operacyjna mają się do siebie tak jak menu do kolacji. Jedno jest obietnicą. Drugie trzeba ugotować.
Zgoda operacyjna ma strukturę. Określa, który cel jest dozwolony, którzy aktorzy mogą przetwarzać rekord, które przekształcenia są dopuszczalne, które pochodne dziedziczą ograniczenie, jak długo rekord może istnieć, jak obsługiwane jest wycofanie zgody i jakie dowody potwierdzą później ten wybór. Jeśli te elementy nie są na tyle czytelne maszynowo, by wpływać na potok przetwarzania, nie są zgodą w systemie AI. Są dokumentacją o tematyce zgody. Dokumentacja ma swoje miejsce, ale nie powinno się oczekiwać, że zatrzyma zadanie wsadowe siłą moralnego przekonania.
Staje się to szczególnie istotne, gdy dane przechodzą z pierwotnego celu do trenowania, wyszukiwania, ewaluacji, monitorowania lub analityki produktowej. Skarga złożona do gminy może być przydatna do ulepszenia klasyfikatora. Notatka kliniczna może być przydatna do wyodrębniania objawów. Transkrypcja rozmowy z obsługą klienta może być przydatna dla chatbota. Przydatność nie tworzy godności. Tworzy pokusę. Pytanie o godność brzmi: czy nowy cel został zadeklarowany, czy osoby i instytucje, których to dotyczy, mogły go rozsądnie przewidzieć, oraz czy system potrafi egzekwować odpowiedź, gdy dane staną się wygodne.
Zgoda również się starzeje. Rekord zebrany pięć lat temu mógł powstać przy założeniach, które nie odpowiadają obecnej praktyce. Osoba mogła wycofać zgodę. Umowa mogła wygasnąć. Umowa o udostępnianiu danych mogła zezwalać na analizę, ale nie na trenowanie modelu. Pole mogło zostać zanonimizowane wystarczająco dobrze do raportu, ale nie wystarczająco dobrze do indeksu osadzeń, który kreatywni pracownicy mogą przeszukiwać przez cały dzień. Dawna zgoda nie powinna być traktowana jak słoik dżemu w głębi szafki. Data ma znaczenie.
Kontekst jest właściwością techniczną
Istnieje wygodny nawyk oddzielania danych od kontekstu, jakby kontekst był miękki, a dane twarde. W rzeczywistych systemach często jest odwrotnie. Wartość danych może być liczbą, kodem, nazwą, znacznikiem czasu lub polem tekstowym. Jej znaczenie zależy od metody zbierania, jednostki, zakresu, niepewności, wiarygodności źródła, reguł wykluczania, języka, braków danych oraz sytuacji, w której została zarejestrowana. Jeśli to wszystko usuniemy, dane nie stają się neutralne. Stają się zbyt pewne siebie.
Odczyt z czujnika na moście to nie tylko wibracje. To wibracje z konkretnego urządzenia, skalibrowanego w konkretnym dniu, zamontowanego w konkretnym miejscu, mierzone w konkretnych warunkach pogodowych, próbkowane z konkretną częstotliwością i interpretowane w kontekście historii konserwacji. Rekord płatności to nie tylko kwota. Znajduje się w umowie, procesie rozliczeń, modelu wykrywania oszustw, konwencji walutowej i ludzkim nawyku wstawiania przecinków tam, gdzie miały być miejsca po przecinku. Model może widzieć tylko tokeny lub wektory, ale instytucja pozostaje odpowiedzialna za brakujące rzeczowniki.
Godność danych wymaga zatem zachowania kontekstu jako wymogu inżynieryjnego. Opisy schematów muszą być wersjonowane. Systemy źródłowe muszą być nazwane. Przekształcenia muszą być rejestrowane. Braki danych należy odróżniać od zer, odmów, wartości nieznanych i stanów nie dotyczy. Etykiety muszą zawierać informację, kto je nadał, według jakich wytycznych i z jakim poziomem rozbieżności. Przykłady ewaluacyjne muszą zawierać informację, dlaczego zostały wybrane. Zbiór danych bez kontekstu nie jest surowcem. Jest plotką w formie tabelarycznej.
To nie jest apel o niekończące się metadane. Niekończące się metadane to sposób, w jaki dobre pomysły odchodzą na emeryturę do katalogu, którego nikt nie otwiera. Chodzi o metadane selektywne i operacyjne: kontekst potrzebny do podjęcia decyzji, czy rekord może być użyty, czy nadal znaczy to, co według systemu znaczy, i czy późniejsza osoba może zakwestionować wynik. Godność nie wymaga każdego faktu o rekordzie. Wymaga faktów, które zapobiegają temu, by rekord stał się obcy sam sobie.
Dług godności
Dług techniczny jest znajomy, bo inżynierowie widzą go w buildach, incydentach, powolnych zmianach i drobnych przekleństwach wpisywanych w komunikaty commitów. Dług godności danych jest cichszy. Narasta, gdy pochodzenie jest niejasne, zgoda jest niejednoznaczna, kontekst jest pomijany, retencja jest ignorowana, etykiety są nieudokumentowane, dostęp jest zbyt szeroki, a dane pochodne traktuje się jako nieszkodliwe, bo nie wyglądają już jak źródło. Dług może nie zepsuć testu. Czeka na skargę, audyt, spór, szkodliwy wynik lub cierpliwego dziennikarza.
Niebezpieczeństwo długu godności polega na tym, że narasta on dzięki użyteczności. Wygodny zbiór danych jest kopiowany. Skopiowany zbiór staje się feature store. Feature store zasila model. Wynik modelu staje się rekordem. Rekord staje się informacją zwrotną do trenowania. Każdy krok wydaje się praktyczny. Każdy krok utrudnia też odpowiedź na pierwotne pytanie: co wolno nam było zrobić z tymi danymi i co byliśmy winni ludziom, którzy za nimi stoją. Zanim pytanie dotrze do kierownictwa, odpowiedź jest rozproszona po ośmiu systemach i jednej osobie, która przeszła do innego działu.
Poważne zespoły traktują dług godności jak każde inne ryzyko operacyjne. Rejestrują go, wyceniają, przypisują właścicieli i decydują, które zastosowania są zablokowane, dopóki dług nie zostanie spłacony. Jeśli zbiór danych nie może udowodnić pochodzenia, nie powinien trafiać do szkoleń o dużym wpływie. Jeśli wycofanie nie może być propagowane, zastosowanie powinno być ograniczone. Jeśli artefaktów pochodnych nie można prześledzić, model nie powinien wspierać decyzji o istotnych konsekwencjach. Jeśli etykiety powstały przy słabych wytycznych, ewaluacja nie powinna być używana jako certyfikat uczciwości. To nudne w najlepszym sensie. Nuda to sposób, w jaki dorośli utrzymują mosty w górze.
Istnieje pokusa, by rozwiązać dług godności wielką platformą. Platformy mogą pomóc, ale pierwszy krok jest zwykle mniejszy i bardziej zdyscyplinowany: odrzucaj niewiadome przy przyjęciu, oddziel cel od przechowywania, zapisuj pochodzenie na granicach transformacji, utrzymuj prawa przy pochodnych i spraw, by usuwanie było testowalne. System, który nie potrafi usuwać z pewnością, nie może uczciwie twierdzić, że respektuje wycofanie. Może tylko twierdzić, że ma nadzieję, iż dane stały się nieśmiałe.
Dane pochodne to wciąż dane
AI utrudnia zachowanie godności danych, ponieważ tworzy pochodne, które wyglądają niewinnie. Dokument staje się fragmentem. Fragment staje się embeddingiem. Rozmowa ze wsparciem staje się streszczeniem. Notatka kliniczna staje się etykietą. Zapytanie staje się zdarzeniem analitycznym. Odpowiedź modelu staje się nowym rekordem. Ludzka korekta staje się danymi do wzmocnienia. Każdy artefakt może stracić kształt oryginału, zachowując jednocześnie wystarczająco dużo znaczenia, by mieć znaczenie. Maska się zmienia. Obowiązek może nie.
Embeddingi są dobrym przykładem, ponieważ łatwo je źle zrozumieć. Nie są czytelnym tekstem, więc ludzie traktują je tak, jakby godność wyparowała. Ale embedding wciąż może ujawniać podobieństwo, przynależność, wrażliwe grupowanie lub kontekst biznesowy. Może pomóc w rekonstrukcji lub wnioskowaniu o faktach. Może nieść konsekwencje stronniczych etykiet. Może przetrwać po usunięciu źródła. Nazwanie go wektorem nie czyni go społecznie nieważnym. Wiele rzeczy w życiu wygląda nieszkodliwie, gdy zapisze się je jako ułamki dziesiętne. Na przykład salda bankowe.
Dane pochodne potrzebują zasad dziedziczenia. Które obowiązki przechodzą ze źródła do fragmentu, wektora, pamięci podręcznej, streszczenia, cechy, dziennika promptów, próbki ewaluacyjnej i wyniku modelu. Które pochodne należy usunąć, gdy źródło zostanie usunięte. Które można zachować, ponieważ są wystarczająco zagregowane lub prawnie niezależne. Które wymagają osobnej zgody. Które są rekordami samymi w sobie. Bez dziedziczenia każdy system niższego szczebla może improwizować godność. Improwizacja jest urocza w jazzie. W zarządzaniu danymi często kończy się protokołem ze spotkania.
Te zasady dziedziczenia powinny być zaprojektowane przed zbieraniem danych, a nie po pierwszym uruchomieniu modelu. Nie chodzi o zamrożenie innowacji. Chodzi o wyznaczenie innowacji podłogi. Inżynierowie mogą pracować szybciej, gdy wiedzą, które pochodne są dozwolone, które granice wymagają przeglądu i które metadane muszą podróżować. Naukowcy mogą eksplorować bez zamieniania każdego eksperymentu w seans prawny. Użytkownicy i podmioty danych zyskują ważniejszą korzyść: instytucja może wyjaśnić, co stało się z ich danymi, bez odwoływania się do folkloru.
Model jest późnym świadkiem
Gdy system AI zachowuje się źle, dochodzenie często najpierw patrzy na model. To zrozumiałe. Model jest widoczny, drogi i pewnie błędny w sposób, który daje dobre zrzuty ekranu. Ale model często jest późnym świadkiem wcześniejszych decyzji. Odzwierciedla wybory dotyczące zbierania, etykietowania, wykluczania, czyszczenia, przechowywania i ewaluacji. Prosić tylko model o zachowanie godności to jak prosić ostatnią osobę w sztafecie o poprawienie pałeczki.
Karty modeli, audyty, ewaluacje, ćwiczenia typu red team i narzędzia do wyjaśnialności mają znaczenie. Są częścią historii godności, zwłaszcza gdy systemy wpływają na ludzi. Nie mogą jednak odzyskać zgody, której nigdy nie pozyskano, kontekstu, który odrzucono, ani pochodzenia danych, którego nie zarejestrowano. Mogą ujawnić lukę. Nie mogą sprawić, że luka ta będzie moralnie uporządkowana. Dlatego wczesne kontrole to nie biurokracja. To warunki, dzięki którym późniejsza odpowiedzialność to coś więcej niż teatr.
To samo dotyczy uczciwości. Przegląd uczciwości po trenowaniu może wykryć nierówne wskaźniki błędów, brakujące grupy, zmienne zastępcze lub szkodliwe progi. Nie zawsze może ustalić, czy zbiór danych wykluczył ludzi na etapie gromadzenia, czy etykiety odzwierciedlały instytucjonalne uprzedzenia, czy pole znaczyło to samo w różnych lokalizacjach, czy reguła zgody przefiltrowała próbkę w sposób zmieniający populację. Uczciwość bez godności danych to praca z lustrem, które mogło zostać wygięte podczas produkcji.
Jest też praktyczna zaleta rozpoczynania wcześnie: im wcześniej reguła godności trafia do potoku, tym taniej jest ją egzekwować. Rekord odrzucony przy przyjęciu kosztuje niewiele. Zbiór danych poddany kwarantannie przed trenowaniem kosztuje więcej. Model wycofany z produkcji kosztuje znacznie więcej. Publiczna utrata zaufania kosztuje tyle, ile finanse zapiszą, gdy wszyscy przestaną udawać, że to tylko kwestia komunikacji. Godność często opisuje się jako koszt etyczny. W poważnych systemach jest tańsza niż sprzątanie po szkodach.
Zarządzanie danymi to realna praca
Godność danych wymaga zarządców, a nie maskotek. Zarządca to nie osoba, której nazwisko pojawia się na slajdzie, aby diagram ładu miał ludzką twarz. Zarządca ma uprawnienia, aby odpowiedzieć, czy zbiór danych może być użyty, zablokować ryzykowny cel, wymagać metadanych, zatwierdzić przechowywanie, obsłużyć wycofanie i wyjaśnić decyzję audytorom oraz osobom, których dotyczy. Bez uprawnień zarządzanie staje się dekoracją. Dekoracyjny ład łatwo rozpoznać, bo zawiera wiele komitetów i bardzo mało czasowników.
Zarządca potrzebuje też technicznych narzędzi. Potrzebuje pulpitów pokazujących pochodzenie i wykorzystanie danych, a nie tylko wolumen przechowywania. Potrzebuje alertów, gdy zbiór danych jest ponownie używany poza swoim celem. Potrzebuje umów z zespołami inżynierskimi dotyczących wymaganych metadanych. Potrzebuje przetestowanej ścieżki usuwania. Potrzebuje sposobu oznaczania niepewności bez patrzenia, jak potok po cichu zamienia ją na tak. Potrzebuje budżetu, aby naprawić dług godności, zanim stanie się nagłówkiem wiadomości. To praca, a nie etykieta cnoty.
Dobre zarządzanie to współpraca. Prawo rozumie uprawnienia. Bezpieczeństwo rozumie dostęp. Inżynierowie danych rozumieją przepływ. Eksperci dziedzinowi rozumieją znaczenie. Zespoły produktowe rozumieją zamierzone użycie. Naukowcy rozumieją niepewność. Operacje rozumieją, co dzieje się o trzeciej nad ranem. Godność danych zawodzi, gdy jedna z tych perspektyw zostaje ogłoszona właścicielem całego problemu, a wszyscy inni wracają do swoich pulpitów. Rekord wędruje między funkcjami; odpowiedzialność również musi.
Jest w tym ludzka skromność. Godność danych nie wymaga, aby organizacja wiedziała wszystko. Wymaga, aby organizacja wiedziała, co wie, czego nie wie, kto może decydować i gdzie egzekwowane są granice. To mniej efektowne niż strategia dotycząca odpowiedzialnej AI. Jest też bardziej prawdopodobne, że przetrwa kontakt z prawdziwym zadaniem importu.
Jak wygląda godność w infrastrukturze
Infrastruktura dla godności danych nie jest mistyczna. Wygląda jak rejestry źródeł, tagi celu, stany zgody, kontrakty danych, zdarzenia pochodzenia, zakresy dostępu, zadania przechowywania, dowody usunięcia, wytyczne etykietowania, wersje zbiorów danych, rejestry ewaluacji i kolejki przeglądu. Jeśli ta lista brzmi zwyczajnie, dobrze. Najbardziej niezawodne systemy etyczne często przypominają instalację wodno-kanalizacyjną. Zauważa się je głównie wtedy, gdy ktoś zapomniał je zamontować.
Przy przyjęciu rekord powinien dotrzeć ze zadeklarowanym źródłem, celem, podstawą prawną lub stanem zgody, klasą wrażliwości i stewardem. Przy transformacji system powinien emitować zdarzenia pochodzenia i zachowywać istotne ograniczenia. Przy użyciu środowisko wykonawcze powinno sprawdzać, czy cel jest zgodny. Przy przechowywaniu przechowywanie i usuwanie powinny być wykonalne, a nie aspiracyjne. Przy ewaluacji przykłady powinny nieść pochodzenie i logikę wyboru. Przy przeglądzie osoby, których to dotyczy, i wewnętrzni operatorzy powinni mieć ścieżkę do kwestionowania nadużyć. Żadne z tego nie wymaga udawania, że wszystkie dane są święte. Wymaga przyznania, że dane mają życie.
Najważniejszym ruchem projektowym jest uczynienie stanu nieznany stanem pierwszej klasy. Nieznany to nie tak. Nieznany nie jest nieszkodliwy. Nieznany to sygnał, by zapytać, odizolować, ograniczyć lub odmówić. Wiele porażek godności wynika z tego, że systemy są uczulone na niepewność. Wolą schludny boolean, nawet gdy świat rzeczywisty go nie dostarczył. Tak puste komórki stają się uprawnieniami. Godny system pozwala niepewności spowolnić sprawy. Maszyna sobie poradzi. Nie została zaproszona na lunch dla swoich uczuć.
Nie ma idealnej architektury godności. Są lepsze domyślne ustawienia i gorsze domyślne ustawienia. Lepsze domyślne ustawienia trzymają kontekst blisko, propagują ograniczenia, rejestrują ruch, wymagają wyraźnego użycia wtórnego i umożliwiają odwrócenie. Gorsze domyślne ustawienia spłaszczają cel, kopiują swobodnie, ufają wszystkim, usuwają tylko w polityce i odkrywają zobowiązania, gdy robi to kalendarz audytu. Wybór nie jest między innowacją a godnością. Wybór jest między systemami, które pamiętają, co są winne, a systemami, które mają nadzieję, że nikt nie zapyta.
Lekcja
Godność danych jest często omawiana jako wielka zasada, ale staje się realna w małych decyzjach technicznych podejmowanych zanim pojawi się model. Co musi być znane przy przyjęciu. Które niewiadome zatrzymują przepływ. Które prawa podróżują z pochodnymi. Które konteksty są zachowane. Które cele są dozwolone. Którzy stewardzi mogą powiedzieć nie. Które usunięcia można udowodnić. Te wybory decydują, czy późniejszy model może być odpowiedzialny, czy tylko elokwentny.
Pełna szacunku ścieżka nie jest przeciwko danym ani przeciwko AI. Jest za pamięcią. Nalega, aby zapisy niosły wystarczająco dużo informacji o pochodzeniu, zgodzie, kontekście i zobowiązaniach, aby pozostać powiązanymi z ludźmi i instytucjami, które je wytworzyły. Model wytrenowany na takich danych ma większe szanse być użytecznym bez przypadkowego stania się eksploatacyjnym. Model wytrenowany bez tych fundamentów może nadal robić wrażenie. Tak samo jak budynek bez fundamentów robi wrażenie przez krótki i ekscytujący okres.
Zacznij przed modelem. Zacznij od formularza, umowy, schematu, stanu zgody, wytycznych dotyczących etykiet, zasady przechowywania, polityki pochodnych i opiekuna z faktyczną władzą. To tam godność wchodzi do systemu. Wszystko po tym to albo ochrona, albo szkody kontrolowane.