Maszyna stanowa odpowiedzialnej AI
Formularz, który nie zadziałał
Pierwsze warsztaty dotyczące odpowiedzialnej sztucznej inteligencji często kończą się formularzem. Formularz jest zwykle elegancki w ten sposób, w jaki wewnętrzne formularze potrafią być eleganckie, gdy komitet odkryje odstępy. Pyta o cel, wpływ, dane, ryzyko, stronniczość, nadzór człowieka, zależność od dostawcy, retencję i eskalację. Ludzie wypełniają go starannie. Pole zostaje zaznaczone. Komitet przeglądowy kiwa głową. Projekt posuwa się naprzód. Gdzieś folder otrzymuje kolejny dokument i staje się nieco bardziej przekonany o sobie.
Trzy miesiące później system działa w produkcji, a formularz nie jest już tam, gdzie dzieje się akcja. Przychodzi zgłoszenie do wsparcia z brakującymi polami. Model zwraca pewną odpowiedź ze słabymi dowodami. Wywołanie narzędzia zaktualizowałoby rekord klienta. Polityka zmienia się między wersją roboczą a ostatecznym działaniem. Recenzent-człowiek jest chory. Indeks wyszukiwania jest nieaktualny. Proponowane jest nowe źródło danych, bo byłoby wygodne, a tak właśnie wiele złych pomysłów przedstawia się uprzejmie.
W tym momencie odpowiedzialna sztuczna inteligencja nie jest zasadą. Jest przejściem stanu. System jest w jednym stanie i chce przejść do innego. Od wersji roboczej do decyzji. Od sugestii do działania. Od niskiego wpływu do wysokiego. Od pomocy wewnętrznej do komunikacji zewnętrznej. Od przejrzanego do wykonanego. Od dozwolonego do zablokowanego. Od tymczasowego wyjątku do stałej ścieżki, jeśli nikt nie patrzy. Pytanie brzmi, czy przejście ma zabezpieczenie, zapis, właściciela i ścieżkę wyjścia.
To jest maszyna stanów stojąca za odpowiedzialną sztuczną inteligencją. Nie dlatego, że etykę można sprowadzić do pól i strzałek. Byłoby to dziwne przekonanie i jeszcze dziwniejszy przedmiot zamówienia. Sedno jest prostsze. Poważne systemy już przechodzą przez stany. Jeśli te stany nie mają nazw, model i tak się przesunie, przepływ pracy i tak postąpi naprzód, a organizacja odkryje swoje zarządzanie przez przypadek. Nadawanie nazw stanom nie jest biurokratycznym drobiazgiem. To sposób, w jaki odpowiedzialność zyskuje kształt w czasie wykonywania.
Dlaczego zasady potrzebują granic
Zasady są przydatne na początku, bo dają kierunek. Uczciwość, przejrzystość, odpowiedzialność, prywatność, bezpieczeństwo, sprawczość człowieka, solidność, możliwość kwestionowania. Te słowa nie są puste. Nie są też same w sobie wykonywalne. System nie może wywołać zasady w czasie wykonywania i zapytać, czy następne działanie jest dozwolone. Deweloper może napisać prompt, który mówi bądź uczciwy, ale przepływ pracy nadal musi wiedzieć, kiedy się zatrzymać, kiedy zapytać, kiedy zapisać, a kiedy odmówić.
Krawędzie to miejsca, w których zasady stają się użyteczne. Zasada uczciwości staje się wymogiem, że dana kategoria decyzji musi przejść ocenę na poziomie grupy przed wydaniem i musi generować kody przyczyn na poziomie przypadku po wydaniu. Zasada przejrzystości staje się paragonem, który wymienia źródła, wersję modelu, wersję polityki i rolę człowieka. Zasada prywatności staje się zabezpieczeniem, które odmawia dostępu poza celem, okresem przechowywania, zgodą lub podstawą prawną. Odpowiedzialność staje się stanem, który nie może się przesunąć bez właściciela. Możliwość odwołania staje się ścieżką apelacji, która istnieje przed pierwszą skargą, a nie po pierwszym telefonie z redakcji.
Bez krawędzi odpowiedzialna AI staje się zestawem przymiotników wokół systemu, który wciąż zachowuje się tak, jak pozwala mu na to przepływ pracy. Zespół może szczerze wierzyć, że ma nadzór człowieka, ponieważ osoba może patrzeć na wyniki. Ale jeśli system może działać, zanim ta osoba zobaczy dowody, nadzór jest ozdobą. Zespół może wierzyć, że ma przejrzystość, ponieważ model wyjaśnia sam siebie. Ale jeśli wyjaśnienia nie można powiązać ze źródłami i stanem, przejrzystość zamienia się w teatr. Zespół może wierzyć, że jest bezpieczny, ponieważ model odmawia niebezpiecznych promptów. Ale jeśli brama narzędzi przyznaje szerokie uprawnienia, odmowa jest tylko jednymi drzwiami w domu z bardzo entuzjastycznymi oknami.
Maszyna stanów nie zastępuje osądu. To sposób, aby osąd gdzieś wylądował. Zmusza zespół do odpowiedzi na praktyczne pytania. W jakim stanie jest ta sprawa. Które przejścia są z tego miejsca możliwe. Jakie dowody są wymagane. Która rola może zatwierdzić. Które przejście jest nieodwracalne. Które przejście tworzy zapis. Które przejście tworzy obowiązek powiadomienia, przechowywania, usunięcia lub eskalacji. Te pytania są mniej poetyckie niż deklaracje wartości. Są też trudniejsze do ominięcia.
Ukryta maszyna zawsze istnieje
Każdy przepływ pracy AI już ma maszynę stanów, nawet jeśli nikt jej nie narysował. Ukryta wersja żyje w statusach zgłoszeń, kolumnach arkuszy kalkulacyjnych, kolejkach ponawiania, gałęziach promptów, nawykach recenzentów, wiadomościach na Slacku, flagach w bazach danych, tabelach wyjątków i w pamięci tej jednej osoby, o którą wszyscy pytają, bo była przy pilotażu. To nie jest urocza architektura rozproszona. To instytucjonalny folklor z opóźnieniem.
Ukryta maszyna jest niebezpieczna, bo stwarza pozory kontroli, jednocześnie przenosząc odpowiedzialność w miejsca, których nie można zrecenzować. Prompt może mówić, że wrażliwe sprawy należy eskalować, ale kolejka może nie zachowywać przyczyny. System spraw może pokazywać zatwierdzono, ale nie to, czy zatwierdzenie dotyczyło odpowiedzi modelu, wywołania narzędzia czy komunikacji zewnętrznej. Recenzent może odrzucić wynik, ale odrzucenie może nigdy nie trafić do zestawu ewaluacyjnego. Sprawa może być zamknięta, ale dane pochodne mogą wciąż żyć w magazynie cech. Model może zostać wymieniony, ale oczekujące sprawy mogą wciąż nosić wyniki ze starszej wersji. System się porusza; zapis utyka za nim w krawacie.
Uczynienie maszyny stanów jawną nie wymaga przekształcenia organizacji w laboratorium metod formalnych. Wymaga wystarczającej dyscypliny, aby oddzielić stany o różnych obowiązkach. Szkic to nie recenzja. Zrecenzowane to nie wykonane. Wykonane to nie zamknięte. Zamknięte to nie usunięte. Usunięte to nie zarchiwizowane. Zablokowane polityką to nie błąd infrastruktury. Wymaga osądu człowieka to nie niska pewność. Podejrzenie incydentu to nie potwierdzony incydent. Te rozróżnienia brzmią zwyczajnie, dopóki audyt nie zapyta, które z nich miało miejsce, kiedy i dlaczego.
Stany nazwane powstrzymują też częstą porażkę automatyzacji: łagodne przejście od wsparcia do decyzji. System zaczyna jako pomoc w tworzeniu szkicu. Ludzie mu ufają. Szkic staje się domyślną wersją. Domyślna wersja staje się rekomendacją. Rekomendacja staje się działaniem. Nikt nie głosował za pełną automatyzacją. Nikt nie zaprojektował nowej powierzchni odpowiedzialności. To przejście dokonało się przez wygodę, która jest najskuteczniejszym lobbystą w oprogramowaniu. Maszyna stanów może wymusić, aby ta zmiana stała się widoczna.
Zabezpieczenia to nie nastroje
Przejście wymaga zabezpieczenia. Zabezpieczenie to warunek, który musi być spełniony, zanim system będzie mógł przejść dalej. W zwykłym oprogramowaniu może to być sprawdzenie logiczne, ocena polityki, granica uprawnień, wynik walidacji lub zgoda człowieka. W odpowiedzialnej sztucznej inteligencji jest to również miejsce, w którym instytucjonalne obietnice stają się operacyjne. Zabezpieczenie pyta, czy cel jest dozwolony, czy dane mieszczą się w zakresie, czy wynik ma wystarczające dowody, czy model jest zatwierdzony do tego zastosowania, czy działanie jest odwracalne, czy osoba ma uprawnienia, czy koszt jest ograniczony i czy osoba, której dotyczy działanie, ma drogę powrotu.
Praktyczna sztuczka polega na trzymaniu zabezpieczeń blisko przejścia, którego chronią. Jeśli zabezpieczenie żyje tylko w dokumencie polityki, środowisko wykonawcze zapomni o nim z imponującą szybkością. Jeśli żyje tylko w podpowiedzi, będzie trudne do przetestowania i łatwe do ominięcia. Jeśli żyje tylko w ludzkim nawyku, zawiedzie w dni chorobowe, święta, podczas reorganizacji i w tygodniu, gdy wszyscy próbują zdążyć z wydaniem. Dobre zabezpieczenie jest wystarczająco jawne, aby je przetestować, i wystarczająco lokalne, aby miało znaczenie.
Nie oznacza to, że każde zabezpieczenie musi być zautomatyzowane. Niektóre zabezpieczenia są ludzkie, ponieważ pytanie jest naprawdę kontekstowe. Ale nawet ludzkie zabezpieczenia potrzebują stanu. Osoba weryfikująca powinna widzieć dowody, obowiązującą politykę, klasyfikację ryzyka, proponowane działanie i konsekwencje zatwierdzenia. System powinien zapisywać decyzję jako przejście, a nie jako komentarz, który przyszła archeologia może albo nie może odkryć. Nadzór ludzki bez zmiany stanu to często tylko spotkanie z interfejsem użytkownika.
Jest też nudny, ale ważny punkt o zabezpieczeniach negatywnych. Odpowiedzialna sztuczna inteligencja to nie tylko odpowiedzialne mówienie „tak”. To także jasne mówienie „nie”. Nie, bo brakuje celu. Nie, bo źródło jest nieaktualne. Nie, bo model jest poza zatwierdzoną domeną. Nie, bo użytkownik nie ma uprawnień. Nie, bo wymagany jest przegląd przez człowieka. Nie, bo działanie jest zbyt poważne dla dostępnych dowodów. Odmowa z podaniem powodu to lepszy stan systemu niż niejasna awaria, która zachęca do ponawiania prób, aż coś się przesunie.
Stany czynią odpowiedzialność przypisywalną
Jednym z powodów, dla których rozliczalność AI staje się mglista, jest to, że odpowiedzialność omawia się na poziomie całego systemu. Organizacja jest odpowiedzialna. Dostawca jest odpowiedzialny. Właściciel produktu jest odpowiedzialny. Inspektor ochrony danych jest odpowiedzialny. Model jest odpowiedzialny, co jest sformułowaniem, od którego prawnikowi powinno się zrobić słabo. W czasie działania systemu odpowiedzialność potrzebuje mniejszego uchwytu.
Stany tworzą ten uchwyt. Podczas przyjmowania danych właściciel usługi może odpowiadać za cel i zakres. Podczas wyszukiwania właściciel danych może odpowiadać za jakość źródeł i uprawnienia. Podczas generowania przez model właściciel techniczny może odpowiadać za zatwierdzone wersje i ustawienia. Podczas przeglądu rola ludzka może odpowiadać za ocenę. Podczas działania właściciel przepływu pracy może odpowiadać za skutki zewnętrzne. Podczas zamknięcia zarządzanie dokumentacją może odpowiadać za przechowywanie i usuwanie. Dokładna mapa będzie się różnić, ale zasada pozostaje: odpowiedzialność lepiej przylega do przejść niż do mgły.
To ma znaczenie, gdy coś pójdzie nie tak. Jeśli wynik był zły, bo źródło było nieaktualne, maszyna stanów powinna pokazać, gdzie sprawdzono świeżość lub gdzie jej nie sprawdzono. Jeśli człowiek zatwierdził ryzykowne działanie, zapis powinien pokazać, jakie dowody widział. Jeśli zmieniła się polityka, oczekujące sprawy powinny ujawniać, która wersja nimi kierowała. Jeśli model został zaktualizowany, przejścia przez granicę wydania powinny być możliwe do zbadania. Nie chodzi o to, by szybciej znaleźć winnego. Chodzi o to, by naprawa była możliwa bez udawania, że cały system zawiódł w jednym niezróżnicowanym wzruszeniu ramion.
Przypisywalna odpowiedzialność poprawia też codzienną pracę. Zespoły wiedzą, który stan do nich należy. Metryki stają się mniej teatralne. Zamiast ogłaszać, że program odpowiedzialnej AI jest dojrzały, organizacja może mierzyć blokady nieaktualnych źródeł, odmowy z powodu braku celu, nadpisania przeglądów, wyniki odwołań, przejścia incydentów i opóźnienia zamknięć. To mniej nadaje się na błyszczący slajd. Znacznie bardziej nadaje się do prowadzenia systemu.
Złe stany zasługują na właściwe nazwy
Większość porażek odpowiedzialnej AI nie jest nikczemna. To zwykłe stany ze złymi nazwami lub bez nazw. Szkic odpowiedzi traktuje się jak odpowiedź ostateczną. Tymczasowy wyjątek staje się stałą ścieżką. Wynik o niskiej pewności staje się działaniem o dużym wpływie, bo przepływ pracy nie miał stanu pośredniego. Model widzi dane, których nie powinien widzieć, bo stan wyszukiwania nie przenosił celu. Człowiek dokonujący przeglądu staje się pieczątką, bo stan zwany przeglądem nie wymagał dowodów ani rejestrowania sprzeciwu.
Nadawanie złym stanom właściwych nazw jest niewygodne i pożyteczne. Cichy szkic. Pełzanie zakresu. Nieaktualne źródło. Brak właściciela. Działanie bez przeglądu. Brak wyjścia. To nie są same w sobie przyczyny źródłowe, ale są to miejsca, w których można umieścić mechanizmy kontrolne. System może wykryć cichy szkic, gdy wygenerowany tekst jest kopiowany do komunikacji zewnętrznej bez zatwierdzenia. Może wykryć pełzanie zakresu, gdy przepływ pracy żąda źródła spoza zadeklarowanego celu. Może wykryć nieaktualne źródło, gdy cytat jest starszy, niż pozwala polityka. Może wykryć brak wyjścia, gdy zablokowane sprawy wiszą w nieskończoność, bo nikt nie zaprojektował humanitarnej odmowy.
Ten nawyk zapobiega też nadmiernej reakcji moralnej. Nie każda porażka to kryzys etyczny. Czasem to stan kolejki bez właściciela. Czasem to stan przechowywania, którego nikt nie połączył z usuwaniem. Czasem to próg pewności udający ocenę. Nazwanie stanu pozwala zespołowi naprawić mechanizm. Bez nazw każdy incydent staje się debatą o kulturze. Kultura ma znaczenie, ale to słaby substytut wiedzy o tym, które przejście przeciekło.
Jest sucha komedia w obserwowaniu, jak organizacje boją się słowa maszyna stanów, bo brzmi zbyt technicznie, a jednocześnie z radością prowadzą labirynt e-maili z zatwierdzeniami, statusów w arkuszach kalkulacyjnych i wyjątków znanych tylko trzem osobom i jednemu zaproszeniu w kalendarzu. Formalna wersja jest często prostsza. Ma tylko tę niegrzeczność, że jest widoczna.
Dowody należą do przejścia
Jeśli maszyna stanów ma mieć znaczenie, potrzebuje dowodów. Rejestr nie powinien jedynie stwierdzać, że sprawa została zatwierdzona. Powinien wskazywać, co wywołało przejście, który mechanizm ochronny został oceniony, jakie dane wykorzystano, które wersje modelu i polityki miały zastosowanie, kto lub co zatwierdziło, jaki skutek nastąpił oraz w jaki sposób sprawę można odtworzyć lub zakwestionować. Dowody nie są ozdobą po wykonaniu działania. Są częścią tego, co czyni działanie rozliczalnym.
Jest to szczególnie ważne w przypadku AI, ponieważ wyniki mogą być wiarygodne, podczas gdy ich ścieżka jest krucha. Podsumowanie może być poprawne, ale oparte na źródle, do którego użytkownik nie miał dostępu. Rekomendacja może być rozsądna, ale wykraczać poza zatwierdzone zastosowanie modelu. Klasyfikacja może być trafna, ale powstać po terminie określonym w polityce. Odmowa może być bezpieczna, ale prawnie nieprzydatna, jeśli nie daje żadnej drogi naprawy. Sama odpowiedź nie pozwala tego ustalić. Rejestr przejścia pozwala.
Dobre dowody dają też zespołom odwagę do automatyzacji tam, gdzie jest ona właściwa. Odpowiedzialna AI nie jest wiecznym przepraszaniem za używanie maszyn. Jeśli zadanie ma niski wpływ, jest dobrze ograniczone, odwracalne, odpowiednio przetestowane i prawidłowo rejestrowane, automatyzacja może być odpowiedzialnym rozwiązaniem. Jeśli zadanie ma wysoki wpływ, jest sporne, nowatorskie lub nieodwracalne, maszyna stanów powinna je spowolnić. Nie chodzi o uwielbienie dla ludzkiego przeglądu. Chodzi o kierowanie pracy według ryzyka, dowodów i możliwości naprawy.
Dowody czynią to kierowanie mniej politycznym. Zespół może wykazać, że stan jest bezpieczny do automatyzacji, ponieważ wcześniejsze przejścia były trafne, odwołania były rzadkie, poprawki były uwzględniane, a mechanizmy kontrolne wychwytywały właściwe przypadki. Może też wykazać, że stan wymaga większego ludzkiego osądu, ponieważ wzorce błędów pozostają trudne, osoby dotknięte kwestionują wyniki lub jakość danych jest słaba. To lepszy argument niż zwykły teatr, w którym jedna strona mówi o innowacji, a druga o ryzyku, aż wszystkim kończy się kawa.
Przegląd ludzki to stan, nie gest
Przegląd ludzki bywa przywoływany tak, jakby samo jego istnienie rozwiązywało kwestię odpowiedzialności. Człowiek jest w pętli. Dobrze. W której pętli. Na jakim etapie. Z jakimi dowodami. Z jaką władzą. Czy człowiek może się nie zgodzić. Czy sprzeciw zmienia system. Czy przegląd jest próbkowany, obowiązkowy, wyzwalany ryzykiem, czy kosmetyczny. Czy recenzent widzi materiał źródłowy, czy tylko uporządkowaną prozę modelu. Czy jest czas na myślenie. Czy jest szkolenie. Czy jest zapis. Wyrażenie człowiek w pętli należy traktować jako pytanie otwierające, a nie jako argument zamykający.
Automat stanów czyni przegląd ludzki konkretnym. Potrafi odróżnić przegląd wymagany od opcjonalnego, oczekujący od zakończonego, wynik zmieniony przez człowieka od wyniku przez niego potwierdzonego, eskalację potrzebną od zakończonej. Potrafi też rozróżnić rodzaj dokonywanego osądu. Niektóre przeglądy sprawdzają zgodność ze źródłami faktycznymi. Inne sprawdzają zgodność z polityką. Jeszcze inne badają empatię i ton. Kolejne sprawdzają podstawę prawną. Są też takie, które oceniają, czy wyjątek jest uzasadniony. Pojedyncze pole oznaczone zatwierdzono rzadko wystarcza do poważnej pracy.
Zaprojektowanie przeglądu jako stanu chroni też ludzi przed wykorzystywaniem ich jako moralnej wyściółki. Jeśli system wysyła każdą kłopotliwą sprawę do człowieka bez dowodów, priorytetyzacji ani informacji zwrotnej, człowiek staje się wysypiskiem niepewności. To nie jest nadzór. To model kadrowy z dołączonym poczuciem winy. Odpowiedzialny stan przeglądu pakuje sprawę, nazywa wymaganą decyzję, zachowuje głos sprzeciwu i przekazuje wyniki do ewaluacji. Daje człowiekowi zadanie godne człowieka.
Odwrotna zależność też jest prawdziwa. Niektóre systemy stosują przegląd ludzki tam, gdzie lepsza byłaby zabezpieczająca bramka. Jeśli sprawa nie ma podstawy prawnej, nie wysyłaj jej do recenzenta, by odkrył to ręcznie. Zablokuj ją. Jeśli źródło jest nieaktualne, odśwież je albo odmów. Jeśli użytkownik nie ma uprawnień, powiedz mu to wprost. Ludzie powinni zajmować się osądem, a nie rekompensować brakującą infrastrukturę. Spędziliśmy dekady na wynajdywaniu maszyn. Byłoby niegrzecznie, gdybyśmy kazali ludziom zachowywać się jak skrypty walidacyjne.
Nieodwracalność zmienia maszynę
Nie wszystkie przejścia są sobie równe. Niektóre są odwracalne. Szkic można edytować. Trasę można zmienić. Rekomendację można wycofać. Inne przejścia trudniej cofnąć: wiadomość została wysłana, świadczenie odrzucone, flaga ryzyka zmieniła kolejkę, rekord zaktualizowano, osoba została zgłoszona, płatność wykonana, klient zablokowany. Odpowiedzialna sztuczna inteligencja musi wiedzieć, które przejścia wkraczają w świat.
Nieodwracalność powinna zmienić strażnika. System powinien wymagać więcej dowodów, silniejszego autorytetu, jaśniejszego ludzkiego osądu, lepszego powiadamiania i bardziej widocznej ścieżki odwoławczej, zanim nastąpią skutki nieodwracalne. Powinien też preferować przejścia etapowe, gdy to możliwe. Szkic przed wysłaniem. Rekomendacja przed decyzją. Wstrzymanie przed odrzuceniem. Powiadomienie przed egzekwowaniem. Przegląd przed raportem. To nie jest powolność dla samej powolności. To różnica między systemem, który potrafi się poprawić, a systemem, który tworzy pracę porządkową z pewną siebie miną.
Maszyna stanów pomaga też w częściowej odwracalności. Niektóre szkody można naprawić technicznie, ale nie społecznie. Błędne wewnętrzne podsumowanie można poprawić. Błędne zewnętrzne oskarżenie może pozostać w pamięci nawet po sprostowaniu. Opóźnione świadczenie można wypłacić później, ale czynsz był wymagalny wcześniej. Usunięty rekord można czasem przywrócić, ale zaufanie już niekoniecznie. Maszyna powinna traktować te przejścia z powagą ich ludzkiego skutku, a nie tylko z powagą wycofania w bazie danych.
W tym miejscu odpowiedzialna sztuczna inteligencja ucieka od fantazji, że etyka jest oddzielona od operacji. Szczegół operacyjny jest powierzchnią etyczną. Projekt kolejki wpływa na sprawiedliwość. Polityka ponawiania wpływa na duplikację. Zachowanie limitu czasu wpływa na dostęp. Retencja wpływa na prywatność. Obciążenie przeglądem wpływa na godność. Przejścia stanów nie są neutralną instalacją. To sposób, w jaki system spotyka ludzi.
Ewaluacja jako dowód przejścia
Ewaluacja często znajduje się poza przepływem pracy, jakby była egzaminem szkolnym zdawanym przed ukończeniem szkoły przez system. W odpowiedzialnej maszynie stanów ewaluacja staje się ciągłym dowodem przejścia. Każde przejście może generować sygnały: jak często strażnik blokował, jak często ludzie go nadpisywali, jak często odwołania się udawały, jak często źródła były nieaktualne, jak często osąd modelu różnił się od ludzkiego, jak często trasa rzekomo niskiego ryzyka generowała skargi.
Te sygnały powinny zasilać maszynę. Przejście, które generuje powtarzające się odwołania, może wymagać silniejszego strażnika lub jaśniejszego powiadomienia. Stan przeglądu ludzkiego z wysoką zgodnością i niskim wpływem może kwalifikować się do większej automatyzacji, pod warunkiem że środek zaradczy pozostaje realny. Stan odmowy, który pułapkuje użytkowników, może wymagać ścieżki naprawy. Strażnik polityki, który blokuje zbyt wiele uzasadnionych przypadków, może ujawniać złą politykę, a nie zły model. Maszyna nie jest odpowiedzialna, ponieważ jest statyczna. Jest odpowiedzialna, ponieważ potrafi się uczyć bez ukrywania przeszłości.
To uczenie się wymaga wersjonowania. Stany, strażnicy, progi, podpowiedzi, modele, polityki, źródła danych i instrukcje przeglądu się zmieniają. Rejestr musi wskazywać, która wersja miała zastosowanie do którego przejścia. W przeciwnym razie organizacja może oceniać tylko zupę z przeszłych wyborów. Zupa ma zastosowania kulinarne. Nie jest metodą zarządzania, niezależnie od tego, ile pulpitów nawigacyjnych pływa na jej powierzchni.
Wersjonowany dowód przejścia utrzymuje też uczciwość ulepszeń. Zespół może powiedzieć, że nowy strażnik zmniejszył liczbę działań bez przeglądu, ale zwiększył opóźnienia. Może powiedzieć, że nowe źródło poprawiło dokładność, ale zwiększyło tarcie związane z prywatnością. Może powiedzieć, że aktualizacja modelu poprawiła podsumowania, ale osłabiła dyscyplinę odmowy. Kompromisy nie są porażkami. Ukryte kompromisy to porażki czekające na zaproszenie w kalendarzu.
Lekcja
Maszyna stanów stojąca za odpowiedzialną sztuczną inteligencją nie jest wezwaniem do zimniejszych systemów. To wezwanie do systemów, które wiedzą, co robią, podczas gdy to robią. Nazwany stan nie jest osiągnięciem moralnym. Strażnik nie jest sprawiedliwością. Paragon nie jest zaufaniem. Ale bez tych rzeczy odpowiedzialna sztuczna inteligencja pozostaje na poziomie intencji, a intencja ma słabą historię dostępności.
Odpowiedzialna sztuczna inteligencja wymaga celu, autorytetu, dowodów, ograniczeń, ludzkiego osądu, odwołań, naprawy, retencji i uczenia się. Te słowa stają się operacyjne dzięki stanom i przejściom. To one decydują, kiedy sprawa przechodzi dalej, kiedy się zatrzymuje, kto jest jej właścicielem, jaki zapis powstaje, jakie istnieje rozwiązanie i co system powinien zapamiętać na przyszłość. To nie jest cała etyka. To ta jej część, która może powstrzymać złe działanie, zanim stanie się bardzo dobrze udokumentowanym żalem.
Formularz na początku wciąż ma wartość. Zadaje właściwe pytania otwierające. Ale formularz musi prowadzić do działającej maszyny: nazwanych stanów, jawnych zabezpieczeń, trwałych dowodów, prawdziwego przeglądu i wyjść dla osób dotkniętych przez system. Odpowiedzialna sztuczna inteligencja nie jest udowodniona istnieniem polityki. Jest udowodniona lub obalona w momencie przejścia, w którym system decyduje, co stanie się dalej.