Czym jest dowód, gdy maszyna działa probabilistycznie?
Prawdopodobieństwo to nie wyrok
Gdy maszyna zwraca wynik 0,87, pierwsze pytanie jest zwykle zbyt wąskie. Ludzie pytają, czy 0,87 to dużo. Dużo w porównaniu z czym, dla jakiego wyniku, na jakich przypadkach i dla jakiej decyzji? Liczba wydrukowana obok wyniku wygląda jak właściwość tego wyniku. Często tak nie jest. To próba opisania relacji między modelem, zdefiniowaną populacją przypadków a wynikiem obserwowanym w czasie. Ta relacja może być użyteczna. Może kierować kolejką przeglądu, wyznaczać próg lub informować operatora, kiedy wynik zasługuje na drugie spojrzenie. Nie zamienia jednak indywidualnej predykcji w fakt z przydzielonym miejscem po przecinku.
To niewygodny punkt w centrum systemów probabilistycznych. Ich wyniki są często bardziej pouczające niż goła etykieta, ponieważ mogą wyrażać stopień poparcia lub niepewności. Łatwiej je też nadinterpretować. Wynik może być traktowany jak zeznanie świadka, konkluzja prawna, diagnoza czy przepustka. Z założenia nie jest żadną z tych rzeczy. Dowód zaczyna się, gdy organizacja potrafi powiedzieć, co liczba reprezentuje, jak została sprawdzona, gdzie ten sprawdzian ma zastosowanie i jaką zmianę w działaniu liczba może wymusić.
To rozróżnienie ma znaczenie na długo przed tym, zanim system trafi do regulatora. Zespół może decydować, czy sugerowany dokument wymaga sprawdzenia przez człowieka. Kupujący może porównywać dwóch dostawców, którzy obaj reklamują miary pewności. Operator może ustawiać regułę eskalacji. Instytucja publiczna może pytać, czy rankingowa lista jest wystarczająco dobra, by wpływać na to, gdzie najpierw trafia uwaga. W każdym przypadku udane uruchomienie jest dowodem jednej rzeczy: że jedno uruchomienie wyprodukowało wynik. To jeszcze nie dowód na to, że system zasługuje na przypisaną mu władzę.
Rozsądną reakcją nie jest zakazanie prawdopodobieństw w pracy o istotnych konsekwencjach. Chodzi o nadanie im właściwego opisu stanowiska. Prawdopodobieństwo może wspierać decyzję, gdy jest powiązane ze zdefiniowanym zdarzeniem, właściwą populacją, metodą obserwacji, granicą niepewności i regułą określającą, co się dzieje, gdy dowody są słabe. To wolniejsze niż podziwianie pojedynczej liczby i znacznie szybsze niż odkrycie później, że nikt nie potrafi wyjaśnić, do czego liczba miała służyć.
Dowód musi nazwać swoje pytanie
Dowody nigdy nie są po prostu obecne. Są dowodami na rzecz jakiegoś twierdzenia. Wynik testu może potwierdzać twierdzenie, że komponent dla konkretnego wejścia i w konkretnej konfiguracji daje konkretne wyjście. Może potwierdzać twierdzenie, że model dobrze porządkuje przykłady na zbiorze wstrzymanym. Może potwierdzać twierdzenie, że oszacowanie prawdopodobieństwa w przybliżeniu odpowiada obserwowanym częstościom w zdefiniowanym zbiorze ewaluacyjnym. To różne twierdzenia. Dyscyplina zaczyna się od zapisania twierdzenia, zanim wybierze się metrykę.
Rozważmy pozornie proste twierdzenie, że system jest dokładny. Dokładny w czym? Dokładność klasyfikacji może opisywać, jak często klasa z najwyższym wynikiem zgadzała się z etykietą. Nie mówi jednak, czy podane prawdopodobieństwo było dobrze skalibrowane. Metryka porządkująca może opisywać kolejność, a nie jakość skali wyników. Niski średni błąd może współistnieć ze szkodliwym wzorcem błędów w podgrupie lub na progu, który wyzwala działanie. Metryka nie jest błędna. Kłopoty zwykle zaczynają się od przeskoku od metryki do wniosku operacyjnego.
Prace OECD nad instrumentami ewaluacyjnymi są pomocne właśnie dlatego, że rezygnują z fantazji, iż jeden wynik może unieść całe wyjaśnienie. Ich ramy rozróżniają aspekty takie jak pokrycie, cel, realizm, rzetelność, powtarzalność, obiektywność i stronniczość. To nie biurokratyczne ozdobniki wokół benchmarku. Opisują one, czy wynik ma właściwy związek z zadanym pytaniem. Porównanie badawcze, ocena zgodności i decyzja o wdrożeniu operacyjnym mogą korzystać z testów. Nie oczekują jednak od tych testów tego samego.
Zacznij więc od zdania, z którym można się nie zgodzić. Na przykład: system ten może kierować sprawy do przeglądu przez człowieka, gdy jego udokumentowane oszacowanie prawdopodobieństwa dla zdefiniowanego wyniku przekroczy określony próg, pod warunkiem że wejście mieści się w zatwierdzonym zakresie, a recenzent zachowuje prawo odrzucenia sugestii. To jest dyskusyjne twierdzenie operacyjne. Wskazuje działanie, warunek i granicę. Nie udaje, że wynik sam wybrał swoją rolę w świecie.
Przeciwne zdanie jest znajome, bo wygodne: model jest w 87 procentach pewny. Nawet jeśli model rzeczywiście emituje prawdopodobieństwo, zdanie to pomija zdarzenie, dowody kalibracji, populację, okres i decyzję. Zamienia relację w cechę osobowości. Maszyn nie trzeba opisywać jako nieśmiałych lub pewnych. Trzeba je opisywać jako systemy, których wyniki mają zdefiniowane znaczenia i zdefiniowane granice.
Pewność to nie to samo co poprawność
System może być pewny i błędny. Może też być poprawny, wyrażając niską pewność. Te dwa fakty nie zaskakują, jeśli trzyma się te pojęcia osobno. Poprawność pyta, czy wynik zgadzał się z wybranym odniesieniem dla jednego przypadku. Pewność to stwierdzenie dołączone do wyniku, często wywiedzione z wyniku modelu lub jego przekształcenia. Kalibracja zadaje dalsze pytanie w poprzek wielu przypadków: gdy system przypisuje podobne prawdopodobieństwa, czy wyniki występują w przybliżeniu w podanym tempie? To powiązane pytania, ale jedna dobra odpowiedź nie dostarcza pozostałych.
Wyobraźmy sobie zbiór przypadków, dla których klasyfikator raportuje prawdopodobieństwo 0,80 dla jednego zdefiniowanego zdarzenia. Jeśli w odpowiednio opisanym i dostatecznie dużym zbiorze porównywalnych przypadków zdarzenie występuje około osiem razy na dziesięć, oszacowanie można nazwać dobrze skalibrowanym dla tej populacji i tego warunku. Nie oznacza to, że następny przypadek z wynikiem 0,80 ma osiemdziesięcioprocentowe przeznaczenie. Oznacza, że wynik wykazał związek z obserwowanymi wynikami w opisanym zbiorze. Sformułowanie w opisanym zbiorze wykonuje większość pracy intelektualnej.
Kalibracja nie jest też uniwersalną odznaką. Wynik może być dobrze skalibrowany na historycznym zbiorze danych, a słabo skalibrowany po zmianie źródła danych wejściowych, populacji użytkowników, procesu pracy, procesu etykietowania lub warunków wdrożenia. Może być dobrze skalibrowany ogólnie, a jednocześnie zachowywać się inaczej w części populacji, która ma znaczenie dla usługi. Może dobrze wyglądać w szerokim przedziale, maskując przy tym dużą różnicę w pobliżu progu decyzyjnego. Wykres kalibracji nie jest dyplomem oprawionym w ramkę nad systemem produkcyjnym. To obserwacja z datą i określonym zakresem.
Literatura na temat kalibracji modeli czyni to rozróżnienie konkretnym. Guo i współpracownicy badali kalibrację pewności we współczesnych sieciach neuronowych i wykazali, że sama dokładność nie przesądza o tym, czy szacunki pewności odzwierciedlają rzeczywiste prawdopodobieństwo poprawności. Ich praca ocenia również metody kalibracji po przetworzeniu. Najważniejsza lekcja operacyjna jest węższa niż przepis: nie należy zakładać, że wynik modelu ma właściwe znaczenie probabilistyczne tylko dlatego, że mieści się w wygodnym zakresie od zera do jednego.
Odpowiedzialna organizacja rejestruje zatem trzy różne rzeczy. Rejestruje skuteczność zadania, aby móc zapytać, czy wyniki spełniają zdefiniowane zadanie. Rejestruje kalibrację lub inną jawną właściwość niepewności, aby móc zapytać, co wynik oznacza w praktyce. Oraz rejestruje konsekwencję działania przy danym progu, aby móc zapytać, czy reguła decyzyjna jest właściwa. Połączenie tych trzech elementów w jeden zielony wskaźnik może uprościć pulpit nawigacyjny. Nie upraszcza to świata.
Kalibracja ma mianownik
Każde twierdzenie o kalibracji ma mianownik. Mianownikiem nie jest po prostu liczba rekordów w pliku. To zbiór przypadków, które kwalifikowały się do uwzględnienia, sposób ich grupowania, definicja wyniku, okres, wykluczenia oraz proces, który wygenerował etykiety referencyjne. Usuń te warunki, a wykres wiarygodności stanie się przyjemną krzywą bez jurysdykcji nad decyzją.
Zakładając, że ocena grupuje przewidywania według zadeklarowanej pewności. Obserwowany wskaźnik w każdej grupie zależy od przypadków dopuszczonych do grupy oraz od definicji wyniku. Czy przypadki niejednoznaczne zostały wykluczone? Czy wstrzymania się od odpowiedzi potraktowano jako błędy, bezpieczne odmowy czy coś innego? Czy etykieta odzwierciedlała bezpośrednie zdarzenie, późniejszy przegląd czy ostateczne odwołanie? Czy duplikaty zostały zachowane? Czy ocena obejmowała tylko rekordy, które przeszły etap walidacji wstępnej? Każda odpowiedź może być rozsądna. Każda odpowiedź zmienia znaczenie wynikającego z tego stwierdzenia o kalibracji.
Dlatego model może mieć przyzwoity globalny wynik kalibracji, a mimo to nie nadawać się do konkretnego zastosowania. Wynik globalny może łączyć języki, długości danych wejściowych, regiony, typy urządzeń, ścieżki klienta lub tryby działania, które nie mają tej samej struktury błędów. Wartość zagregowana może być uczciwym podsumowaniem, a mimo to niewystarczającym dowodem do podjęcia lokalnej decyzji. Właściwą reakcją nie jest żądanie osobnego modelu dla każdej osoby. Jest nią przetestowanie założeń dotyczących grupowania, które sama decyzja czyni istotnymi.
Ramy ewaluacyjne OECD nazywają to pokryciem. Ramy te pytają, czy instrument ewaluacyjny obejmuje tendencyjny czy reprezentatywny rozkład tego, co ma mierzyć, i odróżniają skuteczność zadania od szerszego twierdzenia o możliwościach. Te rozróżnienia są przydatne w przypadku dowodów dotyczących prawdopodobieństwa. Wynik może być dowodem na skuteczność w rozkładzie zadań. Nie powinien po cichu stać się dowodem na możliwości, dotkniętą populację lub przyszły kontekst, którego ocena nie obejmowała.
Mianownik ma też swoją stronę społeczną. Gdy organizacja decyduje, które przypadki są na tyle proste, że można je zautomatyzować, a które muszą poczekać na człowieka, definicje przesądzają o tym, kto ponosi pozostałą niepewność. Zagregowany wynik może ukrywać fakt, że mniejsza grupa ma mniej przykładów, mniej stabilne etykiety lub inny kontekst działania. To nie powód, by obiecywać równe statystyki tam, gdzie dowody są cienkie. To powód, by o cienkich dowodach mówić wprost i wokół nich zbudować ostrożną regułę decyzyjną.
Udany przebieg to okaz, a nie wniosek
Systemy probabilistyczne zachęcają do szczególnej formy przeceniania siebie, bo tak łatwo je zademonstrować. Wprowadź dane, otrzymaj imponujący wynik, powtórz z podobnymi danymi, otrzymaj kolejny. Demonstracja może pokazać, że system potrafi wykonać zadanie. Może nawet wskazać coś, co warto zbadać. Nie może pokazać rozkładu wyników, stabilności wyniku, reakcji na przypadki graniczne, jakości etykiet referencyjnych ani wpływu zmienionych warunków wdrożenia. Okaz może rozpocząć dociekania. Nie może ich zakończyć.
To samo dotyczy pojedynczego przebiegu benchmarku. Wynik mógł zostać zebrany poprawnie, na dobrze opisanym systemie, z użyciem właściwej metryki. Jeśli wykonano go raz, jest dowodem wartości zaobserwowanej raz w tych warunkach. Nie jest automatycznie dowodem stabilnej właściwości systemu. Powtarzanie pomaga ujawnić zmienność. Nie usuwa potrzeby pytania, czy test odzwierciedla zamierzone zastosowanie. Powtarzalność i trafność rozwiązują różne problemy i obie zasługują na miejsce w zapisie.
Ramy OECD czynią to rozróżnienie jawnym. Rzetelność dotyczy tego, czy ocena zawiera wystarczającą liczbę powtórzeń, wystarczającą długość epizodów lub wystarczającą liczbę instancji, aby przy ponownym zastosowaniu dawała niską zmienność. Powtarzalność dotyczy tego, czy ten sam test można wygenerować ponownie, w tym czy komponenty stochastyczne zmieniają interakcje. Test może być dokładnie powtarzalny i wciąż odpowiadać na nieużyteczne pytanie. Może być realistyczny i trudny do dokładnego odtworzenia, ponieważ środowisko się zmieniło. Żaden z tych warunków sam w sobie nie jest wadą. Zapis musi wskazywać, który warunek zachodzi i co pozwala wnioskować czytelnikowi.
Jest tu skromny, ale cenny nawyk operacyjny: zachowaj udany przebieg, ale nie obciążaj go ponad miarę. Zapisz dane wejściowe, konfigurację, wersję, ziarno, jeśli ma zastosowanie, zależności, wynik i decyzję ewaluacyjną. Następnie umieść go obok powtórzonych pomiarów, kontrprzykładów, wstrzymań i zmienionych warunków. Wynik, który pozostaje użyteczny po zetknięciu z niewygodnymi sąsiadami, jest cenniejszy niż wynik, który trzeba było przed nimi chronić.
W systemach generatywnych udana odpowiedź jest szczególnie słabym dowodem powtarzalności, chyba że zapisano kontrakt interakcji. Ustawienia próbkowania, prompty, pobrany materiał, dostępność narzędzi, wersja modelu, polityka bezpieczeństwa i otaczający przepływ pracy mogą kształtować wynik. Odtworzenie ciągu słów bez odpowiedniego stanu może odtworzyć pozór testu, tracąc warunek, który czynił go znaczącym. W pracy nad dowodami podobieństwo to nie odtworzenie.
Powtarzalność to nie synonim zaufania
Deterministyczne odtworzenie może być doskonałym dowodem jednego wąskiego twierdzenia: przy tych samych zapisanych danych wejściowych, konfiguracji i warunkach implementacji system dał ten sam wynik. To czyni dociekania, testy regresyjne i porównania wersji bardziej przystępnymi. Nie dowodzi jednak, że wynik był poprawny, że dane wejściowe były właściwe, że system powinien był zostać użyty do decyzji ani że wynik uogólni się poza zapisaną granicę. Powtarzalność jest właściwością eksperymentu. Zaufanie to osąd dotyczący szerszego układu.
Zachowanie stochastyczne zmienia zapis, zamiast usprawiedliwiać jego brak. Jeśli wynik się zmienia, ocena musi odnotować, które części się zmieniają, jak często, w jakim zakresie i jak ta zmienność wpływa na decyzję. System proponujący alternatywne sformułowania może tolerować szerszy zakres niż system szeregujący przypadki pod kątem uwagi. System doradzający człowiekowi może wymagać innych dowodów niż system umożliwiający podjęcie nieodwracalnego działania. Prawdopodobieństwo samo w sobie nie jest kategorią operacyjną. To konsekwencje decydują o tym, ile niepewności proces może bezpiecznie unieść.
Po obu stronach łatwo o błąd. Jeden zespół wymaga stałego wyniku od narzędzia, którego deklarowanym celem jest eksploracja, a następnie myli wynikającą z tego deterministyczność z jakością. Inny zespół akceptuje zmienne wyniki systemu wspomagania decyzji, a gdy ocena staje się trudna, nazywa tę zmienność kreatywnością. Żadne z tych stanowisk nie jest poważne. Pytanie brzmi, czy zmienność jest oczekiwana, ograniczona, obserwowalna i zgodna z uprawnieniami przyznanymi systemowi.
Regulacje europejskie nie sprowadzają tego pytania do jednego uniwersalnego wyniku. W przypadku systemów AI wysokiego ryzyka art. 15 aktu w sprawie AI wymaga odpowiedniego poziomu dokładności, odporności i cyberbezpieczeństwa oraz spójnego działania pod tym względem przez cały cykl życia. Akt stanowi również, że poziomy dokładności i istotne wskaźniki dokładności należy wskazać w instrukcji użytkowania, a także zachęca do stosowania benchmarków i metod pomiaru w zakresie technicznych aspektów pomiaru wydajności. Przepis ten nie mówi, że jeden powtarzany test rozstrzyga sprawę. Wymaga, aby wydajność była określona i utrzymywana w kontekście.
To rozsądne podejście w każdej poważnej ocenie. Powtarzalny test jest elementem łańcucha dowodowego. Potrzebuje właściciela, granicy wersji, wyzwalacza zmian i powiązania z decyzją operacyjną, którą wspiera. Bez tego powtarzalność może stać się kolejnym atrakcyjnym słowem, które niesie się dalej niż sam eksperyment.
Niepewność potrzebuje drogi operacyjnej
Praktycznym celem niepewności nie jest upiększenie pulpitu nawigacyjnego. Chodzi o zmianę tego, co system może robić. Jeśli wynik nie wpływa na kierowanie, przegląd, wyjaśnienie, monitorowanie ani zatrzymanie, może być techniczną ciekawostką, a nie sygnałem operacyjnym. Jeśli zmienia działanie, organizacja musi określić drogę od wyniku do uprawnień.
Próg jest jedną z takich dróg, ale nie jest magiczną granicą. Ustalenie progu oznacza wybór kompromisu między rodzajami błędów, obciążeniem pracą, opóźnieniem i potencjalną szkodą. Próg może być odpowiedni do priorytetyzacji kolejki przeglądów o niskich konsekwencjach i niewłaściwy do odmowy dostępu do usługi. Ten sam próg liczbowy może oznaczać co innego, gdy zmieniają się częstość występowania, koszt błędu, dostępne środki odwoławcze i jakość późniejszego przeglądu. Nie ma uniwersalnej rozsądnej liczby czekającej w podręczniku dostawcy.
Z tego powodu reguła decyzyjna powinna opisywać więcej niż punkt odcięcia. Powinna wskazywać szacowany wynik, dowody wspierające wynik, przypadki spoza zakresu, okoliczności wymuszające wstrzymanie się od decyzji, pozostałe uprawnienia człowieka, prowadzony zapis oraz warunki ponownego rozpatrzenia reguły. Próg bez tych towarzyszy to decyzja udająca konfigurację.
Pomocnicza hipoteza ilustruje tę kwestię bez wymyślania publicznego incydentu. Wyobraźmy sobie usługę, która wykorzystuje wynik modelu do sortowania przychodzących zgłoszeń dla przeszkolonego recenzenta. Dowody mogą wspierać ograniczone twierdzenie: wynik może pomóc w uporządkowaniu porównywalnych zgłoszeń w określonej kategorii przyjęć, podczas gdy cała ostateczna decyzja o priorytecie pozostaje po stronie recenzenta. Te same dowody nie uzasadniają automatycznego odrzucania zgłoszeń z niskim wynikiem, ponieważ jest to inne działanie o innych konsekwencjach i innych wymogach dowodowych. Wynik się nie zmienił. Zmieniły się jego uprawnienia.
Wstrzymanie się od odpowiedzi zasługuje na taką samą powagę. System, który potrafi przyznać, że jego dowody są niewystarczające, może w krótkim okresie generować więcej pracy, ale w dłuższej perspektywie ograniczać niewykryte błędy. Jednak wstrzymanie się od odpowiedzi jest użyteczne tylko wtedy, gdy ma dokąd trafić w odpowiedzialny sposób. Jeśli niepewne przypadki znikają w kolejce bez właściciela, system po prostu zamienia niepewność w opóźnienie. Dobra ścieżka określa, kto otrzymuje sprawę, co może zobaczyć, jak ją koryguje i jak ta korekta wpływa na późniejszą ocenę.
Twierdzenia o związkach przyczynowych wymagają czegoś więcej niż wykresu przed i po
Szacunki prawdopodobieństwa są często wykorzystywane do poparcia twierdzeń o tym, co się stanie, jeśli organizacja podejmie działania. To inne zadanie dowodowe niż przewidywanie tego, co wydarzyło się w danych historycznych. Model może oszacować, że dany przypadek przypomina inne przypadki z określonym wynikiem. Nie dowodzi to jednak, że zmiana przypadku, zmiana polityki lub zastosowanie się do zalecenia spowoduje zmianę wyniku. Przewidywanie i interwencja nie powinny być ze sobą łączone tylko dlatego, że wykres wygląda schludnie.
Wykresy przed i po są szczególnie kuszące. Zespół wprowadza narzędzie, wynik się zmienia, a narzędzie otrzymuje uznanie lub winę. Wiele innych rzeczy mogło się zmienić: populacja wchodząca do usługi, dokumentacja, personel, polityka, warunki sezonowe, filtry na wcześniejszych etapach lub sam pomiar. Obserwacja może być warta uwagi. Nie jest jednak wnioskiem o związku przyczynowym, dopóki nie zostaną rozpatrzone porównanie, alternatywne wyjaśnienia i pozostała niepewność.
Ma to znaczenie dla zarządzania sztuczną inteligencją, ponieważ system może wpływać na działania operacyjne na długo przed tym, zanim formalnie podejmie decyzję. Ranking może zmienić to, który rekord osoba otworzy jako pierwszy. Wskaźnik pewności może skłonić recenzenta do zaakceptowania wyniku. Zalecane działanie może stać się rutyną, ponieważ kolejka jest zajęta. Ścieżka przyczynowa obejmuje ludzką interpretację, projekt interfejsu, zachęty, presję czasu i dostępną ścieżkę korekty. Ocena samego modelu nie może opowiedzieć całej historii.
Gdy twierdzenie o związku przyczynowym ma znaczenie, plan dowodowy powinien określać, jakie porównanie uczyniłoby to twierdzenie bardziej wiarygodnym i czego nadal nie mogłoby wykluczyć. Może to obejmować test kontrolowany, wdrożenie etapowe, niezależny przegląd, starannie skonstruowany projekt obserwacyjny lub decyzję o całkowitym powstrzymaniu się od twierdzenia o związku przyczynowym. Nie chodzi o wymaganie akademickiej doskonałości od każdej zmiany operacyjnej. Chodzi o dopasowanie pewności twierdzenia do faktycznie dostępnych dowodów.
Jest w tym pewien holenderski zdrowy rozsądek, choć dobrze się sprawdza także gdzie indziej: jeśli zmierzyłeś tylko, że zmienił się wiatr, nie ogłaszaj, że przeprojektowałeś pogodę. Przewidywanie może być wartościowe bez stawania się opowieścią o przyczynie. Uczciwość nie jest odwrotem. To właśnie ona sprawia, że wynik jest użyteczny dla kogoś, kto musi zdecydować, co zrobić dalej.
Dokładność może maskować złą regułę decyzyjną
Dokładność jest często użyteczna i często niewystarczająca. System może osiągać wysoką dokładność tam, gdzie jeden wynik jest powszechny, oferując jednocześnie niewielką pomoc w przypadkach, które mają największe znaczenie. Może mieć dobrą średnią, słabo działając w pobliżu granicy działania. Może dokonywać poprawnych przewidywań bez oferowania szacunków prawdopodobieństwa, które wspierałyby rozsądne progi. Może wyglądać na skuteczny, ponieważ etykieta referencyjna jest łatwa do przewidzenia, nawet jeśli sama etykieta jest słabym przybliżeniem decyzji, którą usługa musi podjąć.
Nie oznacza to, że dokładność jest pozbawiona znaczenia. Oznacza to, że czytelnik powinien zapytać, co ona mierzy i co pozostaje poza kadrem. Akt w sprawie sztucznej inteligencji dostrzega tę potrzebę kontekstu w wymogach dotyczących instrukcji użytkowania: dokumentacja systemów wysokiego ryzyka musi zawierać charakterystykę i ograniczenia wydajności, przewidziane przeznaczenie, istotne wskaźniki dokładności stosowane do testowania i walidacji systemu oraz znane lub dające się przewidzieć okoliczności, które mogą wpływać na oczekiwaną wydajność. Wartość wskaźnika dokładności rośnie, gdy pozostaje on powiązany z otaczającymi go warunkami.
Dobra operacyjna ocena pyta zatem o wzorce błędów, a nie tylko o sumy. Które rodzaje przypadków zostały błędnie sklasyfikowane? Które były niepewne? Które przypadki wykluczono lub skierowano do przeglądu? Co dzieje się z wynikiem fałszywie pozytywnym, fałszywie negatywnym, opóźnioną odpowiedzią lub nieuzasadnioną wstrzymaniem się od odpowiedzi? Kto może wykryć wynik, zakwestionować go i skorygować zapis? Te pytania przywracają ocenę do usługi, zamiast pozostawiać ją modelowi.
Przydatne może być również rozróżnienie dowodów dotyczących komponentu od dowodów dotyczących przepływu pracy. Test komponentu może ustalić właściwości modelu przy zdefiniowanych danych wejściowych. Ocena przepływu pracy może ustalić, jak współdziałają model, interfejs, dane, ludzie i polityka. Komponent może mieć dobrą kalibrację wyników, podczas gdy przepływ pracy generuje błąd automatyzacji, ponieważ interfejs ukrywa niepewność. Przepływ pracy może mieć doskonały proces przeglądu, opierając się jednocześnie na komponencie, którego dane źródłowe nie odpowiadają już zadeklarowanemu zakresowi. Testy muszą się gdzieś spotkać.
Uzyskane dowody nie muszą mieć formy obszernego raportu. Mogą to być zwięzłe, wersjonowane zapisy, jeśli decyzja jest wąska. Liczy się to, aby inna osoba mogła przeanalizować propozycję, populację, metodę, wynik, ograniczenie i decyzję. Rozmiar pliku nie przesądza o jakości rozumowania. Krótki zapis może być rzetelny. Obszerna prezentacja może być w większości pustosłowiem.
Zmiana zamienia wczorajsze dowody w pytanie
Każdy wynik oceny ma datę, nawet jeśli jest ukryta. Modele się zmieniają. Prompty się zmieniają. Źródła danych się zmieniają. Formularz na wcześniejszym etapie zyskuje nowe pole. Dostawca zmienia politykę. Zespół przenosi usługę do innego środowiska. Nowa grupa zaczyna korzystać z systemu. Wskaźnik jest obliczany po zmianie procesu przeglądu. Każda zmiana może wpłynąć na propozycję, którą poprzednie dowody potwierdzały.
Właściwą reakcją nie jest ponowne uruchamianie wszystkich testów po każdej edycji. Należy określić, które zmiany mają znaczenie dla których twierdzeń. Zmiana koloru może nie wpływać na kalibrację prawdopodobieństwa. Nowy kanał wejściowy może już tak. Zmieniona polityka etykietowania może zmienić definicję wyniku. Nowa wersja modelu może zmienić zarówno wydajność, jak i interpretację jego wyników. Zmiana uprawnień przyznanych systemowi może unieważnić regułę decyzyjną, nawet jeśli model pozostaje identyczny co do joty. Plan testów powinien uwidocznić te zależności, zanim wydanie stanie się wygodne.
Artykuł 9 aktu w sprawie sztucznej inteligencji opisuje ciągły, iteracyjny proces zarządzania ryzykiem dla systemów wysokiego ryzyka w całym ich cyklu życia. Proces obejmuje identyfikację i analizę znanych oraz dających się w rozsądny sposób przewidzieć zagrożeń, szacowanie i ocenę ryzyka, gdy system jest używany zgodnie z przeznaczeniem oraz przy rozsądnie przewidywalnym niewłaściwym użyciu, a także wdrażanie środków zarządzania ryzykiem. Wniosek dla oceny jest bezpośredni: dowody nie są jednorazową ceremonią podczas wdrożenia. Należą do systemu operacyjnego przeglądu, zmian i reagowania.
Monitoring nie oznacza zbierania każdego dostępnego sygnału i liczenia na to, że wzorzec sam się ujawni. Oznacza podjęcie decyzji, która obserwacja mogłaby skłonić do ponownego otwarcia roszczenia. Kontrola kalibracji może być zaplanowana według okresu, wolumenu lub zmienionego składu danych wejściowych. Próg może być poddany przeglądowi, gdy presja kolejki zmienia jakość nadzoru ludzkiego. Zmiana źródła może zawiesić zastosowanie do czasu powtórzenia odpowiedniego testu. Poważny plan monitorowania określa, co jest obserwowane, przez kogo, względem jakiego odniesienia i jakie działania następują w konsekwencji.
To bardziej wymagające niż karta modelu zarchiwizowana w dniu zakupu, ale też bardziej użyteczne. Dokument statyczny może zachować to, co zostało zadeklarowane. Żywy rejestr dowodów może pokazać, czy deklaracja nadal ma zastosowanie. W przypadku systemu probabilistycznego ta różnica to różnica między wiedzą, że wynik istniał, a wiedzą, czy nadal znaczy to, co według usługi znaczy.
Rejestry pozwalają późniejszemu czytelnikowi właściwie się nie zgodzić
Dowody potrzebują pamięci. Późniejszy recenzent nie może ocenić roszczenia na podstawie zrzutu ekranu z wynikiem i wspomnienia ze spotkania. Potrzebuje wersjonowanego obiektu: pytania, warunków wejściowych, metody testu lub obserwacji, wyniku, wykluczeń, niepewności, decyzji i właściciela. Może też potrzebować wiedzy o tym, czego nie uchwycono. Rejestr, który uwidacznia swoje ślepe plamy, jest bardziej użyteczny niż rejestr wyglądający na doskonały, a pozostawiający stan systemu domysłom.
W przypadku systemów AI wysokiego ryzyka akt o AI wymaga automatycznego rejestrowania zdarzeń przez cały okres życia systemu, z możliwościami logowania odpowiednimi do zamierzonego celu i przydatnymi do identyfikacji ryzyka, wspierania monitorowania po wprowadzeniu do obrotu i monitorowania działania. Wymaga również sporządzenia dokumentacji technicznej przed wprowadzeniem systemu do obrotu i jej aktualizowania. Wymogi te nie są jedynie zaproszeniem do gromadzenia większej liczby logów. Są zaproszeniem do uczynienia logów zrozumiałymi w odniesieniu do systemu, celu i decyzji.
Możliwość śledzenia jest szczególnie ważna tam, gdzie prawdopodobieństwo jest interpretowane przez człowieka. Jeśli recenzent widzi wynik, rejestr dowodów powinien umożliwiać odtworzenie, do czego wynik był przypisany, jak został przedstawiony, jakie dane lub źródła były w zakresie, co recenzent zdecydował i czy nastąpiła późniejsza korekta. Bez tego łańcucha zespół może się dowiedzieć, że wynik był błędny, ale nie, czy problem leżał w danych wejściowych, modelu, interfejsie, regule decyzyjnej czy procesie ludzkim wokół niego.
W Dweve AION jest małym, istotnym przykładem szerszej zasady, a nie twierdzeniem, że dowody można sprowadzić do kryptografii. Jego publiczny opis mówi, że producent może wygenerować typowany certyfikat wraz z wynikiem, a AION niezależnie sprawdza certyfikat względem pierwotnych przesłanek. Tego rodzaju weryfikowalny rejestr może wzmocnić wąskie twierdzenie o tym, czy wynik wynika z odnotowanych przesłanek. Nie dowodzi, że przesłanki były odpowiednie, że zadanie było słuszne ani że zastosowanie było właściwe. Dowody wymagają zarówno weryfikacji, jak i osądu.
To ograniczenie warto zachować, ponieważ zapobiega częstemu błędowi kategoryzacji. Doskonale zachowany ślad może pokazać, co się wydarzyło. Nie może sprawić, że źle sformułowane pytanie stanie się dobre. Powtarzalna decyzja może nadal być decyzją, która nigdy nie powinna zostać zautomatyzowana. Rejestr powinien pomóc późniejszemu czytelnikowi zadać oba pytania, a nie przedwcześnie odpowiadać na drugie.
Ufność może być uczciwa, ale nieprzydatna
Dobrze skalibrowane prawdopodobieństwo wciąż może być niepomocne. Może być zbyt ogólne, aby oddzielić przypadki wymagające odmiennego traktowania. Może dotrzeć zbyt późno, aby wpłynąć na decyzję. Może być powiązane z wynikiem, który nie jest wykonalny. Może być tak niepewne, że każdy przypadek wymaga tej samej weryfikacji. To nie są porażki uczciwości. To ograniczenia użyteczności, które należy przyznać wcześnie, a nie odkryć po zbudowaniu przepływu pracy wokół wyniku.
I odwrotnie, użyteczny system nie musi udawać pewności. Skromny sygnał może poprawić organizację pracy, jeśli ma wąski cel i jasną ścieżkę weryfikacji. Może pomóc operatorowi dostrzec, które przypadki zasługują na dodatkowe sprawdzenie źródła. Może wybrać mały zestaw do kontroli jakości. Może ujawnić konflikt między rekordami. W takich zastosowaniach wymóg dotyczący dowodów dotyczy tego, czy sygnał poprawia konkretny proces decyzyjny bez wprowadzania niedopuszczalnych nowych błędów lub zależności. Sygnał nie musi stać się wyrocznią, aby zasłużyć na miejsce.
Dlatego zamierzony cel musi kontrolować ocenę. Zasady AI OECD wzywają do przekazywania znaczących informacji o możliwościach i ograniczeniach systemów oraz do zapewnienia identyfikowalności w odniesieniu do zbiorów danych, procesów i decyzji, tak aby wyniki mogły być analizowane, a zapytania rozpatrywane. Zasady wzywają również do odpowiedniego nadzoru i kontroli człowieka. Praktyczny wniosek nie jest taki, że każdy interfejs potrzebuje wyświetlacza prawdopodobieństwa. Chodzi o to, aby dowody i wyjaśnienia systemu odpowiadały osobie i decyzji, których dotyczą.
Nie ma nagrody za ujawnianie wartości niepewności, której użytkownik nie może zinterpretować ani na którą nie może zareagować. Liczba bez ścieżki decyzyjnej może stworzyć teatr przejrzystości. Daje ludziom coś, na co mogą wskazać, i żadnego sposobu, aby to zakwestionować. Lepiej pokazać istotną granicę w prostym języku, na przykład ta sugestia wykracza poza zatwierdzoną kategorię lub ten wynik wymaga weryfikacji, ponieważ dostępne dowody są niekompletne. Odpowiednia prezentacja wynika z kontroli operacyjnej, a nie odwrotnie.
Z tego samego powodu wynik ufności nie powinien być traktowany jako miara wartości moralnej, wiarygodności ani uprawnień. To techniczne stwierdzenie z ograniczoną umową dowodową. Może pomóc procesowi. Nie powinien stać się niejasnym rankingiem społecznym tylko dlatego, że jego liczbowa forma sprawia, że wygląda na rozstrzygający.
Organizacja jest właścicielem wnioskowania
Dostawcy mogą dostarczać modele, dokumentację, wyniki i rezultaty testów. Nie mogą jednak po cichu przejmować władzy nad znaczeniem decyzji podjętej w usłudze kogoś innego. Organizacja, która łączy wynik probabilistyczny z działaniem, musi zdecydować, na którym twierdzeniu polega, która populacja ma znaczenie, który próg jest akceptowalny, kto weryfikuje wyjątki, które rekordy są przechowywane i kiedy dowody tracą ważność. Umowy mogą rozdzielać zadania. Nie usuwają one potrzeby osądu.
Staje się to widoczne w procesie zakupowym. Nabywca powinien zapytać potencjalnego dostawcę nie tylko o główny wskaźnik, ale także o pytanie ewaluacyjne, populację, etykiety, wykluczenia, wersje, zmienność, metodę kalibracji, jeśli składane jest twierdzenie o prawdopodobieństwie, znane ograniczenia i politykę zmian. Nie chodzi o żądanie ujawnienia informacji, których dostawca nie może prawnie udostępnić. Chodzi o ustalenie, czy nabywca jest w stanie zrozumieć granice twierdzenia na tyle dobrze, aby korzystać z niego w sposób odpowiedzialny w europejskim kontekście operacyjnym.
Odpowiedź może czasem brzmieć: dowody nie są wystarczające do zamierzonego zastosowania. To nie jest nieudany proces zakupowy. To proces zakupowy wykonujący swoje rzeczywiste zadanie, zanim organizacja uzależni się od niewyjaśnionego wyniku. Mniejsze, możliwe do sprawdzenia zastosowanie może być nadal osiągalne. Inny dostawca może być właściwszy. Albo decyzja może pozostać w rękach człowieka, ponieważ dowody i ścieżka korekty nie są wystarczająco mocne, aby uzasadnić automatyzację. Odmowa jest częścią dyscypliny dowodowej.
Dowody potrzebują również wskazanego właściciela po wdrożeniu. Ktoś musi odpowiadać za sprawdzanie, czy populacja się zmieniła, czy przeglądy ujawniają nowy wzorzec błędów, czy próg nadal pasuje do obciążenia pracą, czy rekordy można zinterpretować oraz czy zmiana wymaga ponownej oceny. Właściciel nie musi osobiście wykonywać każdego testu. Jeśli jednak żadna rola nie odpowiada za wnioskowanie, system stopniowo zyska autorytet dzięki przyzwyczajeniu. Przyzwyczajenie jest słabym substytutem rejestru decyzji.
Najtrudniejsza część ma często charakter kulturowy. Zespoły przywykły do przedstawiania udanych modeli jako produktów, a nieudanych jako badań. Dowody probabilistyczne wymagają od nich zachowania niejednoznaczności pośrodku: użyteczne, ograniczone, monitorowane i jeszcze nieupoważnione do stania się czymś więcej, niż wspierają dowody. To może brzmieć mniej ekscytująco. Jest trwalsze.
Co zawiera proporcjonalny rejestr dowodów
Właściwy rejestr zależy od zastosowania. Narzędzie wspomagające pisanie używane przez autora ma inne konsekwencje niż system wpływający na dostęp do usługi publicznej. Mimo to proporcjonalny rejestr ma rozpoznawalny kształt. Określa twierdzenie i zamierzony cel. Określa model, konfigurację i otaczający przepływ pracy. Definiuje wynik i populację użyte do oceny twierdzenia. Zachowuje metodę, rezultat i istotne ograniczenia. Określa regułę decyzyjną, właściciela, ścieżkę przeglądu i czynniki wyzwalające zmiany. Każde pole daje późniejszemu czytelnikowi punkt wyjścia.
Rejestr powinien odróżniać pomiar od interpretacji. Zmierzone obserwacje mogą stwierdzać, że na określonym zbiorze danych i w określonym okresie wskazany zestaw wyników odpowiadał zaobserwowanym rezultatom w opisanym zakresie. Interpretacja może stwierdzać, że wspiera to zastosowanie jako sygnał porządkowania przeglądów przy określonych kontrolach. Decyzja może stwierdzać, że system może być używany do tego celu do czasu wystąpienia wskazanego czynnika wyzwalającego zmianę. Umieszczenie wszystkich trzech zdań pod nagłówkiem o nazwie wydajność jest skuteczne tylko wtedy, gdy nikt nigdy nie musi kwestionować rozumowania.
Powinien też sprawić, że niewiadome staną się użyteczne. Być może etykiety są opóźnione. Być może niewielka grupa językowa nie ma wystarczającej liczby przypadków, aby przeprowadzić stabilną ocenę kalibracji. Być może wdrożenie jest nowe i nie ma jeszcze dowodów operacyjnych. Rejestr może to odnotować, nałożyć tymczasowe ograniczenie użycia, zaplanować dalszą obserwację lub zachować ścieżkę z udziałem człowieka. Udawanie, że niewiadoma została rozwiązana, bo model wygenerował liczbę, tylko zamienia niepewność w nieudokumentowane zobowiązanie.
Dyscyplina wizualna jest tu przydatna. Narysuj łańcuch od danych wejściowych do wyniku, od wyniku do wyświetlanego wyjaśnienia, od wyjaśnienia do działania człowieka oraz od działania do zaobserwowanego rezultatu i korekty. Zaznacz, gdzie stan jest przechwytywany, gdzie jest tracony oraz gdzie człowiek może zatrzymać lub odwrócić ścieżkę. Jeśli zespół nie potrafi narysować tej trasy, jest mało prawdopodobne, że będzie w stanie ją ocenić. Diagramy nie zastępują dowodów. Zapobiegają przypisaniu dowodów do niewłaściwej części systemu.
Przede wszystkim zapisz, czego rejestr nie ustala. Może nie ustalać związku przyczynowego. Może nie ustalać sprawiedliwości wobec każdej grupy. Może nie ustalać zachowania po zmianie dostawcy. Może nie ustalać przydatności do działania o poważniejszych konsekwencjach. Te braki nie są przeprosinami. To one sprawiają, że ograniczona ocena nie jest wykorzystywana jako uniwersalne upoważnienie.
Dowody dają prawo do pozostawania w niepewności
Istnieje pokusa, by uznać, że celem oceny jest usunięcie niepewności. Często lepszym celem jest jej zlokalizowanie. System probabilistyczny nie jest wadliwy, ponieważ nie potrafi zamienić każdego przypadku w pewność. Staje się niebezpieczny, gdy organizacja traktuje niepewność jako prywatny szczegół techniczny, jednocześnie nadając wynikom publiczny autorytet. Zadaniem jest zdecydowanie, która niepewność jest tolerowana, widoczna i możliwa do naprawienia w danym celu.
Ta decyzja powinna być tym bardziej wymagająca, im większe są konsekwencje. Sugestia o niskich konsekwencjach może wymagać jasnego zakresu, widocznego ograniczenia i łatwej korekty. System, który wpływa na prawa, bezpieczeństwo, dostęp lub materialne możliwości, wymaga mocniejszych dowodów dotyczących całego procesu, staranniejszego monitorowania, realnej władzy człowieka oraz ścieżki odwołania i naprawy. Wynik modelu nie decyduje sam o tym standardzie. Decyduje o nim skutek działania na jego podstawie.
Pojedyncze udane uruchomienie może być nadal warte zachowania. Może być pierwszym okazem w użytecznym rejestrze. Może ujawnić możliwość, tryb awarii lub pytanie zasługujące na właściwą ocenę. Powinno jednak pozostać okazem, dopóki organizacja nie przetestuje twierdzenia, na którym chce polegać. Dystans między tymi dwiema rzeczami to miejsce, w którym żyje odpowiedzialna inżynieria.
Odpowiedź na pytanie, co stanowi dowód, gdy maszyna jest probabilistyczna, nie brzmi: wynik, wykres czy etykieta zgodności. To ograniczony argument: ten wynik, dla tego pytania, w tej populacji i okresie, w tych warunkach, został zaobserwowany w ten sposób; to możemy wywnioskować; tego nie możemy wywnioskować; i to jest działanie, które jesteśmy lub nie jesteśmy gotowi mu powierzyć. Ten argument nie jest efektowny. Jest możliwy do sprawdzenia, a to lepsze.