Szybsze zgadywanie to nie wyszukiwanie
Odpowiedź bez uchwytu
Na spotkaniu zapadła cisza, gdy asystent wygenerował odpowiedź. To była pierwsza oznaka kłopotów. Ludzie zwykle hałasują, gdy oprogramowanie zawodzi w oczywisty sposób. Odchylają się na krześle, wzdychają, pytają, kto jest właścicielem systemu, i nagle mają wyrobione opinie o zakupach. Ta odpowiedź nie zawiodła w oczywisty sposób. Była płynna, uporządkowana i dokładnie taka, jakiej projektowy zespół słucha z wyprostowanymi plecami. Mówiła, że polityka dopuszcza wyjątek. Podawała trzy powody. Używała tego samego słownictwa co biuro polityk. Nawet brzmiała lekko znudzona, a tak właśnie instytucjonalna prawda zwykle ubiera się do pracy.
Potem ktoś zapytał, skąd pochodzi ta odpowiedź. Ekran pokazał etykietę źródła z napisem wewnętrzne wytyczne. To nie było źródło. To był nastrój z szafą na akta. Które wytyczne. Która wersja. Który akapit. Czy dokument był nadal aktualny. Czy pytający miał uprawnienia, żeby go zobaczyć. Czy tekst został skopiowany z projektu, obowiązującej polityki, notatki ze spotkania czy przykładu szkoleniowego wygenerowanego przez inny system. Asystent nie potrafił tego powiedzieć. Pobrał coś albo twierdził, że pobrał. Zespół miał odpowiedź bez uchwytu. Można ją było podziwiać, ale nie można było jej podnieść.
To jest cicha pułapka generatywnej sztucznej inteligencji opartej na wyszukiwaniu. Wyszukiwanie sprawia, że model wydaje się ugruntowany, bo odpowiedź nie pochodzi już wyłącznie od modelu. Warstwa wyszukiwania znajduje dokumenty, fragmenty, rekordy lub fakty, przekazuje je do kontekstu, a model pisze na ich podstawie. To jest przydatne. Ale też niebezpiecznie łatwo to przecenić. Jeśli system nie potrafi pokazać, co pobrał, dlaczego wolno mu było to pobrać, jak świeże to było, jakie przekształcenia tego dotknęły i jak odpowiedź końcowa od tego zależy, to wyszukiwanie nie rozwiązało problemu zgadywania. Wysłało zgadywanie szybszą trasą.
Stary model zgadywał z pamięci. Nowy system może zgadywać ze stosu fragmentów. To poprawa tylko wtedy, gdy stos jest zarządzany. W przeciwnym razie organizacja zbudowała pewnego siebie bibliotekarza, który bardzo szybko przebiega przez archiwum, odmawiając zapamiętania numerów półek. Imponująca kondycja. Słaba ścieżka audytu.
Wyszukiwanie to warstwa transportowa, a nie warstwa prawdy
Najprostszy sposób na niezrozumienie wyszukiwania to traktowanie wyników jako prawdy. Wyszukiwanie nie zna prawdy. Wyszukiwanie zna dopasowanie. Wyszukiwanie wektorowe zna podobieństwo. Wyszukiwanie słów kluczowych zna terminy. Wyszukiwanie hybrydowe zna wynegocjowany rozejm między nimi. Reranker może poprawić kolejność. Filtry metadanych mogą usunąć oczywiste błędy. Żaden z tych kroków nie wie automatycznie, czy akapit jest aktualny, autoryzowany, kompletny, sprzeczny, zastąpiony, poufny czy napisany przez kogoś, kto spieszył się do domu przed strajkiem kolei.
To nie czyni wyszukiwania słabym. To czyni je precyzyjnym. Jest to warstwa transportowa, która dostarcza potencjalne dowody na powierzchnię rozumowania. Jej zadaniem jest znajdowanie materiałów, które mogą być istotne, w ramach określonych ograniczeń. Prawdziwa praca nad prawdą zaczyna się, gdy system potrafi zidentyfikować materiał, zachować jego kontekst, porównać go z innymi materiałami, odrzucić nieaktualne lub nieautoryzowane źródła, ujawnić niepewność i prowadzić rejestr tego, co się wydarzyło. Bez tych elementów wyszukiwanie jest tylko szybszą selekcją. Szybsza selekcja to nie to samo co lepszy osąd. Moneta rzucona przez maszynę to nadal rzut monetą, nawet jeśli korzysta z kredytów w chmurze.
W praktycznych systemach luka pojawia się w drobnych miejscach. Dokument źródłowy jest dzielony na fragmenty, ale fragment traci nagłówek, który nadawał mu znaczenie. Indeks wektorowy zawiera zarówno aktualne, jak i wycofane polityki, ponieważ usuwanie obsługiwano entuzjazmem zamiast procedurą. Plik PDF został sparsowany bez przypisów. Tabela stała się ciągiem osamotnionych liczb. Reguła kontroli dostępu została zastosowana do dokumentu, ale nie do osadzenia. Odpowiedź cytuje akapit, który był istotny w jednym regionie, a nielegalny w innym. Nikt nie zaprojektował awarii. Po prostu pozwolono, aby dowody gubiły swoje etykiety w trakcie przemieszczania.
Lekarstwem nie jest nieufność wobec wyszukiwania. Lekarstwem jest zaprzestanie wymagania od niego zadań, do których nigdy nie zostało zbudowane. Wyszukiwanie powinno dostarczać kandydatów. Prowieniencja powinna opowiadać historię tych kandydatów. Zarządzanie powinno decydować, których kandydatów można użyć. Odpowiedź powinna nieść wystarczająco dużo dowodów, aby ludzie mogli je zbadać bez stawania się amatorskimi archeologami w folderze o nazwie archiwum finalne stare.
Brakujący numer półki
Biblioteki rozumiały proweniencję, zanim AI odkryło ją na nowo z droższą terminologią. Użyteczny cytat pozwala czytelnikowi znaleźć dzieło, wydanie, stronę, a czasem nawet akapit. Nie mówi po prostu książka historyczna. Etykieta magazynowa informuje, która partia, dostawca, numer serii i data ważności mają znaczenie. Próbka laboratoryjna ma łańcuch nadzoru, ponieważ nikt nie chce medycyny opartej na przeczuciu. W każdym przypadku sedno jest przyziemne: gdy istnieją konsekwencje, obiekty potrzebują tożsamości w trakcie przemieszczania.
Dane przepływające przez systemy wyszukiwania wymagają tej samej dyscypliny. Dokument nie jest blobem tekstu. Ma pochodzenie, właściciela, podstawę prawną, zakres, odbiorców, wersję, okres obowiązywania, format, parser, politykę dzielenia na fragmenty, model osadzania, czas indeksowania, politykę dostępu i ścieżkę wycofania. Brzmi to jak dużo, bo tak jest. To wciąż mniej niż koszt tłumaczenia przed regulatorem, pacjentem, klientem lub zarządem, że system prawdopodobnie przeczytał coś pomocnego, ale to dokładne coś osiągnęło duchową niezależność.
Numer półki chroni również zespoły inżynierskie. Gdy odpowiedź jest błędna, zespół musi wiedzieć, czy wyszukiwanie pominęło właściwe źródło, źle uszeregowało źródło, uwzględniło nieaktualny materiał, straciło kontekst podczas dzielenia na fragmenty, dopuściło do wycieku uprawnień czy pozwoliło modelowi zignorować najlepsze dowody. To różne błędy. Bez proweniencji zlewają się w jedną bezużyteczną kategorię: AI było dziwne. Ta kategoria jest popularna na spotkaniach i niemal całkowicie bezużyteczna w przeglądzie incydentów.
Dobra proweniencja nadaje awarii kształt. Pozwala zespołom zbadać ścieżkę dokumentu, granicę fragmentu, wersję osadzania, przepisanie zapytania, wynik ponownego rankingu, składanie promptu i końcową generację. Nie czyni systemu doskonałym. Czyni błędy lokalizowalnymi. Błędy lokalizowalne można naprawić. Błędy nielokalizowalne stają się folklorem, a folklor ma fatalny czas działania.
Dzielenie na fragmenty to akt redakcyjny
Ludzie często opisują dzielenie na fragmenty jako techniczny krok wstępnego przetwarzania. To coś więcej. Dzielenie na fragmenty decyduje o tym, jaki kontekst podróżuje razem. Akapit oddzielony od notatki o wyjątku może zmienić znaczenie. Klauzula gwarancyjna oddzielona od nagłówka określającego jurysdykcję staje się pułapką. Zalecenie kliniczne bez grupy pacjentów, do której się odnosi, przestaje być tym samym zaleceniem. Próbka kodu bez ostrzeżenia to zasadzka w przebraniu monospace.
Każda strategia dzielenia na fragmenty to polityka redakcyjna. Stałe okna tokenów są proste i szybkie, ale mogą przecinać znaczenie. Dzielenie semantyczne respektuje zmiany tematu, ale może nie uwzględniać tabel, list, podpisów i struktury prawnej. Dzielenie oparte na sekcjach zachowuje hierarchię, ale tylko wtedy, gdy parser faktycznie ją rozpoznaje. Pobieranie rodzic-dziecko może przynieść małe dopasowanie i większy otaczający fragment, ale wtedy system musi zapisać oba. Nic w tym nie jest mistyczne. To praca z dokumentami. To właśnie w pracy z dokumentami wiele systemów AI odkrywa, że nudne biuro przez cały czas chroniło znaczenie.
Prowieniencja zmienia dzielenie na fragmenty z cichego uszkodzenia w widoczny wybór. System powinien wiedzieć, który dokument utworzył fragment, który parser go odczytał, które nagłówki go obejmowały, które sąsiednie fragmenty były w pobliżu, z której strony lub wiersza pochodzi i jaką większą jednostkę można pokazać, gdy człowiek zakwestionuje odpowiedź. Odpowiedź nie musi tego wszystkiego wyświetlać za każdym razem. Musi to jednak przechowywać. Różnica między ukrytym kontekstem a nieobecnym kontekstem staje się istotna dokładnie w momencie, gdy wszyscy są już zmęczeni.
Dzielenie na fragmenty wpływa również na uczciwość między źródłami. Czysta strona HTML może dać piękne fragmenty. Zeskanowany plik PDF może dać połamane fragmenty. Arkusz kalkulacyjny może stracić strukturę. Jeśli system wyszukiwania po cichu faworyzuje źródła, które parsują się czysto, może też faworyzować działy, dostawców lub języki o lepszej higienie dokumentów. To nie jest stronniczość modelu w dramatycznym sensie. To stronniczość biurowa, mniej filmowa i zaskakująco potężna.
Cytowania to za mało
Cytowanie może być użytecznym interfejsem użytkownika dla proweniencji, ale to nie cały mechanizm. Wiele systemów pokazuje małe znaczniki źródeł obok odpowiedzi. To lepsze niż nic. Łatwo też przypadkiem to zmanipulować. Odpowiedź może cytować dokument, który został pobrany, ale nie został faktycznie użyty. Może cytować stronę zawierającą podobne słowa, ale nie twierdzenie. Może cytować źródło dostępne dla systemu, ale nie dla użytkownika. Może cytować starą wersję, bo indeks nie nadąża za repozytorium. Ozdobne cytowanie to wciąż ozdoba, tylko w kostiumie przypisu.
Poważne roszczenia wymagają dyscypliny na poziomie pojedynczych twierdzeń. Jeśli odpowiedź mówi, że polityka dopuszcza wyjątek, system powinien wiedzieć, który fragment ją potwierdza. Jeśli twierdzi, że wyjątek stosuje się tylko poniżej pewnego progu, powinien wskazać źródło tego progu. Jeśli łączy dwa źródła, powinien utrzymać to połączenie widocznym. Jeśli dowody są sprzeczne, nie powinien spłaszczać konfliktu do jednego pogodnego akapitu. Model może streszczać, ale system nie powinien pozwalać, by streszczenie wymazywało strukturę dowodu.
Nie oznacza to, że każda odpowiedź musi przychodzić z prawniczym pakietem przewiązanym sznurkiem. Różne konteksty wymagają różnego poziomu szczegółowości powierzchniowej. Odpowiedź z helpdesku może pokazać dwa linki do źródeł i notatkę o pewności. Przepływ pracy w medycynie, finansach, prawie lub usługach publicznych może wymagać odniesień do fragmentów, identyfikatorów wersji i statusu przeglądu przez człowieka. Podstawowym wymogiem jest to, aby powierzchnia mogła się rozszerzać, gdy rosną konsekwencje. System, który nie potrafi przejść od prostej odpowiedzi do możliwych do sprawdzenia dowodów, to chatbot w poważnej koszuli.
Cytowania potrzebują też przestrzeni negatywnej. System powinien umieć powiedzieć, że nie znalazł wystarczających dowodów, że pobrane źródła są ze sobą sprzeczne, że źródła są nieaktualne albo że użytkownik nie ma dostępu do niezbędnych materiałów. Odmowa z podaniem źródła jest często bardziej użyteczna niż odpowiedź z fałszywym cytatem. Organizacja może nie lubić słyszeć odmowy. Organizacje rzadko ją lubią. Dlatego istnieje zarządzanie, a od czasu do czasu kawa.
Świeżość jest częścią prawdy
Proweniencja bez czasu jest niekompletna. Wiele błędów w przedsiębiorstwach wynika ze starych materiałów, które pozostają wyszukiwalne, bo nikt nie chciał usuwać niczego z tytułem brzmiącym ważnie. Polityki wygasają. Ceny się zmieniają. Podręczniki produktów są zastępowane nowszymi. Wytyczne regulacyjne ewoluują. Słowniki danych dryfują. System wyszukiwania, który traktuje stare i aktualne materiały jako równe, nie jest neutralny. To outsourcing zarządzania czasem do podobieństwa cosinusowego, co jest odważnym wyborem stylu życia.
Każde źródło w systemie wyszukiwania powinno nieść znaczenie czasowe. Kiedy zostało utworzone. Kiedy weszło w życie. Kiedy było ostatnio przeglądane. Kiedy zostało zaindeksowane. Kiedy wygasa. Która wersja je zastąpiła. Czy to był szkic, kopia do zatwierdzenia, kopia archiwalna czy kopia bieżąca. To nie są biurokratyczne ozdobniki. To część tego, czy odpowiedź jest wystarczająco prawdziwa, by z niej korzystać. Akapit z zeszłorocznej procedury może być doskonale napisany i doskonale błędny.
Świeżość ma też konsekwencje operacyjne. Opóźnienia indeksowania powinny być widoczne. Jeśli repozytorium zmieniło się o 09:00, a indeks wektorowy aktualizuje się w nocy, system musi znać tę lukę. Jeśli pilne materiały omijają normalny potok, ominięcie powinno być odnotowane. Jeśli źródło zostaje wycofane, osadzenia i pochodne fragmenty powinny zostać wycofane razem z nim lub pozostać wyraźnie oznaczone jako historyczne. W przeciwnym razie system staje się muzeum, które czasem udziela porad operacyjnych.
Świadoma czasu proweniencja pomaga użytkownikom ufać właściwym rzeczom. Pozwala asystentowi powiedzieć, że ta odpowiedź opiera się na polityce obowiązującej od 5 marca 2026 r., zaindeksowanej o 11:20, bez znalezienia nowszego aktu zastępującego. To zdanie nie jest efektowne. Jest użyteczne. Użyteczność bije efektowność w każdym incydencie, jaki poznałem.
Uprawnienia też podróżują
Kontrola dostępu jest często stosowana przy drzwiach wejściowych i zapominana na korytarzu. Użytkownik może nie mieć prawa otworzyć dokumentu źródłowego, ale osadzenie tego dokumentu może znajdować się we wspólnym indeksie. Fragment może trafić do promptu, ponieważ usługa wyszukiwania działa na koncie usługowym o szerokich uprawnieniach. Wygenerowana odpowiedź może ujawnić istnienie poufnej sprawy nawet bez cytowania jej. System nie wyciekł pliku, ktoś powie. Wyciekł jedynie wniosek. To rozróżnienie najlepiej przedstawiać z bezpiecznej odległości.
Provenance musi obejmować uprawnienia, ponieważ dowody bez autorytetu nie są użytecznymi dowodami. System powinien wiedzieć, który użytkownik, rola, cel i kontekst pozwoliły każdemu pobranemu elementowi trafić do odpowiedzi. Powinien odróżniać dostęp do źródła od dostępu pochodnego. Powinien tam, gdzie to konieczne, przeprowadzać redakcję przed generowaniem. Powinien odnotowywać, kiedy odpowiedź była ograniczona uprawnieniami, a nie brakiem dowodów. W przeciwnym razie użytkownicy będą błędnie odczytywać ciszę jako nieobecność, albo co gorsza, otrzymają informacje, których nigdy nie mieli zobaczyć.
Wyszukiwanie uwzględniające uprawnienia jest trudniejsze niż zwykłe wyszukiwanie, ponieważ zmienia ranking, buforowanie, ocenę i testowanie. Dwaj użytkownicy mogą zadać to samo pytanie i zgodnie z zasadami otrzymać różne dowody. To nie jest niespójność. To jest zarządzanie. Trudną częścią jest uczynienie tej różnicy wytłumaczalną bez ujawniania tego, co musi pozostać ukryte. System może potrzebować powiedzieć, że poza zakresem dostępu użytkownika mogą istnieć ograniczone rekordy, zamiast udawać, że świat zawiera tylko to, co użytkownik może przeczytać.
To również miejsce, w którym wiele projektów pilotażowych załamuje się w zderzeniu z rzeczywistością. Prototyp zbudowany na współdzielonym folderze może przez tydzień robić wrażenie na wszystkich. Potem ktoś pyta o akta kadrowe, dokumenty przejęć, notatki pacjentów, tajemnicę zawodową, materiały rady zakładowej czy badania objęte kontrolą eksportową. System wyszukiwania nagle potrzebuje nadzoru osoby dorosłej. Zabawna demonstracja staje się projektem zarządzania danymi, którym była przez cały czas.
Sprzeczność nie jest błędem do ukrycia
Prawdziwe archiwa same sobie przeczą. Zespół polityki zaktualizował procedurę, ale nie FAQ. FAQ zaktualizowało przykład, ale nie tabelę. Regionalne biuro zachowało lokalny wyjątek. Umowa mówi jedno, przewodnik wdrożeniowy mówi drugie, a arkusz kalkulacyjny stworzony przez bardzo praktyczną osobę mówi, co wszyscy faktycznie robią. Wyszukiwanie znajdzie to wszystko, jeśli zapytanie będzie pechowe lub uczciwe.
System uwzględniający provenance powinien traktować sprzeczność jako wynik pierwszej kategorii. Powinien pokazywać, że wiele źródeł jest ze sobą w konflikcie, identyfikować ich autorytet i aktualność oraz unikać przedstawiania jednej połączonej odpowiedzi, jakby organizacja przemówiła jednym głosem. Czasami właściwą odpowiedzią nie jest to, że wyjątek jest dozwolony. Czasami jest nią to, że obecna polityka wydaje się go dopuszczać, FAQ wydaje się nieaktualne, a właściciel umowy powinien rozstrzygnąć konflikt przed podjęciem działania. Ta odpowiedź jest mniej wygodna. Jest też mniej prawdopodobne, że stworzy mały system pogodowy prawny.
Obsługa sprzeczności wymaga rankingu źródeł według autorytetu, a nie tylko trafności. Zatwierdzona przez zarząd polityka może mieć pierwszeństwo nad artykułem pomocy. Podpisana umowa może mieć pierwszeństwo nad prezentacją sprzedażową. Lokalna procedura może mieć pierwszeństwo nad ogólnym podręcznikiem w swoim lokalnym zakresie. Projekt nie powinien mieć pierwszeństwa nad wersją obowiązującą, chyba że użytkownik wprost pyta o projekty. Te zasady są nudne. To także miejsce, w którym hierarchia prawdy w organizacji staje się techniczna.
Jeśli nikt nie chce zdefiniować tej hierarchii, system wyszukiwania zdefiniuje ją przypadkowo. Wykorzysta podobieństwo tekstu, świeżość, jakość formatowania, długość fragmentów lub inny sygnał, jaki oferuje potok. Przypadkowy autorytet wciąż jest autorytetem. Po prostu pojawia się bez protokołu.
Ocena wymaga uwzględnienia błędów źródła, nie tylko błędów odpowiedzi
Wiele zespołów ocenia systemy wyszukiwania, sprawdzając, czy ostateczna odpowiedź brzmi poprawnie. To przydatne, ale niewystarczające. Poprawna odpowiedź z niewłaściwego źródła to przyszły incydent, który się rozgrzewa. System mógł odnieść sukces tylko dlatego, że model już znał odpowiedź, albo dlatego, że nieaktualny dokument przypadkiem pasował do obecnej reguły, albo dlatego, że oceniający zaakceptował cytowanie, które nie potwierdzało twierdzenia. Jakość odpowiedzi i jakość dowodów trzeba testować osobno.
Zestaw ewaluacyjny wyszukiwania powinien zawierać oczekiwania co do źródeł. Dla każdego pytania testowego: które dokumenty są dopuszczalne. Które są niedopuszczalne. Które wersje mają znaczenie. Które uprawnienia obowiązują. Które konflikty należy ujawnić. Której odpowiedzi należy odmówić, ponieważ brakuje dowodów. To buduje się wolniej niż stos par pytanie-odpowiedź. Jest to też bliższe pracy, którą system musi wykonywać. System wyszukiwania bez oceny źródeł jest jak system finansowy testowany wyłącznie przez pytanie, czy ostateczna liczba wygląda wiarygodnie. Może przejść testy aż do audytu.
Monitoring operacyjny powinien również obserwować zachowanie źródeł. Które źródła są nadreprezentowane. Które źródła są rzadko wyszukiwane, ale często potrzebne. Które fragmenty są często cytowane. Które odpowiedzi są później korygowane. Które nieaktualne dokumenty wciąż się pojawiają. Które grupy użytkowników otrzymują więcej odmów, ponieważ granice uprawnień są słabo odwzorowane. Te sygnały to nie tylko wskaźniki techniczne. To dowody na kondycję zasobu wiedzy.
Gdy pochodzenie jest obecne, ocena staje się bardziej precyzyjna. Nieudaną odpowiedź można przypisać wyszukiwaniu, rankingowi, jakości źródła, polityce dostępu, składaniu promptu lub generowaniu. Każda klasa błędu ma innego właściciela. To niewygodne, ponieważ uniemożliwia uspokajające stwierdzenie, że AI się pomyliło, pochłaniające każdy problem. Dobrze. Komfort jest przeceniany, gdy system podejmuje decyzje.
Pętla decyzyjna
Pochodzenie nie powinno być funkcją archiwalną dodawaną na końcu. Należy do pętli decyzyjnej. Użytkownik pyta. System wyszukuje zgodnie z polityką. Odpowiedź niesie dowody. Użytkownik akceptuje, kwestionuje lub poprawia. Korekta aktualizuje jakość źródeł, reguły rankingu, metadane, kontrolę dostępu lub przykłady treningowe. Następna odpowiedź nie jest po prostu generowana ponownie. Jest zarządzana przez to, czego nauczyła się organizacja.
Ta pętla sprawia, że wyszukiwanie staje się pamięcią instytucjonalną, a nie sprytnym autouzupełnianiem dokumentów. Bez pętli każda odpowiedź jest zdarzeniem. Z pętlą odpowiedzi stają się sygnałami o stanie systemu wiedzy. Zła odpowiedź może ujawnić nieaktualną politykę. Odmowa może ujawnić brakującą dokumentację. Sprzeczność może ujawnić nierozstrzygniętą własność. Częste zapytanie może ujawnić, że procedura jest nieczytelna. Warstwa wyszukiwania staje się instrumentem diagnostycznym, a nie tylko maszyną do odpowiedzi.
Pętla daje też ludziom sensowną rolę. Nie należy wymagać od ludzi sprawdzania każdego tokenu. Należy im powierzać rozstrzyganie istotnych błędów, które ujawnia proweniencja. Czy to źródło jest wiarygodne. Czy ten wyjątek jest aktualny. Czy ta granica dostępu jest poprawna. Czy ten konflikt jest realny. To są pytania z zakresu ludzkiego nadzoru. System może je kierować, rejestrować i uczyć się z odpowiedzi. Nie powinien ich ukrywać pod płynnym tekstem.
Ostatecznie proweniencja nie jest akademickim luksusem. To różnica między systemem AI, który może uczestniczyć w odpowiedzialnej pracy, a takim, który potrafi tylko brzmieć pomocnie, dopóki nie zostanie zakwestionowany. Pobieranie wprowadza materiał do obiegu. Proweniencja mówi, kto go przyniósł, skąd, na jakiej podstawie i czy można mu zaufać na tyle, by na nim działać.
Lekcja
Pobieranie to jeden z najużyteczniejszych wzorców w stosowanym AI, ponieważ łączy modele z żywą wiedzą. I właśnie dlatego potrzebuje proweniencji. Im bardziej ludzie polegają na pobranych odpowiedziach, tym mniej akceptowalne jest stwierdzenie, że źródło było gdzieś w indeksie. „Gdzieś" to nie jest kontrola. „Gdzieś" to początek złych spotkań.
Poważny system pobierania zachowuje tożsamość w trakcie przemieszczania. Utrzymuje źródło, wersję, uprawnienia, czas, kontekst fragmentu, autorytet, sprzeczności i sposób użycia. Ocenia, czy dowody wspierają twierdzenia, a nie tylko, czy odpowiedzi brzmią dobrze. Umożliwia odmowę, gdy dowody są słabe. Pozwala ludziom kwestionować i naprawiać zasób wiedzy. To nie jest papierologia wokół AI. To część, która zamienia pobieranie z szybkiego zgadywania w odpowiedzialną pomoc.
Model może napisać odpowiedź. Warstwa pobierania może znaleźć słowa. Proweniencja pozwala organizacji być właścicielem twierdzenia. Bez niej cała ta szybkość tylko szybciej dostarcza użytkownikowi niepewność.