Dohledávání bez původu je jen rychlejší hádání
Odpověď bez držadla
Na poradě se setmělo poté, co asistent vyprodukoval odpověď. To bylo první varování. Lidé obvykle dělají hluk, když software selže zjevným způsobem. Zakloní se, povzdechnou si, ptají se, kdo to vlastní, a rychle si vytvoří názor na nákup. Tato odpověď selhala nezjevně. Byla plynulá, úhledná a přesně ten druh odstavce, který přiměje projektový tým sednout si rovněji. Říkala, že politika výjimku umožňuje. Uvedla tři důvody. Používala stejnou slovní zásobu jako politický úřad. Dokonce zněla mírně znuděně, což je způsob, jakým se institucionální pravda často obléká do práce.
Pak se někdo zeptal, odkud odpověď přišla. Obrazovka nabídla štítek zdroje, který říkal interní směrnice. To nebyl zdroj. To byla nálada s kartotékou. Která směrnice. Která verze. Který odstavec. Byl dokument stále aktivní. Měl tazatel oprávnění ho vidět. Byl text zkopírován z návrhu, aktuální politiky, zápisu z porady nebo školicího příkladu vytvořeného jiným systémem. Asistent to nedokázal říct. Něco získal, nebo tvrdil, že získal. Tým měl odpověď bez držadla. Mohla být obdivována, ale nemohla být zvednuta.
Toto je tichá past v retrieval augmented AI. Retrieval dělá model ukotveným, protože odpověď už nepochází jen z modelu samotného. Vyhledávací vrstva najde dokumenty, části, záznamy nebo fakta, předá je do kontextu a model z nich píše. To je užitečné. Je také nebezpečně snadné to přeceňovat. Pokud systém nemůže ukázat, co získal, proč mu bylo dovoleno to získat, jak čerstvé to bylo, jaké transformace se toho dotkly a jak na tom konečná odpověď závisí, retrieval nevyřešil hádání. Dal hádání rychlejší trasu.
Starý model hádal z paměti. Nový systém může hádat z hromady fragmentů. To je zlepšení pouze tehdy, když je hromada řízena. Jinak organizace postavila sebevědomého knihovníka, který velmi rychle běhá archivem a odmítá si pamatovat čísla polic. Působivá kondice. Špatný auditní záznam.
Retrieval je přepravní vrstva, ne vrstva pravdy
Nejjednodušší způsob, jak retrieval nepochopit, je považovat výsledky vyhledávání za pravdu. Vyhledávání nezná pravdu. Vyhledávání zná shodu. Vektorové vyhledávání zná podobnost. Vyhledávání podle klíčových slov zná termíny. Hybridní vyhledávání zná vyjednané příměří mezi oběma. Reranker může zlepšit pořadí. Filtry metadat mohou odstranit zjevné chyby. Žádný z těchto kroků automaticky neví, zda je odstavec aktuální, autorizovaný, úplný, v rozporu, nahrazený, důvěrný nebo napsaný někým, kdo se snažil dostat domů před stávkou vlaků.
To neznamená, že je vyhledávání slabé. Znamená to, že je specifické. Je to transportní vrstva, která přináší kandidátní důkazy na rozumovou plochu. Jejím úkolem je najít potenciálně relevantní materiál za daných omezení. Skutečná práce s pravdou začíná, když systém dokáže materiál identifikovat, zachovat jeho kontext, porovnat ho s jiným materiálem, odmítnout zastaralé nebo neoprávněné zdroje, odhalit nejistotu a vést záznam o tom, co se stalo. Bez těchto součástí je vyhledávání jen rychlejší výběr. Rychlejší výběr není totéž co lepší úsudek. Mince hozená strojem je stále hod mincí, i když využívá cloudové kredity.
V praktických systémech se mezera objevuje na malých místech. Zdrojový dokument je rozdělen na části, ale část ztratí nadpis, který jí dával smysl. Vektorový index obsahuje jak aktuální, tak vyřazené zásady, protože mazání bylo řešeno nadšením spíše než procesem. PDF bylo zpracováno bez poznámek pod čarou. Tabulka se stala řetězcem osamělých čísel. Pravidlo řízení přístupu bylo aplikováno na dokument, ale ne na embedding. Odpověď cituje odstavec, který byl relevantní pro jeden region a nezákonný v jiném. Nikdo nenavrhl selhání. Jen nechali důkazy, aby při pohybu ztrácely své štítky.
Lékem není nedůvěřovat vyhledávání. Lékem je přestat ho žádat o úkoly, ke kterým nikdy nebylo postaveno. Vyhledávání by mělo přinášet kandidáty. Provenience by měla vyprávět příběh těchto kandidátů. Správa by měla rozhodnout, kteří kandidáti mohou být použiti. Odpověď by měla nést dostatek důkazů, aby ji lidé mohli prozkoumat, aniž by se stali amatérskými archeology ve složce s názvem archive final old.
Chybějící číslo regálu
Knihovny rozuměly provenienci dříve, než ji AI znovu objevila s dražší terminologií. Užitečná citace umožní čtenáři najít dílo, vydání, stránku a někdy i odstavec. Neříká jen historická kniha. Štítek na skladě vám řekne, která šarže, dodavatel, číslo šarže a datum spotřeby jsou důležité. Laboratorní vzorek nese řetězec úschovy, protože nikdo nechce medicínu založenou na pocitech. V každém případě je pointa všední: když existují důsledky, objekty potřebují identitu napříč pohybem.
Data procházející vyhledávacími systémy potřebují stejnou disciplínu. Dokument není jen shluk textu. Má původ, vlastníka, právní základ, rozsah, publikum, verzi, dobu platnosti, formát, analyzátor, politiku dělení na části, model embeddingu, čas indexace, politiku přístupu a cestu k vyřazení. To zní jako hodně, protože to tak je. Je to stále méně než náklady na vysvětlování regulátorovi, pacientovi, zákazníkovi nebo představenstvu, že systém pravděpodobně přečetl něco užitečného, ale přesné něco dosáhlo duchovní nezávislosti.
Číslo regálu také chrání technické týmy. Když je odpověď špatná, tým potřebuje vědět, zda vyhledávání minulo správný zdroj, seřadilo špatný zdroj, zahrnulo zastaralý materiál, ztratilo kontext při dělení na části, umožnilo únik oprávnění nebo nechalo model ignorovat nejlepší důkazy. To jsou různé chyby. Bez provenience se zhroutí do jedné zbytečné kategorie: AI byla divná. Tato kategorie je oblíbená na poradách a téměř úplně nepoužitelná při přezkumu incidentů.
Dobrá provenience dává selhání tvar. Umožňuje týmům prozkoumat cestu dokumentu, hranici části, verzi embeddingu, přepsání dotazu, výsledek rerankingu, sestavení promptu a konečnou generaci. Nedělá systém dokonalým. Dělá chyby lokalizovatelnými. Lokalizovatelné chyby lze opravit. Nelokalizovatelné chyby se stávají folklórem a folklór má hroznou dostupnost.
Dělení na části je redakční čin
Lidé často popisují chunking jako technický předzpracovatelský krok. Je to víc než to. Chunking rozhoduje o tom, jaký kontext cestuje společně. Odstavec oddělený od své poznámky o výjimce může změnit význam. Záruční doložka oddělená od nadpisu určujícího jurisdikci se stává pastí. Klinické doporučení bez skupiny pacientů, na kterou se vztahuje, už není stejné doporučení. Ukázka kódu bez varování je přepadení v masce neproporcionálního písma.
Každá strategie chunkingu je redakční politikou. Pevná tokenová okna jsou jednoduchá a rychlá, ale mohou proříznout význam. Sémantický chunking respektuje změny témat, ale může stále přehlédnout tabulky, seznamy, popisky a právní strukturu. Chunking založený na sekcích zachovává hierarchii, ale pouze pokud ji parser skutečně rozpozná. Rodičovsko-dětské vyhledávání může přinést malou shodu a větší okolní pasáž, ale pak musí systém zaznamenat obojí. Nic z toho není mystické. Je to práce s dokumenty. Právě při práci s dokumenty mnoho systémů umělé inteligence zjišťuje, že nudná kancelář celou dobu chránila význam.
Provenience mění chunking z tichého poškození na viditelnou volbu. Systém by měl vědět, který dokument vytvořil chunk, který parser jej přečetl, které nadpisy jej obklopovaly, které sourozenecké chunky byly poblíž, ze které stránky nebo řádku pochází a jakou větší jednotku lze zobrazit, když člověk zpochybní odpověď. Odpověď nemusí to vše zobrazovat pokaždé. Musí si to ale uchovat. Rozdíl mezi skrytým kontextem a chybějícím kontextem se stává důležitým přesně ve chvíli, kdy jsou všichni už unavení.
Chunking také ovlivňuje spravedlnost napříč zdroji. Čistá HTML stránka může vytvořit krásné chunky. Naskenované PDF může vytvořit rozbité fragmenty. Tabulkový procesor může ztratit strukturu. Pokud vyhledávací systém tiše upřednostňuje zdroje, které se snadno parsují, může také upřednostňovat oddělení, dodavatele nebo jazyky s lepší dokumentovou hygienou. To není zkreslení modelu v dramatickém smyslu. Je to kancelářské zkreslení, které je méně filmové a překvapivě silné.
Citace nestačí
Citace může být užitečným uživatelským rozhraním pro provenienci, ale není celým mechanismem. Mnoho systémů zobrazuje vedle odpovědi malé zdrojové štítky. To je lepší než nic. Je to ale také snadné omylem zneužít. Odpověď může citovat dokument, který byl načten, ale ve skutečnosti nebyl použit. Může citovat stránku, která obsahuje podobná slova, ale ne tvrzení. Může citovat zdroj, který byl k dispozici systému, ale ne uživateli. Může citovat starou verzi, protože index zaostává za úložištěm. Dekorativní citace je stále dekorace, jen v kostýmu poznámky pod čarou.
Serious provenance needs claim-level discipline. If the answer says a policy allows an exception, the system should know which passage supports that claim. If it says the exception applies only below a threshold, it should identify the threshold source. If it combines two sources, it should keep the join visible. If evidence conflicts, it should not flatten the conflict into one cheerful paragraph. The model can summarise, but the system should not let summary erase the structure of proof.
This does not mean every answer must arrive with a legal bundle tied in string. Different contexts need different levels of surface detail. A helpdesk answer may show two source links and a confidence note. A medical, financial, legal or public service workflow may need passage references, version identifiers and human review status. The core requirement is that the surface can expand when consequences increase. A system that cannot move from simple answer to inspectable evidence is a chatbot wearing a serious shirt.
Citations also need negative space. The system should be able to say it did not find enough evidence, or that the retrieved sources disagree, or that the sources are out of date, or that the user lacks access to the necessary material. A refusal with provenance is often more useful than an answer with a fake citation. The organisation may not enjoy hearing no. Organisations rarely do. That is why governance exists, and occasionally coffee.
Freshness is part of truth
Provenance without time is incomplete. Many enterprise mistakes come from old material that remains searchable because nobody wanted to delete anything with a title that sounded important. Policies expire. Prices change. product manuals are superseded. Regulatory guidance moves. Data dictionaries drift. A retrieval system that treats old and current material as equal is not neutral. It is outsourcing time management to cosine similarity, which is a bold lifestyle choice.
Every source in a retrieval system should carry temporal meaning. When was it created. When did it become effective. When was it last reviewed. When was it indexed. When does it expire. Which version replaced it. Was it a draft, approval copy, archived copy or current copy. These are not bureaucratic flourishes. They are part of whether the answer is true enough to use. A paragraph from last year's procedure may be perfectly written and perfectly wrong.
Freshness also has operational consequences. Indexing delays should be visible. If a repository changed at 09:00 and the vector index updates overnight, the system must know that gap. If urgent material bypasses the normal pipeline, the bypass should be recorded. If a source is retired, embeddings and derived chunks should retire with it or remain explicitly marked as historical. Otherwise the system becomes a museum that sometimes gives operational advice.
Time-aware provenance helps users trust the right things. It lets an assistant say this answer is based on the policy effective from 5 March 2026, indexed at 11:20, with no newer superseding record found. That sentence is not glamorous. It is useful. Useful beats glamorous in every incident I have met.
Permissions travel too
Access control is often applied at the front door and forgotten in the corridor. A user may not be allowed to open a source document, but the document's embedding may sit in a shared index. A snippet may be included in a prompt because the retrieval service runs under a broad service account. A generated answer may reveal the existence of a confidential matter even without quoting it. The system did not leak the file, someone says. It merely leaked the conclusion. This is a distinction best delivered from a safe distance.
Provenience musí zahrnovat oprávnění, protože důkaz bez autority není použitelným důkazem. Systém by měl vědět, který uživatel, role, účel a kontext umožnily každé vyhledané položce dostat se do odpovědi. Měl by rozlišovat přístup ke zdroji od odvozeného přístupu. V případě potřeby by měl provést redakci před generováním. Měl by zaznamenat, kdy byla odpověď omezena oprávněním, nikoli nedostatkem důkazů. Jinak si uživatelé vyloží ticho jako nepřítomnost, nebo hůře, obdrží informace, které nikdy vidět neměli.
Vyhledávání s ohledem na oprávnění je obtížnější než běžné vyhledávání, protože mění řazení, ukládání do mezipaměti, vyhodnocování i testování. Dva uživatelé mohou položit stejnou otázku a oprávněně obdržet různé důkazy. To není nekonzistence. To je správa. Obtížné je učinit tento rozdíl vysvětlitelným, aniž by se odhalilo to, co musí zůstat skryté. Systém možná bude muset říci, že mimo rozsah vašeho přístupu mohou existovat omezené záznamy, než předstírat, že svět obsahuje jen to, co uživatel může číst.
Právě zde se také mnoho pilotních projektů zlomí, když narazí na realitu. Prototyp postavený na sdílené složce může týden všechny ohromovat. Pak se někdo zeptá na personální záznamy, akviziční dokumenty, zdravotní záznamy pacientů, právní privilegium, materiály podnikové rady nebo výzkum podléhající exportní kontrole. Vyhledávací systém náhle potřebuje dospělý dohled. Ze zábavné ukázky se stane projekt správy dat, kterým byl celou dobu.
Rozpor není chyba, kterou je třeba skrývat
Skutečné archivy si protiřečí. Tým pro politiky aktualizoval postup, ale ne FAQ. FAQ aktualizovalo příklad, ale ne tabulku. Regionální pobočka si ponechala místní výjimku. Smlouva říká jednu věc, implementační příručka druhou a tabulka vytvořená velmi praktickým člověkem říká, co všichni skutečně dělají. Vyhledávání to vše najde, pokud je dotaz nešťastný nebo upřímný.
Systém s vědomím provenience by měl zacházet s rozporem jako s výsledkem první třídy. Měl by ukázat, že více zdrojů si odporuje, identifikovat jejich autoritu a aktuálnost a vyhnout se předkládání jednoho smíšeného odpovědi, jako by organizace mluvila jedním hlasem. Někdy není správnou odpovědí to, že výjimka je povolena. Někdy je to, že se současná politika zdá výjimku povolovat, FAQ se zdá zastaralé a vlastník smlouvy by měl konflikt vyřešit před dalším krokem. Taková odpověď je méně pohodlná. Je také méně pravděpodobné, že vytvoří malý právní meteorologický systém.
Řešení rozporů vyžaduje řazení zdrojů podle autority, nejen podle relevance. Politika schválená představenstvem může mít přednost před článkem nápovědy. Podepsaná smlouva může mít přednost před prodejní prezentací. Lokální postup může mít přednost před obecnou příručkou v rámci své lokální působnosti. Návrh by neměl mít přednost před účinnou verzí, pokud se uživatel výslovně neptá na návrhy. Tato pravidla jsou nudná. Ale právě zde se hierarchie pravdy organizace stává technickou záležitostí.
Pokud nikdo nechce tuto hierarchii definovat, systém vyhledávání ji definuje náhodně. Použije textovou podobnost, aktuálnost, kvalitu formátování, délku bloků nebo jakýkoli jiný signál, který pipeline nabízí. Náhodná autorita je stále autorita. Jen dorazí bez zápisu z jednání.
Vyhodnocení potřebuje selhání zdroje, nejen selhání odpovědi
Mnoho týmů vyhodnocuje systémy vyhledávání tím, že kontroluje, zda konečná odpověď zní správně. To je užitečné, ale nedostatečné. Správná odpověď z nesprávného zdroje je budoucí incident, který se zahřívá. Systém mohl uspět jen proto, že model odpověď už znal, nebo proto, že zastaralý dokument náhodou odpovídal aktuálnímu pravidlu, nebo proto, že hodnotitel přijal citaci, která tvrzení nepodporovala. Kvalita odpovědi a kvalita důkazů se musí testovat odděleně.
Sada pro vyhodnocení vyhledávání by měla zahrnovat očekávání ohledně zdrojů. Pro každou testovací otázku, které dokumenty jsou přijatelné. Které jsou nepřijatelné. Které verze jsou důležité. Která oprávnění platí. Které konflikty by měly být zobrazeny. Která odpověď by měla být odmítnuta, protože chybí důkazy. To se buduje pomaleji než hromada dvojic otázka-odpověď. Je to ale také blíže práci, kterou systém musí vykonávat. Vyhledávací systém bez vyhodnocení zdrojů je jako finanční systém testovaný pouze tím, zda konečné číslo vypadá věrohodně. Může projít až do auditu.
Provozní monitorování by mělo sledovat také chování zdrojů. Které zdroje jsou nadměrně zastoupeny. Které zdroje jsou zřídka vyhledávány, ale často potřebné. Které bloky jsou často citovány. Které odpovědi jsou později opravovány. Které zastaralé dokumenty se stále objevují. Které skupiny uživatelů dostávají více odmítnutí, protože hranice oprávnění jsou špatně modelovány. Tyto signály nejsou jen technické metriky. Jsou důkazem o zdraví znalostního majetku.
Když je provenance přítomna, vyhodnocení je přesnější. Neúspěšnou odpověď lze vysledovat k vyhledávání, řazení, kvalitě zdroje, politice přístupu, sestavení promptu nebo generování. Každá třída selhání má jiného vlastníka. To je nepříjemné, protože to brání uklidňující větě „umělá inteligence to popletla“ pohltit každý problém. Dobře. Pohodlí je přeceňované, když systém rozhoduje.
Rozhodovací smyčka
Provenance by neměla být funkcí archivu přidanou na konci. Patří do rozhodovací smyčky. Uživatel se zeptá. Systém vyhledává podle politiky. Odpověď nese důkazy. Uživatel přijme, zpochybní nebo opraví. Oprava aktualizuje kvalitu zdrojů, pravidla řazení, metadata, kontroly přístupu nebo příklady pro trénování. Další odpověď není jen znovu vygenerována. Je řízena tím, co se organizace naučila.
Tato smyčka je způsob, jak se vyhledávání stává institucionální pamětí, nikoli chytrým automatickým doplňováním dokumentů. Bez smyčky je každá odpověď událostí. Se smyčkou se odpovědi stávají signály o stavu znalostního systému. Špatná odpověď může odhalit zastaralou politiku. Odmítnutí může odhalit chybějící dokumentaci. Rozpor může odhalit nevyřešené vlastnictví. Častý dotaz může odhalit, že postup je nečitelný. Vrstva vyhledávání se stává diagnostickým nástrojem, nejen strojem na odpovědi.
The loop also gives humans a sane role. People should not be asked to inspect every token. They should be asked to resolve the meaningful failures that provenance exposes. Is this source authoritative. Is this exception current. Is this access boundary correct. Is this conflict real. Those are human governance questions. The system can route them, record them and learn from their answers. It should not bury them under fluent text.
In the end, provenance is not an academic nicety. It is the difference between an AI system that can participate in accountable work and one that can only sound helpful until challenged. Retrieval gets material into the room. Provenance says who brought it, from where, under what authority, and whether anyone should trust it enough to act.
The lesson
Retrieval is one of the most useful patterns in applied AI because it connects models to living knowledge. That usefulness is exactly why it needs provenance. The more people rely on retrieved answers, the less acceptable it becomes to say the source was somewhere in the index. Somewhere is not a control. Somewhere is where bad meetings begin.
A serious retrieval system keeps identity across movement. It preserves source, version, permission, time, chunk context, authority, contradiction and use. It evaluates whether evidence supports claims, not only whether answers sound good. It makes refusal possible when proof is thin. It lets people challenge and repair the knowledge estate. This is not paperwork around AI. It is the part that turns retrieval from fast guessing into accountable assistance.
The model may write the answer. The retrieval layer may find the words. Provenance is what lets the organisation own the claim. Without it, all that speed only gets uncertainty to the user sooner.