Retrieval without provenance is just guessing faster
The answer with no handle
The meeting went quiet after the assistant produced the answer. That was the first warning. People usually make noise when software fails in an obvious way. They lean back, sigh, ask who owns the thing, and develop sudden opinions about procurement. This answer did not fail obviously. It was fluent, tidy and exactly the kind of paragraph that makes a project team sit up straighter. It said the policy allowed the exception. It gave three reasons. It used the same vocabulary as the policy office. It even sounded slightly bored, which is how institutional truth often dresses for work.
Then someone asked where the answer came from. The screen offered a source label that said internal guidance. That was not a source. That was a mood with a filing cabinet. Which guidance. Which version. Which paragraph. Was the document still active. Did the questioner have permission to see it. Had the text been copied from a draft, a current policy, a meeting note, or a training example produced by another system. The assistant could not say. It had retrieved something, or claimed it had. The team had an answer with no handle. It could be admired, but it could not be lifted.
This is the quiet trap in retrieval augmented AI. Retrieval makes a model feel grounded because the answer is no longer coming from the model alone. A search layer finds documents, chunks, records or facts, passes them into context, and the model writes from there. That is useful. It is also dangerously easy to overrate. If the system cannot show what it retrieved, why it was allowed to retrieve it, how fresh it was, which transformations touched it and how the final answer depends on it, retrieval has not solved guessing. It has put guessing on a faster route.
The old model guessed from memory. The new system may guess from a pile of fragments. That is an improvement only when the pile is governed. Otherwise the organisation has built a confident librarian who runs very quickly through the archive while refusing to keep shelf numbers. Impressive cardio. Poor audit trail.
Retrieval is a transport layer, not a truth layer
The simplest way to misunderstand retrieval is to treat search results as truth. Search does not know truth. Search knows match. Vector search knows similarity. Keyword search knows terms. Hybrid search knows a negotiated truce between the two. A reranker can improve ordering. Metadata filters can remove obvious mistakes. None of those steps automatically knows whether a paragraph is current, authorised, complete, contradicted, superseded, confidential or written by someone who was trying to get home before the train strike.
That does not make retrieval weak. It makes retrieval specific. It is a transport layer that brings candidate evidence to a reasoning surface. Its job is to find possibly relevant material under constraints. The truth work begins when the system can identify the material, preserve its context, compare it with other material, reject stale or unauthorised sources, expose uncertainty and keep a record of what happened. Without those pieces, retrieval is only faster selection. Faster selection is not the same as better judgement. A coin tossed by a machine is still a coin toss, even if it uses cloud credits.
In practical systems, the gap appears in small places. A source document is split into chunks, but the chunk loses the heading that made it meaningful. A vector index contains both current and retired policies because deletion was handled by enthusiasm rather than process. A PDF was parsed without footnotes. A table became a string of lonely numbers. An access control rule was applied to the document but not to the embedding. The answer cites a paragraph that was relevant to one region and illegal in another. Nobody designed a failure. They just allowed evidence to shed its labels as it moved.
The cure is not to distrust retrieval. The cure is to stop asking it to perform jobs it was never built to do. Retrieval should bring candidates. Provenance should tell the story of those candidates. Governance should decide which candidates may be used. The answer should carry enough evidence that people can inspect it without becoming amateur archaeologists in a folder called archive final old.
The missing shelf number
Libraries understood provenance before AI rediscovered it with more expensive terminology. A useful citation lets a reader find the work, edition, page and sometimes even the paragraph. It does not merely say history book. A warehouse label tells you which batch, supplier, lot and expiry date matter. A lab sample carries chain of custody because nobody wants medicine based on vibes. In each case, the point is mundane: when consequences exist, objects need identity across movement.
Data moving through retrieval systems needs the same discipline. A document is not a blob of text. It has an origin, owner, legal basis, scope, audience, version, effective period, format, parser, chunking policy, embedding model, index time, access policy and retirement path. That sounds like a lot because it is. It is still less than the cost of explaining to a regulator, patient, customer or board that the system probably read something helpful but the exact something has achieved spiritual independence.
The shelf number also protects engineering teams. When an answer is wrong, the team needs to know whether retrieval missed the right source, ranked the wrong source, included stale material, lost context during chunking, allowed a permission leak, or let the model ignore the best evidence. Those are different bugs. Without provenance, they collapse into one useless category: AI was weird. That category is popular in meetings and almost completely unhelpful in incident review.
Good provenance gives failure a shape. It lets teams inspect the document path, the chunk boundary, the embedding version, the query rewrite, the rerank result, the prompt assembly and the final generation. It does not make the system perfect. It makes mistakes locatable. Locatable mistakes can be repaired. Unlocatable mistakes become folklore, and folklore has terrible uptime.
Chunking is an editorial act
Žmonės dažnai apibūdina skaidymą į dalis kaip techninį parengiamojo apdorojimo žingsnį. Tai daugiau nei tai. Skaidymas nusprendžia, koks kontekstas keliauja kartu. Pastraipa, atskirta nuo jos išimties pastabos, gali pakeisti prasmę. Garantijos sąlyga, atskirta nuo jos jurisdikcijos antraštės, tampa spąstais. Klinikinė rekomendacija be pacientų grupės, kuri ją apriboja, nebėra ta pati rekomendacija. Kodo pavyzdys be įspėjimo yra pasala, dėvinti fiksuoto pločio šriftą.
Kiekviena skaidymo strategija yra redakcinė politika. Fiksuoti žetonų langai yra paprasti ir greiti, tačiau jie gali perkirsti prasmę. Semantinis skaidymas gerbia temų poslinkius, tačiau vis tiek gali nepastebėti lentelių, sąrašų, antraščių ir teisinės struktūros. Skaidymas pagal skyrius išsaugo hierarchiją, bet tik tuo atveju, jei analizatorius iš tikrųjų atpažįsta hierarchiją. Tėvinės ir vaikinės dalies gavimas gali pateikti mažą atitikmenį ir didesnę aplinkinę ištrauką, tačiau tada sistema turi įrašyti abu. Nė vienas iš šių dalykų nėra mistiškas. Tai darbas su dokumentais. Būtent dirbdamos su dokumentais daugelis dirbtinio intelekto sistemų atranda, kad nuobodus biuras visą laiką saugojo prasmę.
Kilmės įrašas paverčia skaidymą iš tylos padarytos žalos į matomą pasirinkimą. Sistema turėtų žinoti, kuris dokumentas sukūrė dalį, kuris analizatorius ją perskaitė, kurios antraštės ją apėmė, kurios gretimos dalys buvo šalia, iš kurio puslapio ar eilutės ji atsirado ir koks didesnis vienetas gali būti parodytas, kai žmogus užginčija atsakymą. Atsakymui nereikia kaskart rodyti viso to. Jis turi tai išsaugoti. Skirtumas tarp paslėpto konteksto ir nebuvusio konteksto tampa svarbus būtent tą akimirką, kai visi jau yra pavargę.
Skaidymas taip pat veikia sąžiningumą tarp šaltinių. Švarus HTML puslapis gali sukurti gražias dalis. Nuskaitytas PDF gali sukurti sulaužytus fragmentus. Skaičiuoklė gali prarasti struktūrą. Jei gavimo sistema tyliai teikia pirmenybę šaltiniams, kurie išanalizuojami tvarkingai, ji taip pat gali teikti pirmenybę padaliniams, tiekėjams ar kalboms, turinčioms geresnę dokumentų higieną. Tai nėra modelio šališkumas dramatiška prasme. Tai biuro šališkumas, kuris yra mažiau kinematografiškas ir stebėtinai galingas.
Citacijų nepakanka
Citacija gali būti naudinga kilmės įrašo vartotojo sąsaja, tačiau ji nėra visas mechanizmas. Daugelis sistemų šalia atsakymo rodo mažus šaltinio žetonus. Tai geriau nei nieko. Tai taip pat lengva netyčia apgauti. Atsakymas gali cituoti dokumentą, kuris buvo gautas, bet iš tikrųjų nepanaudotas. Jis gali cituoti puslapį, kuriame yra panašių žodžių, bet ne teiginį. Jis gali cituoti šaltinį, kuris buvo prieinamas sistemai, bet ne vartotojui. Jis gali cituoti seną versiją, nes indeksas atsilieka nuo saugyklos. Dekoratyvinė citacija vis tiek yra dekoracija, tik su išnašos kostiumu.
Rimtas kilmės įrodymas reikalauja teiginio lygmens disciplinos. Jei atsakyme teigiama, kad politika leidžia išimtį, sistema turėtų žinoti, kuri ištrauka pagrindžia tą teiginį. Jei teigiama, kad išimtis taikoma tik žemiau tam tikros ribos, ji turėtų nurodyti tos ribos šaltinį. Jei sujungiami du šaltiniai, jungtis turėtų likti matoma. Jei įrodymai prieštarauja vieni kitiems, sistema neturėtų suplokštinti prieštaravimo į vieną džiugią pastraipą. Modelis gali apibendrinti, bet sistema neturėtų leisti, kad apibendrinimas ištrintų įrodymų struktūrą.
Tai nereiškia, kad kiekvienas atsakymas turi ateiti su teisine byla, perrišta virve. Skirtingi kontekstai reikalauja skirtingo paviršiaus detalumo. Pagalbos tarnybos atsakymas gali rodyti dvi šaltinio nuorodas ir pasitikėjimo pastabą. Medicinos, finansų, teisės ar viešųjų paslaugų darbo eiga gali reikalauti ištraukų nuorodų, versijos identifikatorių ir žmogaus peržiūros būsenos. Pagrindinis reikalavimas yra tas, kad paviršius galėtų plėstis, kai didėja pasekmės. Sistema, kuri negali pereiti nuo paprasto atsakymo prie patikrinamų įrodymų, yra pokalbių robotas, vilkintis rimtus marškinius.
Citatoms taip pat reikia neigiamos erdvės. Sistema turėtų galėti pasakyti, kad nerado pakankamai įrodymų, arba kad gauti šaltiniai nesutaria, arba kad šaltiniai pasenę, arba kad vartotojas neturi prieigos prie reikiamos medžiagos. Atsisakymas su kilmės įrodymu dažnai yra naudingesnis nei atsakymas su netikra citata. Organizacijai gali nepatikti girdėti „ne“. Organizacijoms retai patinka. Būtent todėl egzistuoja valdysena, o kartais ir kava.
Šviežumas yra tiesos dalis
Kilmės įrodymas be laiko yra neišsamus. Daugelis įmonių klaidų kyla iš senos medžiagos, kuri lieka randama, nes niekas nenorėjo ištrinti nieko, kas turėjo svarbiai skambantį pavadinimą. Politika baigia galioti. Kainos keičiasi. Produktų vadovai pakeičiami. Reguliavimo gairės keičiasi. Duomenų žodynai nukrypsta. Paieškos sistema, kuri seną ir dabartinę medžiagą traktuoja vienodai, nėra neutrali. Ji perduoda laiko valdymą kosinuso panašumui, o tai yra drąsus gyvenimo būdo pasirinkimas.
Kiekvienas paieškos sistemos šaltinis turėtų turėti laiko reikšmę. Kada jis buvo sukurtas. Kada įsigaliojo. Kada paskutinį kartą peržiūrėtas. Kada indeksuotas. Kada baigia galioti. Kuri versija jį pakeitė. Ar tai buvo juodraštis, tvirtinimo kopija, archyvuota kopija ar dabartinė kopija. Tai ne biurokratinės puošmenos. Tai dalis to, ar atsakymas pakankamai teisingas, kad juo būtų galima naudotis. Praėjusių metų procedūros pastraipa gali būti puikiai parašyta ir visiškai klaidinga.
Šviežumas taip pat turi veiklos pasekmių. Indeksavimo vėlavimai turėtų būti matomi. Jei saugykla pasikeitė 09:00, o vektorinis indeksas atnaujinamas per naktį, sistema turi žinoti tą spragą. Jei skubi medžiaga aplenkia įprastą eigą, tas aplenkimas turėtų būti užfiksuotas. Jei šaltinis išbraukiamas, įterptys ir išvestiniai fragmentai turėtų būti išbraukti kartu su juo arba likti aiškiai pažymėti kaip istoriniai. Priešingu atveju sistema tampa muziejumi, kuris kartais teikia veiklos patarimus.
Į laiką atsižvelgiantis kilmės įrodymas padeda vartotojams pasitikėti teisingais dalykais. Jis leidžia asistentui pasakyti, kad šis atsakymas pagrįstas politika, galiojančia nuo 2026 m. kovo 5 d., indeksuota 11:20, ir nerasta jokio naujesnio ją pakeičiančio įrašo. Tas sakinys nėra įspūdingas. Jis naudingas. Naudingumas pranoksta įspūdingumą kiekviename incidente, su kuriuo esu susidūręs.
Leidimai keliauja kartu
Prieigos kontrolė dažnai taikoma prie lauko durų ir pamirštama koridoriuje. Vartotojui gali būti neleista atidaryti šaltinio dokumento, bet dokumento įterptis gali būti bendrame indekse. Fragmentas gali būti įtrauktas į užklausą, nes paieškos paslauga veikia su plačia tarnybinės paskyros teise. Sugeneruotas atsakymas gali atskleisti konfidencialaus klausimo egzistavimą net jo necituodamas. Sistema neištekino failo, kažkas sako. Ji tik ištekino išvadą. Šį skirtumą geriausia pristatyti iš saugaus atstumo.
Kilmės įrašai turi apimti leidimus, nes įrodymai be įgaliojimų nėra tinkami įrodymai. Sistema turi žinoti, kuris vartotojas, vaidmuo, paskirtis ir kontekstas leido kiekvienam gautam elementui patekti į atsakymą. Ji turi atskirti prieigą prie šaltinio nuo išvestinės prieigos. Prireikus ji turi atlikti redagavimą prieš generavimą. Ji turi užfiksuoti, kada atsakymą apribojo leidimai, o ne įrodymų trūkumas. Priešingu atveju vartotojai tylą klaidingai supras kaip nebuvimą, arba, dar blogiau, gaus informaciją, kurios niekada neturėjo matyti.
Paieška, atsižvelgianti į leidimus, yra sudėtingesnė nei įprasta paieška, nes keičia reitingavimą, talpyklą, vertinimą ir testavimą. Du vartotojai gali užduoti tą patį klausimą ir teisėtai gauti skirtingus įrodymus. Tai nėra nenuoseklumas. Tai valdymas. Sunkiausia dalis yra padaryti skirtumą paaiškinamą neatskleidžiant to, kas turi likti paslėpta. Sistema gali turėti pasakyti, kad už jūsų prieigos ribų gali būti apribotų įrašų, o ne apsimesti, kad pasaulyje egzistuoja tik tai, ką vartotojas gali perskaityti.
Čia taip pat daugelis bandomųjų projektų žlunga susidūrę su realybe. Prototipas, sukurtas bendrame aplanke, gali savaitę įspūdingai atrodyti visiems. Tada kas nors paklausia apie personalo įrašus, įsigijimo dokumentus, pacientų užrašus, teisinę privilegiją, darbuotojų atstovų medžiagą ar eksporto kontroliuojamus tyrimus. Paieškos sistemai staiga prireikia suaugusiųjų priežiūros. Įdomi demonstracija tampa duomenų valdymo projektu, kuriuo ji ir buvo visą laiką.
Prieštaravimas nėra klaida, kurią reikia slėpti
Tikri archyvai patys sau prieštarauja. Politikos komanda atnaujino procedūrą, bet ne DUK. DUK atnaujino pavyzdį, bet ne lentelę. Regioninis biuras turėjo vietinę išimtį. Sutartyje rašoma viena, įgyvendinimo vadove kita, o skaičiuoklė, kurią sukūrė labai praktiškas žmogus, rodo, ką visi iš tikrųjų daro. Paieška ras visa tai, jei užklausa bus nelaiminga ar sąžininga.
Sistema, atsižvelgianti į kilmės įrašus, turėtų traktuoti prieštaravimą kaip pirmos klasės rezultatą. Ji turėtų parodyti, kad keli šaltiniai nesutaria, nustatyti jų įgaliojimus ir naujumą, ir vengti pateikti vieną sujungtą atsakymą, tarsi organizacija kalbėtų vienu balsu. Kartais teisingas atsakymas nėra išimtis leidžiama. Kartais jis yra dabartinė politika, atrodo, tai leidžia, DUK, atrodo, pasenęs, o sutarties savininkas turėtų išspręsti konfliktą prieš veiksmus. Tas atsakymas mažiau patogus. Jis taip pat mažiau tikėtina, kad sukurs nedidelę teisinę audros sistemą.
Prieštaravimų valdymas reikalauja šaltinių reitingavimo pagal autoritetą, o ne tik pagal aktualumą. Valdybos patvirtinta politika gali būti aukštesnė už pagalbos straipsnį. Pasirašyta sutartis gali būti aukštesnė už pardavimų pristatymą. Vietinė procedūra gali būti aukštesnė už bendrąjį vadovą savo vietinės taikymo srities ribose. Juodraštis neturėtų būti aukštesnis už galiojančią versiją, nebent vartotojas aiškiai klausia apie juodraščius. Šios taisyklės yra nuobodžios. Tačiau būtent čia organizacijos tiesos hierarchija tampa technine.
Jei niekas nenori apibrėžti tos hierarchijos, paieškos sistema ją apibrėš atsitiktinai. Ji naudos teksto panašumą, naujumą, formatavimo kokybę, fragmento ilgį ar bet kokį kitą signalą, kurį siūlo grandinė. Atsitiktinis autoritetas vis tiek yra autoritetas. Tik jis atsiranda be posėdžių protokolų.
Vertinimui reikia šaltinio gedimo, ne tik atsakymo gedimo
Daug komandų vertina paieškos sistemas tikrindamos, ar galutinis atsakymas skamba teisingai. Tai naudinga, bet nepakankama. Teisingas atsakymas iš netinkamo šaltinio yra būsimas incidentas, kuris tik įšyla. Sistema galėjo pasisekti tik todėl, kad modelis jau žinojo atsakymą, arba todėl, kad pasenęs dokumentas atsitiktinai atitiko dabartinę taisyklę, arba todėl, kad vertintojas priėmė citatą, kuri nepagrindė teiginio. Atsakymo kokybė ir įrodymų kokybė turi būti tikrinamos atskirai.
Paieškos vertinimo rinkinyje turėtų būti šaltinių lūkesčiai. Kiekvienam testo klausimui: kurie dokumentai yra priimtini. Kurie nepriimtini. Kurios versijos svarbios. Kurie leidimai taikomi. Kurie konfliktai turėtų būti iškeliami į paviršių. Į kurį klausimą reikėtų atsisakyti atsakyti, nes trūksta įrodymų. Tai sukurti lėčiau nei krūvą klausimų ir atsakymų porų. Tačiau tai taip pat arčiau darbo, kurį sistema turi atlikti. Paieškos sistema be šaltinių vertinimo yra kaip finansų sistema, tikrinama tik klausiant, ar galutinis skaičius atrodo tikėtinas. Ji gali išlaikyti testą iki pat audito.
Veiklos stebėsena taip pat turėtų sekti šaltinių elgseną. Kurie šaltiniai yra pernelyg dažnai naudojami. Kurie šaltiniai retai randami, bet dažnai reikalingi. Kurie fragmentai dažnai cituojami. Kurie atsakymai vėliau taisomi. Kurie pasenę dokumentai vis pasirodo. Kurios vartotojų grupės sulaukia daugiau atsisakymų, nes leidimų ribos modeliuojamos prastai. Šie signalai nėra tik techniniai rodikliai. Jie yra įrodymai apie žinių fondo sveikatą.
Kai yra kilmės duomenys, vertinimas tampa tikslesnis. Nepavykusį atsakymą galima atsekti iki paieškos, reitingavimo, šaltinio kokybės, prieigos politikos, užklausos sudarymo ar generavimo. Kiekviena gedimo klasė turi skirtingą atsakingą asmenį. Tai nepatogu, nes neleidžia raminančiai frazei „AI suklydo“ praryti visų problemų. Ir gerai. Komfortas yra pervertintas, kai sistema priima sprendimus.
Sprendimų ciklas
Kilmės duomenys neturėtų būti archyvo funkcija, pridedama pabaigoje. Jie priklauso sprendimų ciklui. Vartotojas klausia. Sistema ieško pagal politiką. Atsakyme pateikiami įrodymai. Vartotojas priima, ginčija arba taiso. Pataisa atnaujina šaltinio kokybę, reitingavimo taisykles, metaduomenis, prieigos kontrolę ar mokymo pavyzdžius. Kitas atsakymas nėra tik iš naujo sugeneruojamas. Jį valdo tai, ko organizacija išmoko.
Tas ciklas ir paverčia paiešką institucine atmintimi, o ne protingu dokumentų automatinio užbaigimo įrankiu. Be ciklo kiekvienas atsakymas yra atskiras įvykis. Su ciklu atsakymai tampa signalais apie žinių sistemos būklę. Blogas atsakymas gali atskleisti pasenusią politiką. Atsisakymas gali atskleisti trūkstamą dokumentaciją. Prieštaravimas gali atskleisti neišspręstą nuosavybės klausimą. Dažna užklausa gali atskleisti, kad procedūra yra nesuprantama. Paieškos sluoksnis tampa diagnostikos priemone, o ne tik atsakymų mašina.
The loop also gives humans a sane role. People should not be asked to inspect every token. They should be asked to resolve the meaningful failures that provenance exposes. Is this source authoritative. Is this exception current. Is this access boundary correct. Is this conflict real. Those are human governance questions. The system can route them, record them and learn from their answers. It should not bury them under fluent text.
In the end, provenance is not an academic nicety. It is the difference between an AI system that can participate in accountable work and one that can only sound helpful until challenged. Retrieval gets material into the room. Provenance says who brought it, from where, under what authority, and whether anyone should trust it enough to act.
The lesson
Retrieval is one of the most useful patterns in applied AI because it connects models to living knowledge. That usefulness is exactly why it needs provenance. The more people rely on retrieved answers, the less acceptable it becomes to say the source was somewhere in the index. Somewhere is not a control. Somewhere is where bad meetings begin.
A serious retrieval system keeps identity across movement. It preserves source, version, permission, time, chunk context, authority, contradiction and use. It evaluates whether evidence supports claims, not only whether answers sound good. It makes refusal possible when proof is thin. It lets people challenge and repair the knowledge estate. This is not paperwork around AI. It is the part that turns retrieval from fast guessing into accountable assistance.
The model may write the answer. The retrieval layer may find the words. Provenance is what lets the organisation own the claim. Without it, all that speed only gets uncertainty to the user sooner.