Gissningar i högre hastighet, utan ursprung
Svaret utan handtag
Mötet tystnade när assistenten presenterade svaret. Det var den första varningen. Folk brukar låta när programvara misslyckas på ett uppenbart sätt. De lutar sig tillbaka, suckar, frågar vem som äger grejen och utvecklar plötsliga åsikter om upphandling. Det här svaret misslyckades inte uppenbart. Det var flytande, prydligt och precis den typen av stycke som får ett projektteam att sitta rakare. Det sa att policyn tillät undantaget. Det gav tre skäl. Det använde samma vokabulär som policyavdelningen. Det lät till och med lite uttråkat, vilket är hur institutionell sanning ofta klär sig för jobbet.
Sedan frågade någon var svaret kom ifrån. Skärmen visade en källmärkning som sa intern vägledning. Det var ingen källa. Det var en stämning med ett arkivskåp. Vilken vägledning. Vilken version. Vilket stycke. Var dokumentet fortfarande aktivt. Hade frågeställaren behörighet att se det. Hade texten kopierats från ett utkast, en gällande policy, en mötesanteckning eller ett utbildningsexempel från ett annat system. Assistenten kunde inte svara. Den hade hämtat något, eller påstått att den hade gjort det. Teamet hade ett svar utan handtag. Det kunde beundras, men det kunde inte lyftas.
Det här är den tysta fällan i retrieval augmented AI. Retrieval får en modell att kännas förankrad eftersom svaret inte längre kommer från modellen ensam. Ett söklager hittar dokument, stycken, poster eller fakta, skickar dem till kontexten och modellen skriver utifrån dem. Det är användbart. Det är också farligt lätt att överskatta. Om systemet inte kan visa vad det hämtade, varför det fick hämta det, hur färskt det var, vilka transformationer som rörde det och hur det slutliga svaret beror på det, har retrieval inte löst gissandet. Det har satt gissandet på en snabbare väg.
Den gamla modellen gissade från minnet. Det nya systemet kan gissa från en hög med fragment. Det är en förbättring bara när högen är styrd. Annars har organisationen byggt en självsäker bibliotekarie som springer mycket snabbt genom arkivet samtidigt som hon vägrar att hålla reda på hyllnummer. Imponerande kondition. Dålig granskningsspår.
Retrieval är ett transportlager, inte ett sanningslager
Det enklaste sättet att missförstå retrieval är att behandla sökresultat som sanning. Sökning känner inte till sanning. Sökning känner till matchning. Vektorsökning känner till likhet. Nyckelordssökning känner till termer. Hybridsökning känner till en förhandlad vapenvila mellan de två. En reranker kan förbättra ordningen. Metadatafilter kan ta bort uppenbara misstag. Ingen av dessa steg vet automatiskt om ett stycke är aktuellt, auktoriserat, komplett, motsagt, ersatt, konfidentiellt eller skrivet av någon som försökte komma hem före tågstrejken.
Det gör inte hämtningen svag. Det gör hämtningen specifik. Det är ett transportlager som för fram kandidatbevis till en resonerande yta. Dess uppgift är att hitta möjligen relevant material under begränsningar. Sanningens arbete börjar när systemet kan identifiera materialet, bevara dess sammanhang, jämföra det med annat material, avvisa inaktuella eller obehöriga källor, blotta osäkerhet och föra logg över vad som hände. Utan dessa delar är hämtning bara snabbare urval. Snabbare urval är inte samma sak som bättre omdöme. Ett mynt som kastas av en maskin är fortfarande ett myntkast, även om det använder molnpoäng.
I praktiska system syns gapet på små ställen. Ett källdokument delas i bitar, men biten förlorar rubriken som gjorde den meningsfull. En vektorindex innehåller både aktuella och pensionerade policyer eftersom radering hanterades med entusiasm snarare än process. En PDF tolkades utan fotnoter. En tabell blev en sträng av ensamma siffror. En åtkomstkontrollregel tillämpades på dokumentet men inte på inbäddningen. Svaret citerar ett stycke som var relevant i en region och olagligt i en annan. Ingen designade ett misslyckande. De lät bara bevis tappa sina etiketter när de rörde sig.
Botemedlet är inte att misstro hämtning. Botemedlet är att sluta be den utföra jobb den aldrig byggdes för. Hämtning ska ta fram kandidater. Proveniens ska berätta kandidaternas historia. Styrning ska avgöra vilka kandidater som får användas. Svaret ska bära tillräckligt med bevis för att människor ska kunna granska det utan att bli amatörarkeologer i en mapp som heter archive final old.
Det saknade hyllnumret
Bibliotek förstod proveniens innan AI återupptäckte den med dyrare terminologi. En användbar citation gör att en läsare kan hitta verket, utgåvan, sidan och ibland till och med stycket. Den säger inte bara historiebok. En lageretikett talar om vilken batch, leverantör, lot och utgångsdatum som gäller. Ett labsprov bär kedja av förvaring eftersom ingen vill ha medicin baserad på känsla. I varje fall är poängen vardaglig: när konsekvenser finns behöver objekt identitet över rörelse.
Data som rör sig genom hämtningssystem behöver samma disciplin. Ett dokument är inte en textklump. Det har ett ursprung, en ägare, en rättslig grund, en omfattning, en publik, en version, en giltighetstid, ett format, en tolkare, en uppdelningspolicy, en inbäddningsmodell, en indexeringstid, en åtkomstpolicy och en pensionsväg. Det låter som mycket för att det är det. Det är fortfarande mindre än kostnaden för att förklara för en tillsynsmyndighet, patient, kund eller styrelse att systemet förmodligen läste något användbart men att det exakta något har uppnått andlig självständighet.
Hylla numret skyddar också ingenjörsteam. När ett svar är fel behöver teamet veta om hämtningen missade rätt källa, rankade fel källa, inkluderade inaktuellt material, förlorade sammanhang under uppdelningen, tillät en behörighetsläcka eller lät modellen ignorera det bästa beviset. Det är olika buggar. Utan proveniens kollapsar de till en enda oanvändbar kategori: AI var konstig. Den kategorin är populär på möten och nästan helt oanvändbar vid incidentgranskning.
Bra proveniens ger misslyckande en form. Det låter team inspektera dokumentsökvägen, bitgränsen, inbäddningsversionen, omskrivningen av frågan, omrankningsresultatet, promptens sammansättning och den slutliga genereringen. Det gör inte systemet perfekt. Det gör misstag lokaliserbara. Lokaliserbara misstag kan repareras. Icke-lokaliserbara misstag blir folklore, och folklore har fruktansvärd drifttid.
Uppdelning är en redaktionell handling
People often describe chunking as a technical preprocessing step. It is more than that. Chunking decides what context travels together. A paragraph split away from its exception note can change meaning. A warranty clause separated from its jurisdiction heading becomes a trap. A clinical recommendation without the patient group that limits it is no longer the same recommendation. A code sample without its warning is an ambush wearing monospace.
Every chunking strategy is an editorial policy. Fixed token windows are simple and fast, but they can cut through meaning. Semantic chunking respects topic shifts, but it can still miss tables, lists, captions and legal structure. Section-based chunking preserves hierarchy, but only if the parser actually recognises the hierarchy. Parent-child retrieval can bring a small match and a larger surrounding passage, but then the system must record both. None of this is mystical. It is document work. Document work is where many AI systems discover that the boring office had been protecting meaning all along.
Provenance turns chunking from silent damage into a visible choice. The system should know which document produced a chunk, which parser read it, which headings enclosed it, which sibling chunks were nearby, which page or row it came from, and what larger unit can be shown when a human challenges the answer. The answer does not need to display all of that every time. It does need to keep it. The difference between hidden context and absent context becomes important at precisely the moment everyone is already tired.
Chunking also affects fairness across sources. A clean HTML page may produce beautiful chunks. A scanned PDF may produce broken fragments. A spreadsheet may lose structure. If the retrieval system quietly favours the sources that parse neatly, it may also favour departments, suppliers or languages with better document hygiene. That is not model bias in the dramatic sense. It is office bias, which is less cinematic and surprisingly powerful.
Citations are not enough
A citation can be a useful user interface for provenance, but it is not the whole mechanism. Many systems show little source chips beside an answer. That is better than nothing. It is also easy to game by accident. The answer may cite a document that was retrieved but not actually used. It may cite a page that contains similar words but not the claim. It may cite a source that was available to the system but not to the user. It may cite an old version because the index lags behind the repository. A decorative citation is still decoration, only with a footnote costume.
Seriös proveniens kräver disciplin på påståendenivå. Om svaret säger att en policy tillåter ett undantag, bör systemet veta vilken passage som stödjer det påståendet. Om det säger att undantaget bara gäller under en viss tröskel, bör det identifiera källan till tröskeln. Om det kombinerar två källor, bör det hålla sammanfogningen synlig. Om bevisen motsäger varandra, bör det inte platta ut konflikten till ett gladlynt stycke. Modellen kan sammanfatta, men systemet bör inte låta sammanfattningen radera bevisets struktur.
Detta betyder inte att varje svar måste komma med ett juridiskt dokumentpaket bundet med snöre. Olika sammanhang kräver olika nivåer av ytdetaljer. Ett helpdesk-svar kan visa två källänkar och en not om tillförlitlighet. Ett medicinskt, finansiellt, juridiskt eller offentligt serviceflöde kan behöva passagereferenser, versionsidentifierare och status för mänsklig granskning. Kärnkravet är att ytan kan expandera när konsekvenserna ökar. Ett system som inte kan röra sig från ett enkelt svar till granskningsbara bevis är en chattbot i en allvarlig skjorta.
Citationer behöver också negativt utrymme. Systemet bör kunna säga att det inte hittade tillräckliga bevis, eller att de hämtade källorna inte överensstämmer, eller att källorna är inaktuella, eller att användaren saknar åtkomst till det nödvändiga materialet. Ett avslag med proveniens är ofta mer användbart än ett svar med en falsk citation. Organisationen kanske inte uppskattar att höra nej. Organisationer gör sällan det. Det är därför styrning finns, och ibland kaffe.
Färskhet är en del av sanningen
Proveniens utan tid är ofullständig. Många företagsmisstag kommer från gammalt material som förblir sökbart eftersom ingen ville radera något med en titel som lät viktig. Policyer löper ut. Priser ändras. Produktmanualer ersätts. Regulatorisk vägledning rör sig. Dataordlistor glider. Ett hämtningssystem som behandlar gammalt och aktuellt material som likvärdigt är inte neutralt. Det lägger ut tidsstyrning på cosinuslikhet, vilket är ett djärvt livsstilsval.
Varje källa i ett hämtningssystem bör bära tidsmässig betydelse. När skapades den. När trädde den i kraft. När granskades den senast. När indexerades den. När löper den ut. Vilken version ersatte den. Var den ett utkast, ett godkännandeexemplar, ett arkiverat exemplar eller ett aktuellt exemplar. Dessa är inte byråkratiska utsmyckningar. De är en del av huruvida svaret är sant nog att använda. Ett stycke från förra årets rutin kan vara perfekt skrivet och perfekt fel.
Färskhet har också operativa konsekvenser. Indexeringsfördröjningar bör vara synliga. Om ett arkiv ändrades klockan 09:00 och vektorindexet uppdateras över natten, måste systemet känna till det gapet. Om brådskande material kringgår den normala pipeline, bör kringgåendet registreras. Om en källa pensioneras, bör inbäddningar och härledda segment pensioneras med den eller förbli uttryckligen markerade som historiska. Annars blir systemet ett museum som ibland ger operativa råd.
Tidsmedveten proveniens hjälper användare att lita på rätt saker. Det låter en assistent säga att detta svar baseras på policyn som gäller från 5 mars 2026, indexerad klockan 11:20, utan någon nyare ersättande post hittad. Den meningen är inte glamorös. Den är användbar. Användbart slår glamoröst i varje incident jag har mött.
Behörigheter färdas också
Åtkomstkontroll tillämpas ofta vid ytterdörren och glöms bort i korridoren. En användare kanske inte har rätt att öppna ett källdokument, men dokumentets inbäddning kan ligga i ett delat index. Ett utdrag kan inkluderas i en prompt eftersom hämtningstjänsten körs under ett brett servicekonto. Ett genererat svar kan avslöja förekomsten av en konfidentiell fråga även utan att citera den. Systemet läckte inte filen, säger någon. Det läckte bara slutsatsen. Detta är en distinktion som bäst levereras från säkert avstånd.
Provenance måste inkludera behörigheter, eftersom bevis utan auktoritet inte är användbara bevis. Systemet bör veta vilken användare, roll, syfte och kontext som tillät varje hämtat objekt att ingå i svaret. Det bör skilja på källåtkomst och härledd åtkomst. Det bör hantera redigering före generering där det behövs. Det bör registrera när ett svar begränsades av behörighet snarare än av brist på bevis. Annars kommer användare att misstolka tystnad som frånvaro, eller värre, få information de aldrig var avsedda att se.
Behörighetsmedveten hämtning är svårare än vanlig hämtning eftersom den ändrar rangordning, cachelagring, utvärdering och testning. Två användare kan ställa samma fråga och legitimt få olika bevis. Det är inte inkonsekvens. Det är styrning. Det svåra är att göra skillnaden förklarbar utan att exponera det som måste förbli dolt. Systemet kan behöva säga att det kan finnas begränsade poster utanför din åtkomstomfattning, snarare än att låtsas att världen bara innehåller det användaren kan läsa.
Det är också här många pilotprojekt bryter samman när de möter verkligheten. En prototyp byggd på en delad mapp kan imponera på alla i en vecka. Sedan frågar någon om HR-poster, förvärvsdokument, patientanteckningar, advokatsekretess, företagsrådsmaterial eller exportkontrollerad forskning. Hämtningssystemet behöver plötsligt vuxen tillsyn. Den roliga demon blir ett datahanteringsprojekt, vilket det var hela tiden.
Motsägelse är inte en bugg att dölja
Riktiga arkiv motsäger sig själva. Policyteamet uppdaterade proceduren men inte FAQ:n. FAQ:n uppdaterade exemplet men inte tabellen. Regionkontoret behöll ett lokalt undantag. Kontraktet säger en sak, implementeringsguiden säger en annan, och kalkylbladet byggt av en mycket praktisk person säger vad alla faktiskt gör. Hämtning kommer att hitta allt detta om frågan är otursdrabbad eller ärlig.
Ett provenancemedvetet system bör behandla motsägelse som ett förstklassigt resultat. Det bör visa att flera källor inte överensstämmer, identifiera deras auktoritet och aktualitet, och undvika att presentera ett blandat svar som om organisationen har talat med en röst. Ibland är det rätta svaret inte att undantaget är tillåtet. Ibland är det att nuvarande policy verkar tillåta det, FAQ:n verkar föråldrad, och kontraktsägaren bör lösa konflikten innan åtgärd. Det svaret är mindre bekvämt. Det är också mindre sannolikt att skapa ett litet juridiskt vädersystem.
Hantering av motsägelser kräver att källor rangordnas efter auktoritet, inte bara relevans. En styrelsebeslutad policy kan väga tyngre än en supportartikel. Ett undertecknat avtal kan väga tyngre än en säljpresentation. En lokal rutin kan väga tyngre än en generisk manual inom sitt lokala tillämpningsområde. Ett utkast ska inte väga tyngre än en gällande version, om inte användaren uttryckligen frågar om utkast. Dessa regler är tråkiga. De är också där organisationens sanningshierarki blir teknisk.
Om ingen vill definiera den hierarkin kommer hämtningssystemet att definiera en av misstag. Det kommer att använda textlikhet, aktualitet, formateringskvalitet, styckeslängd eller vilken signal som helst som pipelinen erbjuder. Oavsiktlig auktoritet är fortfarande auktoritet. Den bara anländer utan protokoll.
Utvärdering behöver källfel, inte bara svarsfel
Många team utvärderar hämtningssystem genom att kontrollera om det slutliga svaret låter rätt. Det är användbart men otillräckligt. Ett rätt svar från fel källa är en framtida incident som värms upp. Systemet kan ha lyckats bara för att modellen redan kunde svaret, eller för att ett inaktuellt dokument råkade matcha den nuvarande regeln, eller för att utvärderaren accepterade en källhänvisning som inte stödde påståendet. Svarskvalitet och beviskvalitet måste testas separat.
En utvärderingsuppsättning för hämtning bör inkludera källförväntningar. För varje testfråga, vilka dokument som är acceptabla. Vilka som är oacceptabla. Vilka versioner som spelar roll. Vilka behörigheter som gäller. Vilka konflikter som ska lyftas fram. Vilket svar som ska vägras eftersom bevis saknas. Detta är långsammare att bygga än en hög med fråga-svar-par. Det är också närmare det arbete systemet måste utföra. Ett hämtningssystem utan källutvärdering är som ett ekonomisystem som bara testas genom att fråga om slutsumman ser rimlig ut. Det kan klara sig ända fram till revisionen.
Driftövervakning bör också bevaka källbeteende. Vilka källor är överrepresenterade. Vilka källor hämtas sällan men behövs ofta. Vilka stycken citeras ofta. Vilka svar korrigeras senare. Vilka inaktuella dokument fortsätter dyka upp. Vilka användargrupper får fler avslag eftersom behörighetsgränser är dåligt modellerade. Dessa signaler är inte bara tekniska mätvärden. De är bevis på kunskapsbeståndets hälsa.
När härkomst finns blir utvärderingen mer precis. Ett misslyckat svar kan spåras till hämtning, rangordning, källkvalitet, åtkomstpolicy, promptkonstruktion eller generering. Varje felklass har en annan ägare. Det är obekvämt eftersom det hindrar den lugnande frasen AI:n hade fel från att svälja alla problem. Bra. Bekvämlighet är överskattad när systemet fattar beslut.
Beslutsslingan
Härkomst ska inte vara en arkivfunktion som läggs till i slutet. Den hör hemma i beslutsslingan. En användare frågar. Systemet hämtar enligt policy. Svaret bär bevis. Användaren accepterar, ifrågasätter eller korrigerar. Korrigeringen uppdaterar källkvalitet, rangordningsregler, metadata, åtkomstkontroller eller träningsexempel. Nästa svar genereras inte bara på nytt. Det styrs av vad organisationen har lärt sig.
Den slingan är hur hämtning blir institutionellt minne snarare än en smart autokomplettering för dokument. Utan slingan är varje svar en händelse. Med slingan blir svar signaler om kunskapssystemets tillstånd. Ett dåligt svar kan avslöja en inaktuell policy. Ett avslag kan avslöja saknad dokumentation. En motsägelse kan avslöja oklart ägarskap. En frekvent fråga kan avslöja att en rutin är oläslig. Hämtningslagret blir ett diagnostiskt instrument, inte bara en svarsmaskin.
The loop also gives humans a sane role. People should not be asked to inspect every token. They should be asked to resolve the meaningful failures that provenance exposes. Is this source authoritative. Is this exception current. Is this access boundary correct. Is this conflict real. Those are human governance questions. The system can route them, record them and learn from their answers. It should not bury them under fluent text.
In the end, provenance is not an academic nicety. It is the difference between an AI system that can participate in accountable work and one that can only sound helpful until challenged. Retrieval gets material into the room. Provenance says who brought it, from where, under what authority, and whether anyone should trust it enough to act.
The lesson
Retrieval is one of the most useful patterns in applied AI because it connects models to living knowledge. That usefulness is exactly why it needs provenance. The more people rely on retrieved answers, the less acceptable it becomes to say the source was somewhere in the index. Somewhere is not a control. Somewhere is where bad meetings begin.
A serious retrieval system keeps identity across movement. It preserves source, version, permission, time, chunk context, authority, contradiction and use. It evaluates whether evidence supports claims, not only whether answers sound good. It makes refusal possible when proof is thin. It lets people challenge and repair the knowledge estate. This is not paperwork around AI. It is the part that turns retrieval from fast guessing into accountable assistance.
The model may write the answer. The retrieval layer may find the words. Provenance is what lets the organisation own the claim. Without it, all that speed only gets uncertainty to the user sooner.