Context Compression for LLMs in Rust | Signum

Kortere efter regler. Klar til inspektion.

Når repositoryet udgives, så læs implementeringsnoterne, kør den lokale binær selv, og læg resultatet ved siden af passagen, der producerede det. Signum ankommer i tredje runde af foundation-udgivelsesprogrammet, med dokumentationen live samme dag.

Et tæt dataformat med offentliggjorte rundture.

En afgrænset rute fra et spørgsmål til dokumenteret evidens.

En vævet model, der efterlader et spor ved siden af svaret.

migration job not finish connection replica dropped 30 seconds.

Niveauet flytter et numerisk snit gennem én fast ordrangering. Det øger også straffen på sammenbindingsord, efterhånden som indstillingen stiger inde i passagen.

Fastgjorte positioner går foran budgettet uanset deres rang. De næste beskyttelser forklarer, hvor korrekthed, snarere end præference, bor.

Otte spændtyper bliver nummererede stedfortrædere før den første score. Overskrifter, citater, tabeller og afgrænsede linjer holdes ud som hele linjer.

Efter komprimering gendannes pladsholdere, uanset om de er skrevet normalt eller med små bogstaver. Resultatet forbliver byte-identisk, hvor en person eller maskine skal kunne stole på det.

Loftet gives, før almindelige bonusser kan tælles. Ingen kombination af længde, store bogstaver eller sjældenhed når det.

Det gør en negation til en garanti snarere end en sandsynlig overlever. Det betyder noget, hvor en ren udseende modsat udsagn ville skabe en stille fejl.

Den baglæns scanning træder over små ord mellem et partikel og dets verbum. Når den finder en handling, får begge positioner tvungen vægt.

En ensom partikel får intet og kan falde med fyldet. Den skelnen holder 'set up' oppe, mens den lader en almindelig præposition gå.

Niogfyrre reduktioner affyres uden kontekst, før rangeringen begynder. Seksten andre venter på det ord, der følger, før de handler.

Et stort bogstav, ciffer, sti-tegn eller erklæret term åbner porten. Et almindeligt substantiv efterlader sætningen urørt, fordi påstanden ville ændre sig.

Prosa og kode bruger alle fem positioner, mens værktøjsoutput har tre. Fem maskinformede klasser lander på én position uden at læse på skiven.

En log, diff eller postsæt producerer derfor det samme resultat ved enhver kalders indstilling. Klassificering afgør behandlingen, før komprimering starter.

En strukturel passage behandler hver linje efter dens opgave. Tabeller og regler passerer igennem, mens afsnit og høflighed kan forkortes.

En samtaleomgang, der indeholder bevis, forbliver hel. Hver erstatning beholdes kun, når den er mindre end originalen.

Sektionspassagen tillader en sektion over loftet, mens den er under gulvet. Det forhindrer, at et dokument bliver for let til at svare.

Sætningspassagen adlyder kun loftet og kan skære inden for en sektion. Dispatcheren prøver først ruten med to grænser.

Markørord tælles på tværs af femogtredive koder, hvor unikke markører er tre gange så meget værd som delte. Et sprog skal klare en tærskel, før dets regler gælder.

Ungarsk, finsk og estisk stammer før opslag, hvor det er nødvendigt. Et usikkert resultat falder tilbage til generelle regler og fjerner mindre.

Hver fase beholder kun et resultat, når det bruger færre tokens end dets input. En kort passage vender tilbage præcis, som den ankom, uændret.

Separate kompressorer returnerer det samme output, fordi intet samples. Test hævder både størrelsesgrænsen og repeterbarheden.

Fjernelse, lighed og læsbarhed hører til den samme målte kørsel. Læsbarhed kontrollerer, at en stærkere besparelse ikke har forvrænget prosæen.

Korpuset var 5.520 sætninger fra halvtreds tekniske dokumenter med opslag aktiveret. Et andet korpus har brug for sin egen måling snarere end et lånt løfte.

Hver sætning sammenlignes med forespørgslen ved hjælp af tre gramkodninger. Nøgleords overlap scorer resten.

Halvdelen overlever, med et minimum på tre, og vender derefter tilbage i den oprindelige rækkefølge. En passage på under fire sætninger returneres som skrevet.

Den udgående halvdel af en modelregning er den halvdel, dit team kan ændre. Det er samlet kontekst, der ofte sendes uændret mere end én gang.

En lokal regel fjerner den stilladsering, før det betalte kald. Den opretter ikke en anden regning eller ændrer det svar, der stadig skal genereres.

En gennemgående kan navngive hvert fjernet ord ved den regel, der fjernede det. Den markerede kopi giver dem noget konkret at inspicere og godkende.

Et resumé efterlader kun en vurdering at stole på mod hukommelsen. Den sætning, nogen spørger om senere, er netop den, der kan være forsvundet.

Forkortelsen kører i den proces, der allerede indeholder dokumentet. Ingen slutpunkt, leverandørkø eller ekstra processor modtager en kopi.

Det regelbaserede trin forbliver hos koden, der håndterer dokumentet.

Stabile resultater gør gentagne dokumenter til nyttige cacheposter. Tests hævder nøjagtig output frem for noget blot plausibelt.

En forskel mellem to kørsler er så et fund, ikke støj. Det giver en senere hændelsesgennemgang en fast, inspekterbar del af sin registrering.

Kommandoer, referencer og citeret fejltekst forbliver helt uden for forkortelsen. Ni engelske ord, der vender en udsagn, er også beskyttet.

En kopieret kommando kører stadig, og en citeret fejl kan stadig søges. En sætning kan ikke stille og roligt ændre sig til sin modsætning ved en høj indstilling.

En komponent dækker omhyggelige kundebreve og blotte maskinlogge. Klassificering afgør, om en opkaldsindstilling overhovedet er relevant.

Logge, diff og registreringer kan rettes eller tage en separat tæt rute. Det holder indkøb til én komponent i stedet for flere værktøjer.

Dokumentpassagen respekterer både et loft og et minimum. Dens gulv holder en kortere passage tilstrækkelig substantiel til at besvare spørgsmålet.

Sætningspassagen respekterer kun loftet, når vinduet er det eneste, der betyder noget. Valget hører til i kodegennemgang, ikke en forhastet manuel beslutning.

Komponenten bestemmer sproget ud fra teksten, ikke fra lejeropsætningen. En tærskel forhindrer en usikker læsning i at anvende de forkerte regler.

Hver genkendt kode bringer sine egne funktionsord og substitutioner. Sprog med tunge endelser stammer, før opslaget starter.

Hvert værktøjssvar bærer bytes ind, bytes ud og den resulterende besparelse. Din egen trafik giver derfor beviset fra det første kald.

En uge med rigtige prompter gør sagen til en sum snarere end et skøn. Intet separat overvågningssystem skal måle det samme arbejde igen.

Software fjerner polstring, før en AI læser en lang rapport. Mere af det, du indsætter, kan passe i den samme anmodning.

Det fungerer inde i det værktøj, der allerede håndterer rapporten. Intet ekstra sendes væk blot for at gøre teksten kortere.

Et resumé beder noget om at beslutte, hvad der betyder noget i dit dokument. Faste regler fjerner kun de slags ord, der er skrevet på deres liste.

Du kan lægge de to kopier sammen og se hvert ord, der forsvandt. Det er sikrere end at stole på hukommelsen, når en manglende sætning betyder noget.

Nogle lange ord byttes til et kortere ord fra en fast tabel. Det samme ord modtager den samme bytte i hvert dokument.

Resultatet kan lyde afklippet snarere end poleret. Dets mening forbliver til stede, og den næste læser har brug for den mening, ikke den formelle formulering.

Koder, links og nøjagtig advarselstekst løftes ud, før nogen forkortelse begynder. Overskrifter og tabellerækker forbliver på plads af samme grund.

Et forkert tegn kan stoppe en søgning, formular eller kommando fra at virke. Disse referencer vender tilbage præcis, som de blev skrevet.

Forkortelsen sker på den maskine, der allerede har teksten. Intet nyt firma modtager et dokument for at gøre det mindre.

Den samme paragraf returnerer også den samme kortere paragraf i morgen. Hvis den ændrer sig, ændrede noget sig i inputtet eller reglerne, ikke en mening.

Signum finder ud af sproget ud fra ordene og bogstaverne i beskeden. Du markerer ikke et dokument eller konfigurerer det, før du sender det.

Hvis det ikke er sikker, bruger det generelle regler og fjerner mindre. Endelser kommer af først i sprog, hvor de skjuler ordet nedenunder.

erstatningskøretøj · selvrisiko · dækning

Signum er et Rust-bibliotek til deterministisk promptkomprimering før et LLM-kald. Det scorer og forkorter kontekst i den proces, der allerede har den, returnerer samme resultat for samme input og foretager intet modelkald eller netværksanmodning. Reglerne, der bestemmer, hvad der klippes, er værd at læse: Signum udgives i tredje runde af foundation-releaseprogrammet.

Signum scorer hvert ord på fem tællelige signaler: længde, versaler inde i en sætning, cifre, position og sjældenhed i dit felt. Niveauet ændrer, hvor meget af den rangering der overlever, aldrig hvad passagen betyder.

Fem signaler danner scoren. Niveauet flytter grænsen, fra omkring syv ord ud af ti til færre end to.

Den samme input følger den samme aritmetiske vej, så resultatet kan inspiceres og bekræftes.

En score er kun nyttig, hvis nogle spænder aldrig indgår i den.

Kommandoer, links, kode, fremhævelser, tags og URL'er løftes ud før scoring og gendannes bagefter tegn for tegn. Strukturelle linjer holdes også ude, så et forkortet dokument forbliver et dokument.