Context Compression for LLMs in Rust | Signum

Mai scurt prin regulă. Gata de inspectat.

După publicarea depozitului, citește notele de implementare, rulează singur binarul local și pune rezultatul lângă pasajul care l-a produs. Signum ajunge în a treia rundă a programului de lansare a fundației, cu documentația disponibilă în aceeași zi.

Un format dens de date cu round trips publicate.

Un traseu delimitat de la o întrebare la dovezi cu sursă.

Un model țesut care lasă o urmă lângă răspuns.

Jobul de migrare nu s-a terminat pentru că conexiunea la replică a căzut după 30 de secunde.

job migrare nu terminat conexiune replică căzut 30 secunde.

Nivelul mută o tăietură numerică printr-un singur clasament fix de cuvinte. De asemenea, adâncește penalizarea pentru cuvintele de legătură pe măsură ce setarea crește în interiorul pasajului.

Pozițiile fixate trec înaintea bugetului indiferent de rangul lor. Următoarele protecții explică unde trăiește corectitudinea, nu preferința.

Opt tipuri de intervale devin substituenți numerotați înainte de primul scor. Titlurile, citatele, tabelele și liniile încadrate sunt păstrate ca linii întregi.

După compresie, substituenții sunt restaurați indiferent dacă sunt scriși normal sau cu litere mici. Rezultatul rămâne identic la nivel de octet acolo unde o persoană sau o mașină trebuie să se bazeze pe el.

Plafonul este acordat înainte ca bonusurile obișnuite să poată fi numărate. Nicio combinație de lungime, majuscule sau raritate nu îl atinge.

Aceasta face dintr-o negație o garanție, nu un simplu supraviețuitor probabil. Contează oriunde o afirmație opusă cu aspect curat ar crea o eroare tăcută.

Scanarea înapoi trece peste cuvintele mici dintre o particulă și verbul său. Când găsește o acțiune, ambele poziții câștigă greutate forțată.

O particulă singură nu câștigă nimic și poate cădea odată cu materialul de umplutură. Această distincție păstrează set up, lăsând în același timp o prepoziție obișnuită să treacă.

Patruzeci și nouă de reduceri se declanșează fără context înainte de începerea clasamentului. Alte șaisprezece așteaptă cuvântul care urmează înainte de a acționa.

O majusculă, o cifră, un caracter de cale sau un termen declarat deschide poarta. Un substantiv obișnuit lasă fraza neatinsă pentru că afirmația s-ar schimba.

Proza și codul folosesc toate cele cinci poziții, în timp ce ieșirea instrumentului are trei. Cinci clase modelate de mașină aterizează la o singură poziție fără a citi cadranul.

Un jurnal, un diff sau un set de înregistrări produce astfel același rezultat la fiecare setare a apelantului. Clasificarea stabilește tratamentul înainte de începerea compresiei.

O trecere structurală tratează fiecare linie după rolul său. Tabelele și regulile trec, în timp ce paragrafele și curtoazia se pot scurta.

O întoarcere de conversație care conține dovezi rămâne întreagă. Fiecare înlocuire este păstrată doar atunci când este mai mică decât originalul.

Trecerea de secțiune admite o secțiune peste plafon în timp ce este sub podea. Oprește un document să devină prea subțire pentru a răspunde.

Trecerea de propoziție respectă doar plafonul și poate tăia în interiorul unei secțiuni. Dispecerul încearcă mai întâi ruta cu două limite.

Cuvintele marker sunt numărate în treizeci și cinci de coduri, markerii unici valorând de trei ori mai mult decât cei partajați. O limbă trebuie să depășească un prag înainte ca regulile sale să se aplice.

Maghiara, finlandeza și estona sunt reduse la rădăcină înainte de căutare acolo unde este necesar. Un rezultat incert revine la regulile generale și elimină mai puțin.

Fiecare etapă păstrează un rezultat doar atunci când folosește mai puține tokenuri decât intrarea sa. Un pasaj scurt se întoarce exact așa cum a ajuns, neschimbat.

Compresoare separate returnează aceeași ieșire pentru că nimic nu eșantionează. Testele afirmă atât limita de dimensiune, cât și repetabilitatea.

Eliminarea, similaritatea și lizibilitatea aparțin aceleiași rulări măsurate. Lizibilitatea verifică că o economie mai puternică nu a stricat proza.

Corpusul a fost de 5.520 de propoziții din cincizeci de documente tehnice cu căutarea activată. Un corpus diferit are nevoie de propria măsurare, nu de o promisiune împrumutată.

Fiecare propoziție este comparată cu interogarea folosind trei codificări gram. Suprapunerea de cuvinte cheie punctează restul.

Jumătate supraviețuiesc, cu un minim de trei, apoi revin în ordinea originală. Un pasaj sub patru propoziții revine așa cum a fost scris.

Jumătatea care iese dintr-un model de factură este jumătatea pe care echipa ta o poate schimba. Este context asamblat, adesea trimis neschimbat de mai multe ori.

O regulă locală elimină acel schelet înainte de apelul plătit. Nu creează o a doua factură și nu modifică răspunsul care trebuie totuși generat.

Un recenzor poate numi fiecare cuvânt eliminat și regula care l-a eliminat. Copia marcată le oferă ceva concret de inspectat și de semnat.

Un rezumat lasă doar o judecată de încredere, comparată cu memoria. Propoziția despre care cineva întreabă mai târziu este exact cea care poate fi dispărut.

Scurtarea rulează în procesul care deține deja documentul. Niciun endpoint, coadă de furnizor sau procesor suplimentar nu primește o copie.

Pasul bazat pe reguli rămâne cu codul care gestionează documentul.

Rezultatele stabile fac din documentele repetate intrări utile de cache. Testele verifică ieșirea exactă, nu ceva doar plauzibil.

O diferență între două rulări este apoi o constatare, nu zgomot. Asta oferă unei revizuiri ulterioare de incident o parte fixă și inspectabilă a înregistrării sale.

Comenzile, referințele și textul de eroare citat rămân complet în afara scurtării. Nouă cuvinte englezești care inversează o afirmație sunt și ele protejate.

O comandă copiată rulează în continuare, iar o eroare citată poate fi căutată în continuare. O propoziție nu se poate transforma în liniște în opusul ei la o setare ridicată.

O singură componentă acoperă scrisori atente către clienți și jurnale de mașină brutale. Clasificarea decide dacă o setare a apelantului este chiar relevantă.

Jurnalele, difurile și înregistrările pot fi corectate sau pot urma o rută densă separată. Asta menține achiziția la o singură componentă, nu la mai multe unelte.

Pasul pentru documente respectă atât un plafon, cât și un minim. Minimul său menține un pasaj mai scurt suficient de substanțial pentru a răspunde la întrebare.

Pasul pentru propoziții respectă doar plafonul când fereastra este tot ce contează. Alegerea aparține revizuirii codului, nu unei decizii manuale grăbite.

Componenta decide limba din text, nu din configurarea tenantului. Un prag oprește o citire incertă să aplice regulile greșite.

Fiecare cod recunoscut aduce propriile cuvinte funcționale și substituții. Limbile cu terminații grele sunt reduse la rădăcină înainte de căutare.

Fiecare răspuns al uneltei include octeți la intrare, octeți la ieșire și economisirea rezultată. Propriul tău trafic oferă astfel dovada de la primul apel.

O săptămână de prompturi reale transformă cazul într-o sumă, nu într-o estimare. Niciun sistem separat de monitorizare nu trebuie să măsoare din nou aceeași muncă.

Software-ul elimină umplutura înainte ca un AI să citească un raport lung. Mai mult din ce ai lipit poate încăpea în aceeași cerere.

Funcționează în unealta care deja gestionează raportul. Nimic suplimentar nu este trimis doar pentru a face textul mai scurt.

Un rezumat cere cuiva să decidă ce contează în documentul tău. Regulile fixe elimină doar tipurile de cuvinte scrise pe lista lor.

Poți pune cele două copii una lângă alta și vezi fiecare cuvânt care a dispărut. Asta este mai sigur decât să te încrezi în memorie când o propoziție lipsă contează.

Unele cuvinte lungi sunt schimbate cu un cuvânt mai scurt dintr-un tabel fix. Același cuvânt primește aceeași schimbare în fiecare document.

Rezultatul poate suna tăios, nu lustruit. Sensul rămâne prezent, iar următorul cititor are nevoie de acel sens, nu de formularea formală.

Codurile, linkurile și textul exact de eroare sunt scoase înainte de a începe orice scurtare. Titlurile și rândurile de tabel rămân pe loc din același motiv.

Un singur caracter greșit poate opri o căutare, un formular sau o comandă. Acele referințe revin exact așa cum au fost scrise.

Scurtarea are loc pe mașina care are deja textul. Nicio companie nouă nu primește un document pentru a-l face mai mic.

Același paragraf revine și mâine ca același paragraf mai scurt. Dacă se schimbă, s-a schimbat ceva în intrare sau în reguli, nu o opinie.

Signum deduce limba din cuvintele și literele din mesaj. Nu etichetezi un document și nu îl configurezi înainte de a-l trimite.

Dacă nu este sigur, folosește reguli generale și elimină mai puțin. Terminațiile cad primele în limbile unde ascund cuvântul de dedesubt.

vehicul de înlocuire · exces · acoperire

Signum este o bibliotecă Rust pentru comprimarea deterministă a promptului înainte de un apel LLM. Ea punctează și scurtează contextul în procesul care îl deține deja, returnează același rezultat pentru aceeași intrare și nu face niciun apel de model sau cerere de rețea. Regulile care decid ce se elimină merită citite: Signum publică în a treia rundă a programului de lansare a fundației.