Context Compression for LLMs in Rust | Signum

Trumpesnis pagal taisyklę. Paruoštas patikrai.

Kai saugykla bus paskelbta, perskaitykite įgyvendinimo pastabas, patys paleiskite vietinį dvejetainį failą ir padėkite rezultatą šalia jį sukūrusio teksto. Signum pasirodo trečiame pagrindinės leidybos programos rate, o jo dokumentacija paskelbiama tą pačią dieną.

Tankus duomenų formatas su paskelbtais apvalinimais.

Apribotas kelias nuo klausimo iki pagrįstų įrodymų.

Supintas modelis, paliekantis pėdsaką šalia atsakymo.

migracijos darbas ne baigtas ryšys replika nutrūko 30 sekundžių.

Lygis perkelia skaitinį pjūvį per vieną fiksuotą žodžių reitingą. Jis taip pat gilina bausmę už jungiamuosius žodžius, kai nustatymas didėja tekste.

Prisegtos pozicijos praeina anksčiau už biudžetą, kad ir koks būtų jų reitingas. Tolesnės apsaugos paaiškina, kur gyvena teisingumas, o ne pageidavimas.

Aštuonios tarpatramių rūšys tampa sunumeruotais pakaitalais prieš pirmąjį balą. Antraštės, citatos, lentelės ir atskirtos eilutės išlaikomos kaip visos eilutės.

Po suspaudimo vietos rezervuoti simboliai atkuriami, nesvarbu, ar jie parašyti įprastai, ar mažosiomis raidėmis. Rezultatas lieka baitų lygmenyje identiškas ten, kur žmogus ar mašina turi juo pasikliauti.

Lubos suteikiamos prieš skaičiuojant įprastus priedus. Jokia ilgio, didžiųjų raidžių ar retumo kombinacija jų nepasiekia.

Tai daro neigimą garantija, o ne tikėtinu išlikėliu. Tai svarbu visur, kur švariai atrodantis priešingas teiginys sukurtų tylų klaidą.

Atgalinis nuskaitymas peržengia mažus žodžius tarp dalelytės ir jos veiksmažodžio. Kai randamas veiksmas, abi pozicijos įgyja priverstinį svorį.

Vieniša dalelytė nieko neįgyja ir gali kristi kartu su užpildu. Šis skirtumas išlaiko set up, o įprastam prielinksniui leidžia eiti.

Keturiasdešimt devyni sumažinimai įvyksta be konteksto prieš reitingavimą. Šešiolika kitų laukia kito žodžio, kol veikia.

Didžioji raidė, skaitmuo, kelio simbolis ar deklaruotas terminas atidaro vartus. Įprastas daiktavardis palieka frazę nepakeistą, nes teiginys pasikeistų.

Prose and code use all five positions, while tool output has three. Five machine-shaped classes land at one position without reading the dial.

Žurnalas, skirtumas ar įrašų rinkinys todėl duoda tą patį rezultatą esant bet kokiam skambintojo nustatymui. Klasifikacija nustato tvarkymą prieš prasidedant suspaudimui.

Struktūrinis etapas traktuoja kiekvieną eilutę pagal jos paskirtį. Lentelės ir taisyklės praeina, o pastraipos ir mandagumas gali sutrumpėti.

Pokalbio posūkis, kuriame yra įrodymų, lieka visas. Kiekvienas pakaitalas išlaikomas tik tada, kai jis mažesnis už originalą.

Skyriaus etapas įleidžia skyrių virš lubų, bet žemiau grindų. Tai neleidžia dokumentui tapti per menkam, kad atsakytų.

Sakinio etapas paklūsta tik luboms ir gali kirpti skyriuje. Siuntėjas pirmiausia bando dviejų ribų kelią.

Žymeklio žodžiai skaičiuojami per trisdešimt penkis kodus, o unikalūs žymekliai verti tris kartus daugiau nei bendri. Kalbai reikia peržengti slenkstį, kol jos taisyklės pradedamos taikyti.

Vengrų, suomių ir estų kalbos prieš paiešką kamienuojamos, kai reikia. Neaiškus rezultatas grįžta prie bendrųjų taisyklių ir pašalina mažiau.

Kiekvienas etapas išlaiko rezultatą tik tada, kai jis naudoja mažiau žetonų nei įvestis. Trumpas tekstas grįžta tiksliai toks, koks atėjo, nepakeistas.

Atskiri suspaudėjai grąžina tą patį išvestį, nes niekas neimama pavyzdžių. Testai patvirtina ir dydžio ribą, ir pakartojamumą.

Pašalinimas, panašumas ir skaitomumas priklauso tam pačiam išmatuotam vykdymui. Skaitomumas tikrina, ar stipresnis sutaupymas neiškraipė prozos.

Korpusą sudarė 5 520 sakinių iš penkiasdešimties techninių dokumentų su įjungta paieška. Kitam korpusui reikia savo matavimo, o ne pasiskolinto pažado.

Kiekvienas sakinys lyginamas su užklausa naudojant tris gramų koduotes. Raktažodžių sutapimas įvertina likusią dalį.

Pusė išlieka, su ne mažesne kaip trijų riba, tada grįžta pradine tvarka. Trumpesnis nei keturių sakinių tekstas grąžinamas kaip parašytas.

Išeinanti modelio sąskaitos dalis yra ta dalis, kurią jūsų komanda gali keisti. Tai surinktas kontekstas, dažnai siunčiamas nepakeistas daugiau nei kartą.

Vietinė taisyklė pašalina tą karkasą prieš mokamą skambutį. Ji nesukuria antros sąskaitos ir nekeičia atsakymo, kuris vis tiek turi būti sugeneruotas.

Recenzentas gali įvardyti kiekvieną pašalintą žodį pagal taisyklę, kuri jį pašalino. Pažymėta kopija suteikia jiems ką nors konkretaus peržiūrėti ir patvirtinti.

Santrauka palieka tik sprendimą, kuriuo reikia pasitikėti iš atminties. Sakinys, apie kurį vėliau kas nors klausia, yra būtent tas, kuris galėjo išnykti.

Trumpinimas vyksta procese, kuris jau laiko dokumentą. Joks galutinis taškas, tiekėjo eilė ar papildomas procesorius negauna kopijos.

Taisyklėmis pagrįstas žingsnis lieka su kodu, kuris tvarko dokumentą.

Stabilūs rezultatai daro pakartotinius dokumentus naudingais talpyklos įrašais. Testai patvirtina tikslų išvestį, o ne tik kažką tikėtino.

Skirtumas tarp dviejų paleidimų tada yra radinys, o ne triukšmas. Tai suteikia vėlesnei incidentų peržiūrai vieną fiksuotą, patikrinamą įrašo dalį.

Komandos, nuorodos ir cituojamas klaidos tekstas visiškai nepatenka į trumpinimą. Devyni angliški žodžiai, kurie pakeičia teiginį, taip pat yra apsaugoti.

Nukopijuota komanda vis tiek veikia, o cituojamą klaidą vis tiek galima ieškoti. Sakinys negali tyliai virsti savo priešingybe esant aukštam nustatymui.

Vienas komponentas apima rūpestingus klientų laiškus ir tiesioginius mašinų žurnalus. Klasifikacija nusprendžia, ar skambintojo nustatymas apskritai yra svarbus.

Žurnalai, skirtumai ir įrašai gali būti taisomi arba eiti atskiru tankiu keliu. Tai išlaiko pirkimą viename komponente, o ne keliose priemonėse.

Dokumentų etapas gerbia ir viršutinę ribą, ir minimumą. Jo apatinė riba išlaiko trumpesnį tekstą pakankamai reikšmingą, kad atsakytų į klausimą.

Sakinių etapas gerbia tik viršutinę ribą, kai langas yra vienintelis svarbus dalykas. Pasirinkimas priklauso kodo peržiūrai, o ne skubotam rankiniam sprendimui.

Komponentas nustato kalbą iš teksto, o ne iš nuomotojo sąrankos. Slenkstis neleidžia neaiškiam skaitymui taikyti neteisingų taisyklių.

Kiekviena atpažinta kalba turi savo funkcinius žodžius ir pakeitimus. Kalbos su sudėtingomis galūnėmis yra kamienuojamos prieš pradedant paiešką.

Kiekvienas įrankio atsakymas turi baitus į, baitus iš ir gautą sutaupymą. Todėl jūsų srautas pateikia įrodymus nuo pirmojo skambučio.

Savaitė realių užklausų paverčia atvejį suma, o ne įvertinimu. Jokia atskira stebėjimo sistema neturi matuoti to paties darbo dar kartą.

Programinė įranga pašalina užpildą prieš AI skaitant ilgą ataskaitą. Daugiau to, ką įklijavote, gali tilpti į tą patį užklausą.

Tai veikia įrankio viduje, kuris jau tvarko ataskaitą. Nieko papildomo nesiunčiama tik tam, kad tekstas būtų trumpesnis.

Santrauka prašo kažko nuspręsti, kas svarbu jūsų dokumente. Fiksuotos taisyklės pašalina tik tas žodžių rūšis, kurios yra jų sąraše.

Galite sudėti dvi kopijas ir pamatyti kiekvieną žodį, kuris dingo. Tai saugiau nei pasitikėti atmintimi, kai trūkstamas sakinys yra svarbus.

Kai kurie ilgi žodžiai pakeičiami trumpesniu žodžiu iš fiksuotos lentelės. Tas pats žodis gauna tą patį pakeitimą kiekviename dokumente.

Rezultatas gali skambėti sutrumpintai, o ne išpuoselėtai. Jo prasmė išlieka, o kitam skaitytojui reikia tos prasmės, o ne formalaus formulavimo.

Kodai, nuorodos ir tiksli įspėjimo tekstas yra iškeliami prieš prasidedant bet kokiam trumpinimui. Antraštės ir lentelių eilutės lieka vietoje dėl tos pačios priežasties.

Vienas neteisingas simbolis gali sustabdyti paiešką, formą ar komandą. Tos nuorodos grįžta tiksliai taip, kaip buvo parašytos.

Trumpinimas vyksta mašinoje, kuri jau turi tekstą. Jokia nauja įmonė negauna dokumento, kad jis būtų mažesnis.

Ta pati pastraipa rytoj taip pat grąžina tą patį trumpesnį tekstą. Jei jis keičiasi, kažkas pasikeitė įvestyje ar taisyklėse, o ne nuomonėje.

Signum nustato kalbą iš žodžių ir raidžių žinutėje. Jums nereikia žymėti dokumento ar jo konfigūruoti prieš siunčiant.

Jei jis nėra tikras, jis naudoja bendrąsias taisykles ir pašalina mažiau. Galūnės pirmiausia nukrinta kalbose, kuriose jos slepia žodį po savimi.

pakeitimo transporto priemonė · perteklius · apimtis

Signum yra Rust biblioteka, skirta deterministiniam prompto suspaudimui prieš LLM iškvietimą. Ji įvertina ir sutrumpina kontekstą procese, kuris jį jau turi, grąžina tą patį rezultatą tam pačiam įvesčiui ir neatlieka modelio iškvietimo ar tinklo užklausos. Taisyklės, kurios nusprendžia, kas bus iškirpta, vertos dėmesio: Signum publikuojamas trečiame fondo leidybos programos rate.

„Signum“ įvertina kiekvieną žodį pagal penkis skaičiuojamus signalus: ilgį, didžiąsias raides sakinio viduryje, skaitmenis, padėtį ir retumą jūsų srityje. Lygis keičia, kiek to reitingo išlieka, niekada ne tai, ką reiškia ištrauka.

Penki signalai sudaro balą. Lygis perkelia ribą, maždaug nuo septynių žodžių iš dešimties iki mažiau nei dviejų.

Tas pats įvestis eina tuo pačiu aritmetiniu keliu, todėl rezultatą galima patikrinti ir patvirtinti.