Context Compression for LLMs in Rust | Signum

L-algoritmi jiggruppaw skont it-tip ta' data

Matriċi ta' kapaċitajiet li tista' tiskrollja

Iqsar bir-regola. Lest għall-ispezzjoni.

Meta r-repożitorju jiġi ppubblikat, aqra n-noti tal-implimentazzjoni, ħaddem il-binarju lokali int stess u poġġi r-riżultat ħdejn il-pass li pproduċieh. Signum jasal fit-tielet rawnd tal-programm tar-rilaxx tal-fondazzjoni, bid-dokumentazzjoni tiegħu disponibbli dakinhar stess.

Format dens ta' dejta b'round trips ippubblikati.

Triq limitata minn mistoqsija għal evidenza mis-sorsi.

Mudell minsuġ li jħalli traċċa ħdejn it-tweġiba.

migrazzjoni ma spiċċatx konnessjoni replika waqgħet 30 sekondi.

migrazzjoni konnessjoni replika waqgħet 30

Il-livell imexxi qatgħa numerika minn klassifikazzjoni waħda fissa tal-kliem. Japprofondixxi wkoll il-penalità fuq kliem li jgħaqqad hekk kif l-issettjar jogħla ġewwa l-passaġġ.

Pożizzjonijiet imwaħħla jgħaddu qabel il-baġit tkun xi tkun il-klassifikazzjoni tagħhom. Il-protezzjonijiet li jmiss jispjegaw fejn tgħix il-korrettezza, aktar milli l-preferenza.

Tmien tipi ta' spans isiru rappreżentanti numerati qabel l-ewwel punteġġ. Intestaturi, kwotazzjonijiet, tabelli u linji fenced jinżammu barra bħala linji sħaħ.

Wara l-kompressjoni, il-placeholders jiġu restawrati kemm jekk miktuba normalment kif ukoll b'ittri żgħar. Ir-riżultat jibqa' identiku byte b'byte fejn persuna jew magna jkollha bżonn tistrieħ fuqu.

Il-limitu massimu jingħata qabel ma jistgħu jingħaddu l-bonusijiet ordinarji. L-ebda kombinazzjoni ta' tul, ittri kbar jew rarità ma jilħquh.

Dak jagħmel negazzjoni garanzija aktar milli sopravivenza probabbli. Jimporta kull fejn dikjarazzjoni opposta li tidher nadifa toħloq żball sieket.

L-iskannjar lura jaqbeż kliem żgħir bejn partiċella u l-verb tagħha. Meta jsib azzjoni, iż-żewġ pożizzjonijiet jiksbu piż furzat.

Partiċella waħda ma tikseb xejn u tista' taqa' mal-filler. Dik id-distinzjoni iżżomm "set up" filwaqt li tħalli prepożizzjoni ordinarja tmur.

Disgħa u erbgħin tnaqqis jisparaw mingħajr kuntest qabel ma tibda l-klassifikazzjoni. Sittax-il ieħor jistennew il-kelma li tiġi wara qabel jaġixxu.

Itra kapitali, ċifra, karattru ta' triq jew terminu ddikjarat jiftħu l-bieb. Nom ordinarju jħalli l-frażi mhux mimsusa għax il-klam jibdel.

Proża u kodiċi jużaw il-ħames pożizzjonijiet kollha, filwaqt li output ta' għodda għandu tlieta. Ħames klassijiet iffurmati bil-magna jinżlu f'pożizzjoni waħda mingħajr ma jaqraw id-dial.

Log, diff jew sett ta' rekords għalhekk jipproduċu l-istess riżultat f'kull issettjar tas-sejjieħ. Il-klassifikazzjoni tissetilja t-trattament qabel ma tibda l-kompressjoni.

Pass strutturali jittratta kull linja skont ix-xogħol tagħha. Tabelli u regoli jgħaddu, filwaqt li paragrafi u kortesija jistgħu jitqassru.

Dawra ta' konversazzjoni li fiha evidenza tibqa' sħiħa. Kull sostituzzjoni tinżamm biss meta tkun iżgħar mill-oriġinal.

Il-pass tas-sezzjonijiet jammetti sezzjoni fuq il-limitu massimu filwaqt li jkun taħt il-limitu minimu. Iwaqqaf dokument milli jsir irqiq wisq biex iwieġeb.

Il-pass tas-sentenzi jobdi l-limitu massimu biss u jista' jaqta' ġewwa sezzjoni. Id-dispatcher jipprova r-rotta ta' żewġ limiti l-ewwel.

Kliem markatur jingħadd fuq ħamsa u tletin kodiċi, b'markaturi uniċi jiswew tliet darbiet dawk kondiviżi. Lingwa jkollha bżonn taqbeż limitu qabel japplikaw ir-regoli tagħha.

Ungeriż, Finlandiż u Estonjan jingħataw stem qabel it-tfittxija fejn meħtieġ. Riżultat mhux ċert jaqa' lura għal regoli ġenerali u jneħħi inqas.

Kull stadju jżomm riżultat biss meta juża inqas tokens mill-input tiegħu. Passaġġ qasir jirritorna eżatt kif wasal, mingħajr bidla.

Kompressuri separati jirritornaw l-istess output għax xejn ma jieħu kampjuni. It-testijiet jaffermaw kemm il-limitu tad-daqs kif ukoll ir-ripetibbiltà.

Tneħħija, xebh u leġġibbiltà jappartjenu lill-istess ġirja mkejla. Il-leġġibbiltà tiċċekkja li ffrankar aktar b'saħħtu ma ħassarx il-proża.

Il-korpus kien 5,520 sentenza minn ħamsin dokument tekniku bil-lookup attivat. Korpus differenti jeħtieġ il-kejl tiegħu stess aktar milli wegħda mislufa.

Kull sentenza titqabbel mal-mistoqsija billi tintuża tliet encodings ta' gram. L-overlap ta' kliem ewlieni jiskorja l-bqija.

Nofs jibqgħu, b’minimu ta’ tlieta, u mbagħad jerġgħu lura fl-ordni oriġinali. Silta ta’ inqas minn erba’ sentenzi tibqa’ kif inkitbet.

In-nofs li joħroġ ta’ kont mudell huwa n-nofs li t-tim tiegħek jista’ jibdel. Huwa kuntest miġbur, spiss jintbagħat bla tibdil aktar minn darba.

Regola lokali tneħħi dik l-istruttura qabel is-sejħa mħallsa. Ma toħloqx it-tieni kont u lanqas tbiddel it-tweġiba li xorta trid tiġi ġġenerata.

Reviżur jista’ jsemmi kull kelma mneħħija bir-regola li neħħietha. Il-kopja mmarkata tagħtihom xi ħaġa konkreta biex jeżaminaw u jiffirmaw.

Sommarju jħalli biss ġudizzju li wieħed jafda kontra l-memorja. Is-sentenza li xi ħadd jistaqsi dwarha aktar tard hija preċiżament dik li setgħet sparixxiet.

It-tqassir isir fil-proċess li diġà għandu d-dokument. L-ebda endpoint, kju ta’ fornitur jew proċessur żejjed ma jirċievi kopja.

Il-pass ibbażat fuq ir-regoli jibqa’ mal-kodiċi li jimmaniġġja d-dokument.

Riżultati stabbli jagħmlu dokumenti ripetuti entrati utli fil-cache. It-testijiet jasserixxu output eżatt minflok xi ħaġa sempliċiment plawsibbli.

Differenza bejn żewġ ġirjiet imbagħad issibha bħala sejba, mhux storbju. Dan jagħti lil reviżjoni ta’ inċident aktar tard parti fissa u eżaminabbli tar-rekord tagħha.

Kmandi, referenzi u test ta’ żball kwotat jibqgħu barra mit-tqassir għal kollox. Disa’ kliem Ingliż li jreġġgħu lura stqarrija huma protetti wkoll.

Kmand ikkupjat xorta jibqa’ jaħdem u żball kwotat xorta jista’ jinstab. Sentenza ma tistax tbiddel bil-kwiet fl-oppost tagħha f’livell għoli.

Komponent wieħed ikopri ittri ta’ klijenti bir-reqqa u logijiet ta’ magni ħorox. Il-klassifikazzjoni tiddeċiedi jekk setting ta’ min iċempel huwiex saħansitra rilevanti.

Logijiet, diffs u rekords jistgħu jissewwew jew jieħdu rotta densa separata. Dan iżomm ix-xiri f’komponent wieħed minflok diversi għodod.

Il-pass tad-dokument jonora kemm limitu massimu kif ukoll minimu. Il-minimu tiegħu jżomm silta iqsar sostanzjali biżżejjed biex twieġeb il-mistoqsija.

Il-pass tas-sentenzi jonora l-limitu massimu biss meta l-birqa hija l-unika ħaġa li jimpurtaha. L-għażla tappartjeni fir-reviżjoni tal-kodiċi, mhux f’deċiżjoni manwali mgħaġġla.

Il-komponent jiddeċiedi l-lingwa mit-test, mhux mill-issettjar tal-tenant. Limitu jwaqqaf qari mhux ċert milli japplika r-regoli ħżiena.

Kull kodiċi rikonoxxut iġib il-kliem funzjonali u s-sostituzzjonijiet tiegħu. Lingwi b’truf tqal jiġu stemmati qabel ma jibda t-tiftix.

Kull tweġiba tal-għodda ġġorr bytes ’il ġewwa, bytes ’il barra u l-iffrankar li jirriżulta. It-traffiku tiegħek stess għalhekk jipprovdi l-evidenza mill-ewwel sejħa.

Ġimgħa ta’ prompts reali jibdlu l-każ f’somma minflok stima. L-ebda sistema ta’ monitoraġġ separata ma jkollha tkejjel l-istess xogħol mill-ġdid.

Is-software ineħħi l-mili qabel ma AI taqra rapport twil. Aktar minn dak li waħħalt jista’ jidħol fl-istess talba.

Jaħdem ġewwa l-għodda li diġà qed timmaniġġja r-rapport. Xejn żejjed ma jintbagħat ’il bogħod sempliċiment biex it-test isir iqsar.

Sommarju jitlob lil xi ħaġa tiddeċiedi x’jimporta fid-dokument tiegħek. Regoli fissi jneħħu biss it-tipi ta’ kliem miktuba fil-lista tagħhom.

Tista’ tpoġġi ż-żewġ kopji flimkien u tara kull kelma li marret. Dan huwa aktar sigur milli tafda l-memorja meta sentenza nieqsa jimpurtaha.

Xi kliem twil jinbidel b’kelma iqsar minn tabella fissa. L-istess kelma tirċievi l-istess bidla f’kull dokument.

Ir-riżultat jista’ jinstema’ maqtugħ minflok illustrat. It-tifsira tiegħu tibqa’ preżenti u l-qarrej li jmiss għandu bżonn dik it-tifsira, mhux il-kliem formali.

Kodiċijiet, links u test ta’ żball eżatt jitneħħew qabel ma jibda kwalunkwe tqassir. Intestaturi u ringieli ta’ tabelli jibqgħu f’posthom għall-istess raġuni.

Karattru wieħed ħażin jista’ jwaqqaf tiftix, formola jew kmand milli jaħdmu. Dawk ir-referenzi jerġgħu lura eżatt kif inkiteb.

It-tqassir isir fuq il-magna li diġà għandha t-test. L-ebda kumpanija ġdida ma tirċievi dokument sabiex iżgħar.

L-istess paragrafu jirritorna wkoll l-istess paragrafu iqsar għada. Jekk jinbidel, xi ħaġa nbidlet fl-input jew fir-regoli, mhux opinjoni.

Signum jifhem il-lingwa mill-kliem u l-ittri fil-messaġġ. Ma ttikkettjax dokument jew tikkonfigurah qabel tibgħatu.

Jekk mhux ċert, juża regoli ġenerali u jneħħi inqas. It-truf jitneħħew l-ewwel f’lingwi fejn jaħbu l-kelma taħthom.

Signum hija librerija Rust għall-kompressjoni deterministika tal-prompts qabel sejħa LLM. Hija tiskorja u tqassar il-kuntest fil-proċess li diġà jżommu, tirritorna l-istess riżultat għall-istess input, u ma tagħmel l-ebda sejħa ta' mudell jew talba ta' netwerk. Ir-regoli li jiddeċiedu x'jinqata' jiswew li jinqraw: Signum tippubblika fit-tielet rawnd tal-programm ta' rilaxx tal-fondazzjoni.

Signum jagħti punteġġ lil kull kelma fuq ħames sinjali li jingħaddu: tul, ittri kbar f'nofs sentenza, ċifri, pożizzjoni u rarità fil-qasam tiegħek. Il-livell ibiddel kemm minn dik il-klassifikazzjoni jibqa', qatt ma jbiddel xi tfisser il-passagg.