Token Efficient Data Format for LLMs | Dweve HEDL

Choose the audience that matches your question

The page contains three selectable readings of the same subject.

L-algoritmi jiggruppaw skont it-tip ta' data

Matriċi ta' kapaċitajiet li tista' tiskrollja

Orkestrazzjoni multi-aġent b'HEDL matul kollox.

Irkupru ta' inqas minn millisekonda għal prompts aktar sinjuri.

Pipeline ta' parsing b'indirizzar tal-kontenut.

Installa HEDL, imexxi s-server MCP quddiem l-għodod tiegħek, u ara l-użu tat-tokens jinżel. Il-korpus tal-benchmark fir-repożitorju.

L-istess semantika, kodifikazzjoni aktar densa, restawrata eżattament.

Qalba Rust b'żero dipendenzi u l-ebda kodiċi mhux sigur.

L-ebda bejjiegħ fil-mogħdija. Il-konverżjoni taħdem lokalment.

HEDL jitwassal bħala librerija Rust, server MCP, u komponent WASM. Il-parser ewlieni għandu żero dipendenzi u l-ebda kodiċi mhux sigur; il-konverżjoni hija lokali, bidirezzjonali, u mingħajr telf fil-formati appoġġjati.

Il-librerija, is-server MCP, u WASM jesponu l-istess mogħdija ta' konverżjoni mingħajr telf.

Medja fuq 7 settijiet ta' data tal-benchmark.

Pipelines ta' aġenti, irkupru, estrazzjoni bil-lott, kullimkien fejn it-tokens tal-LLM jitħallsu bil-volum. L-iffrankar jakkumula hekk kif il-katina ta' sejħiet tal-għodod titwal. L-istess data tidħol, l-istess tweġibiet joħorġu, l-unika ħaġa li tinbidel hija n-numru fuq il-kont.

Round-trip mingħajr telf fiż-żewġ direzzjonijiet

Parser tal-iskema, encoder pożizzjonali, adapter MCP

Ikkonverti, ivvalida, iċċekkja, ifformattja

Quddiem kwalunkwe għodda, ebda bidla fl-app

Poġġi s-server MCP u l-istack tal-aġent tiegħek jitkellem HEDL upstream u JSON downstream mingħajr ebda bidla fil-kodiċi tal-app. Il-proxy jillogga l-għadd ta' tokens qabel u wara fuq kull talba. Crate Rust, CLI, u build WASM jkopru l-użu embedded u browser.

Imkejjel fuq 571 kompitu ta' estrazzjoni fuq 7 datasets, imħaddem fuq Mistral Large, DeepSeek Chat, u NVIDIA GLM-4.7.

Il-valuri li ridt tibgħat. F'HEDL, kważi kulma jibqa'.

Par ta' kwotazzjonijiet madwar kull string, anki dawk mhux ambigwi.

Braces u brackets li jimmarkaw struttura li l-iskema diġà taf.

L-istess ismijiet tal-kampi, imħallsa mill-ġdid fuq kull rekord.

JSON huwa l-format universali ta' skambju, imma bħala input għal LLM huwa ħela. Ismijiet ta' kampi ripetuti, brackets strutturali, u kwotazzjonijiet madwar kull string huma bytes li tħallas għalihom li ma jġorru l-ebda tifsira. Iżola kull parti hawn taħt biex tara eżattament x'inhu jixtri l-baġit tat-tokens tiegħek.

Ma assummejniex li l-LLMs jifhmu format aktar dens. Ittestjajnieh. F'ġirja waħda mkejla fuq 571 mistoqsija ta' estrazzjoni strutturata fuq 7 datasets tad-dinja reali, HEDL uża 56 fil-mija inqas tokens minn JSON u rrekordja l-ogħla eżattezza fost il-formats f'dik il-ġirja. Ir-riżultat jappartjeni lil dak il-mudell, il-korpus u l-issettjar tat-test.

L-istess rekords, skema ddikjarata darba.

Rekords ta' utenti ċatti, għal kull mistoqsija.

Tokens għal kull mistoqsija, datasets reali

HEDL jiddikjara skema darba, imbagħad jikkodifika rekords b'mod pożizzjonali. L-ebda ismijiet ta' kampji ripetuti. L-ebda parentesi għall-inkapsulament. Strings mingħajr kwotazzjoni b'mod awtomatiku. Agħżel dataset u ara l-għadd ta' tokens jonqos waqt li d-data tibqa' identika. Il-vjaġġ 'l hemm u 'l hawn huwa mingħajr telf.

Imfassal u miżmum fl-Ewropa, bil-konverżjoni taħdem fejn trid tiskjajha.

Il-qalba Rust għandha żero dipendenzi u l-ebda kodiċi mhux sigur.

Ma jċempelx id-dar. Xejn ma jaqsam fruntiera li ma approvajtx.

L-ebda bejjiegħ fil-passaġġ. Il-konverżjoni taħdem lokalment fuq il-magni tiegħek stess.

Il-konverżjoni taħdem fuq il-magni tiegħek stess, f'reġjun tal-UE, jew kompletament offline. HEDL ma jċempelx id-dar u ma jeħtieġ l-ebda servizz estern, għalhekk ir-rekords strutturati jibqgħu fil-konfini li diġà topera fihom.

Neħħi l-proxy u kull sistema downstream tkompli fuq JSON sempliċi.

Għadd reali ta' tokens, irreġistrat għal kull talba.

Fluss tax-xogħol wieħed tal-AI, xejn ieħor ma jintmess.

M'hemmx migrazzjoni kbira x'tippjana. Poġġi l-konvertitur quddiem fluss tax-xogħol wieħed tal-AI, qabbel l-għadd ta' tokens irreġistrati, imbagħad espandi biss fejn it-tfaddil jibqa'. Il-passaġġ huwa riversibbli: neħħi l-proxy u kull sistema downstream tkompli fuq JSON sempliċi.

Neħħi l-konvertitur; databases u rapporti jibqgħu jirċievu JSON ordinarju.

Jikkonverti fit-tarf, għalhekk id-databases u r-rapporti tiegħek qatt ma jinbidlu.

Parquet għal data lakes u Neo4j Cypher għal databases grafiċi, fiż-żewġ direzzjonijiet.

JSON, YAML, XML u CSV, il-forom li ħafna timijiet diġà jiskambjaw kuljum.

Ħadd ma jrid iwaqqa' xejn. HEDL jikkonverti minn u għall-formati li s-sistemi tiegħek diġà jużaw, fiż-żewġ direzzjonijiet, u joqgħod quddiem l-għodod tal-AI tiegħek bħala drop-in wieħed. Il-verżjoni densa teżisti biss fil-vjaġġ lejn il-mudell. Kollox downstream jara l-forom li dejjem ra.

Il-meter jiskala bl-istess rata 'l fuq u 'l isfel, biex tkun tista' taqra ċifra qrib l-użu reali tiegħek.

L-iffrankar huwa sempliċiment it-tokens li HEDL ineħħi. Inqas x'tibgħat ifisser inqas x'tħallas, bl-istess data.

Ir-referenza ppubblikata: servizz b'biljun token fix-xahar jiffranka 1,680 dollaru fix-xahar billi jaqleb minn JSON.

It-tokens jitħallsu bil-volum, u HEDL jibgħat 56 fil-mija inqas minnhom għall-istess data. Agħżel id-daqs li jixbah l-użu tiegħek u ara ċ-ċifri ta' kull xahar u ta' kull sena jinbidlu. Il-punt ta' referenza ppubblikat huwa servizz b'biljun token fix-xahar, li jiffranka 1,680 dollaru fix-xahar.

Kull sejħa tal-AI hija pprezzata bit-token, u ħafna minn dak il-baġit huwa sintassi aktar milli data. HEDL bagħat l-istess talba b'56 fil-mija inqas tokens fil-ġirja mkejla u wera differenza ta' preċiżjoni ta' +10.3pp minn JSON hemmhekk. Dik hija evidenza minn din is-setup, flimkien ma' kont aktar baxx, mingħajr ma jinbidlu s-sistemi downstream.

Il-korpus ta' referenza u l-kontrolli ta' round-trip jagħmlu l-effett viżibbli qabel il-produzzjoni.

Jitkellem JSON sempliċi mal-bqija tal-istack tiegħek. Neħħih u terġa' lura għal JSON, byte b'byte.

Saff kompatt wieħed joqgħod quddiem il-mudell; il-bqija tas-sistemi tiegħek jibqgħu jitkellmu JSON.

HEDL iżid saff wieħed kompatt ta' skambju quddiem il-mudell filwaqt li kull database, rapport, u applikazzjoni jibqgħu jitkellmu JSON. Mexxi l-konverżjoni lokalment, kejjelha fuq fluss ta' xogħol wieħed, u neħħiha mingħajr migrazzjoni tad-data jekk in-numri ma jżommux.

Inqas kliem x'tħallas, bl-istess tweġiba fl-aħħar.

Kull messaġġ kompatt jiġi restawrat u kkontrollat qabel ma tweġiba tilħaqek.

Ibiddel biss kif il-messaġġ jintlewa għall-bgħit.

Qatt ma tara HEDL jew tmissu. Joqgħod wara l-helper.

HEDL huwa biċċa żgħira waħda li tagħmel l-helpers tal-AI irħas biex jitmexxew, mingħajr ma tbiddel dak li jgħidulek lura. Ma tinstallahx, ma twaqqfux, u m'għandekx għalfejn tifhmu. Hawnhekk il-wegħda kollha, f'erba' linji qosra.

Le. Il-messaġġ sħiħ jerġa' jitqiegħed lura qabel ma jintuża.

Il-verżjoni sħiħa terġa' lura kelma b'kelma.

Huwa normali li jkollok mistoqsijiet, u m'hemmx mistoqsijiet iblah. Hawn huma l-ħames li n-nies jistaqsu l-aktar spiss, kull waħda b'tweġiba ċara u xejn moħbi warajha. Tektek mistoqsija biex taqra t-tweġiba.

It-tikketti jinkitbu darba, mhux f'kull linja.

Qatt ma tibda HEDL jew saħansitra tarah. Iżda kull darba li waħda minn dawk l-għajnuniet tal-AI qed tagħmel xogħol għalik, hija hemm bil-kwiet, tagħmel l-għajnuna orħos biex titmexxa. Agħżel mument u ara x'qed tagħmel wara l-kwinti.

Il-messaġġ kompatt jinbidel lura fil-verżjoni sħiħa u jiġi ċċekkjat qabel ma jintuża.

Iva. It-triq qasira tinżel lura fit-triq twila, kelma b'kelma.

Le. It-tifsira tibqa' eżattament l-istess, kull darba.

Le. Qatt ma tarah jew twaqqfu. Jagħmel ix-xogħol tiegħu waħdu.

Aħseb biex tikteb l-istess indirizz fuq mitt envelop. Tista' tiktebha sħiħa kull darba, jew tiktebha darba u żżommha qasira fuq il-bqija. L-ittri xorta jaslu. HEDL jagħmel it-triq qasira għalik, u hawnhekk xi jfisser dan għan-naħa tiegħek.

Ma jitħalla barra xejn, ma jinbidel xejn.

L-istess messaġġ, imqassar fi ftit kliem.

L-ebda kliem tekniku, l-ebda chart. Biss l-idea, kif tispjegaha lil ħabib. HEDL huwa mod iqsar kif il-kompjuters jgħidu l-istess ħaġa lil assistent AI, biex l-istess tweġiba tiswa inqas biex tinkiseb.

HEDL joqgħod quddiem l-għodod tal-AI tiegħek u jibgħat l-istess talbiet b'56 fil-mija inqas tokens filwaqt li jitkellem b'JSON sempliċi mal-bqija tal-istack tiegħek. Xejn ma jinbidel 'l isfel: ir-riżultat huwa kont ta' tokens aktar baxx, differenza ta' preċiżjoni mkejla f'ġirja waħda ta' benchmark, u konverżjoni li tista' taħdem fuq il-magni tiegħek stess mingħajr ma tmexxi data lejn servizz ieħor.

M'għandekx għalfejn tkun taf l-ebda kelma teknika biex issegwi dan. Meta kompjuter jitkellem ma' wieħed minn dawk l-assistenti tal-AI, jibgħat ħafna kliem, u kull kelma titħallas, ftit bħal kont tat-telefon magħdud bil-kliem. HEDL huwa mod biex tgħid eżattament l-istess ħaġa b'ħafna inqas kliem. Ma jitħalla barra xejn, it-tifsira tibqa' l-istess, u t-tweġiba li tirċievi lura ma tinbidilx. Tiswa biss inqas, u qatt ma jkollok tmissha.

Kull sejħa API lil mudell lingwistiku kbir hija pprezzata bit-token. Il-biċċa l-kbira ta' dak il-baġit ta' tokens mhijiex dejta; hija overhead: ismijiet ta' kampijiet ripetuti, parentesi inkapsulati, marki ta' kwotazzjoni madwar kull string. HEDL bagħat eżattament l-istess informazzjoni billi uża 56 fil-mija inqas tokens f'ġirja waħda ta' benchmark fuq 571 kompitu ta' estrazzjoni u 7 datasets, b'differenza ta' preċiżjoni ta' +10.3pp minn JSON f'dik il-ġirja. Poġġi s-server MCP u l-pipeline JSON eżistenti tiegħek tibqa' taħdem eżattament bħal qabel.