Token Efficient Data Format for LLMs | Dweve HEDL

Monitoimija-agenttien orkestrointi HEDL:llä koko prosessin ajan.

Alle millisekunnin haku rikkaampia kehotteita varten.

Asenna HEDL, käynnistä MCP-palvelin työkalujesi edessä ja katso, kuinka tokenien käyttö laskee. Vertailuaineisto on repositoriossa.

Sama semantiikka, tiheämpi koodaus, palautetaan tarkasti.

Poista välityspalvelin ja olet takaisin JSON:ssa.

Rust-ydin ilman riippuvuuksia ja ilman turvatonta koodia.

Ei toimittajaa polussa. Muunnos tapahtuu paikallisesti.

HEDL toimitetaan Rust-kirjastona, MCP-palvelimena ja WASM-komponenttina. Ydinjäsentimessä ei ole riippuvuuksia eikä turvatonta koodia; muunnos on paikallinen, kaksisuuntainen ja häviötön tuettujen formaattien välillä.

Kirjasto, MCP-palvelin ja WASM tarjoavat saman häviöttömän muunnospolun.

Valmis palvelin, nolla muutosta sovellukseen.

Agenttiputket, haku, eräpoiminta, missä tahansa LLM-tokenit laskutetaan volyymin mukaan. Säästöt kasvavat, kun työkalujen kutsuketjut pitenevät. Sama data sisään, samat vastaukset ulos, ainoa mikä muuttuu on laskun numero.

Häviötön edestakainen muunnos kumpaankin suuntaan

Skeemajäsennin, paikkakooderi, MCP-sovitin

Minkä tahansa työkalun etuosaan, nolla sovellusmuutosta

Lisää MCP-palvelin ja agenttipinosi puhuu HEDL:iä ylävirtaan ja JSON:ia alavirtaan ilman sovelluskoodin muutosta. Välityspalvelin kirjaa token-määrät ennen ja jälkeen joka pyynnössä. Rust-crate, CLI ja WASM-rakennus kattavat upotetun ja selainkäytön.

Mitattu 571 poimintatehtävällä 7 tietoaineistossa, ajettu Mistral Large, DeepSeek Chat ja NVIDIA GLM-4.7 -malleilla.

Arvot, jotka aioit lähettää. HEDL:ssä lähes kaikki se jää jäljelle.

Lainausmerkkipari jokaisen merkkijonon ympärillä, myös yksiselitteisten.

Aaltosulkeet ja hakasulkeet merkitsemässä rakennetta, jonka skeema jo tietää.

Samat kenttänimet, maksettu uudelleen joka tietueessa.

JSON on universaali vaihtomuoto, mutta LLM-syötteenä se on tuhlaavaista. Toistuvat kenttänimet, rakenteelliset hakasulkeet ja lainausmerkit jokaisen merkkijonon ympärillä ovat tavuja, joista maksat ja jotka eivät kanna merkitystä. Eristä kukin osa alla nähdäksesi tarkalleen, mitä token-budjettisi ostaa.

Emme olettaneet, että LLM:t ymmärtäisivät tiheämmän muodon. Testasimme sen. Yhdessä mitatussa ajossa 571 jäsennellyn poimintakysymyksen yli 7 oikeassa maailman tietoaineistossa HEDL käytti 56 prosenttia vähemmän tokeneita kuin JSON ja sai korkeimman tarkkuuden muotojen joukossa tuossa ajossa. Tulos kuuluu sille mallille, korpukselle ja testiasetelmalle.

JSON HEDL:iksi ja takaisin, tavu tavulta.

Samat tietueet, skeema määritelty kerran.

Tasaiset käyttäjätietueet, kysymyskohtaisesti.

Tokenit kysymystä kohden, oikeat tietoaineistot

HEDL määrittelee scheman kerran ja koodaa tietueet positionaalisesti. Kenttien nimiä ei toisteta. Sisäkkäisyyttä ei merkitä hakasulkeilla. Merkkijonot ovat oletuksena lainaamattomia. Valitse tietoaineisto ja katso, kuinka tokenimäärä laskee, kun data pysyy samana. Muunnos on häviötön.

Suunniteltu ja ylläpidetty Euroopassa, ja muunnos toimii siellä, minne sen otat käyttöön.

Rust-ydin on riippuvuuksista vapaa eikä sisällä unsafe-koodia.

Se ei soita kotiin. Mikään ei ylitä rajaa, jota et ole hyväksynyt.

Ei välittäjää matkassa. Muunnos toimii paikallisesti omilla koneillasi.

Muunnos toimii omilla koneillasi, EU-alueella tai täysin offline-tilassa. HEDL ei soita kotiin eikä tarvitse ulkoista palvelua, joten jäsennellyt tietueet pysyvät sillä alueella, jota jo hallinnoit.

Poista välityspalvelin, ja kaikki alavirran järjestelmät jatkavat tavallisella JSONilla.

Sama suora korvike, siellä missä se kannattaa.

Todelliset tokenimäärät, kirjattu pyyntökohtaisesti.

Yksi tekoälytyönkulku, muuhun ei kosketa.

Ei ole suurta kertamuuttoa suunniteltavaksi. Aseta muunnin yhden tekoälytyönkulun eteen, vertaa kirjattuja tokenimääriä ja laajenna vain sinne, missä säästö pitää. Polku on käännettävä: poista välityspalvelin, ja kaikki alavirran järjestelmät jatkavat tavallisella JSONilla.

Poista muunnin; tietokannat ja raportit saavat edelleen tavallista JSONia.

Se muuntaa reunalla, joten tietokantasi ja raporttisi eivät koskaan muutu.

Parquet datajärviin ja Neo4j Cypher graafitietokantoihin, molempiin suuntiin.

JSON, YAML, XML ja CSV, muodot, joita useimmat tiimit vaihtavat jo päivittäin.

Kenenkään ei tarvitse repiä mitään pois. HEDL muuntaa muotoihin, joita järjestelmäsi jo käyttävät, ja niistä pois, molempiin suuntiin, ja asettuu tekoälytyökalujesi eteen yhtenä suorana korvikkeena. Tiivis versio on olemassa vain matkalla malliin. Kaikki alavirrassa näkee muodot, joita se on aina nähnyt.

Mittari skaalaa samalla nopeudella ylös ja alas, joten voit lukea luvun läheltä todellista käyttöäsi.

Säästö on yksinkertaisesti ne tokenit, jotka HEDL poistaa. Vähemmän lähetettävää tarkoittaa vähemmän maksettavaa, samalla datalla.

Julkaistu vertailukohta: palvelu, joka käyttää miljardi tokenia kuukaudessa, säästää 1 680 dollaria kuukaudessa vaihtamalla JSONista.

Tokenit laskutetaan volyymin mukaan, ja HEDL lähettää 56 prosenttia vähemmän niitä samasta datasta. Valitse koko, joka muistuttaa käyttöäsi, ja katso kuukausi- ja vuosilukujen muuttuvan. Julkaistu vertailukohta on palvelu, joka käyttää miljardi tokenia kuukaudessa ja säästää 1 680 dollaria kuukaudessa.

Enemmän käyttökelpoisia vastauksia joka eurolla.

Jokainen tekoälykutsu hinnoitellaan tokenin mukaan, ja suuri osa budjetista on syntaksia datan sijaan. HEDL lähetti saman pyynnön 56 prosenttia vähemmillä tokeneilla mitatussa ajossa ja osoitti +10,3 prosenttiyksikön tarkkuuseron JSONiin verrattuna. Tämä on todiste tästä asetelmasta, pienemmän laskun ohella, muuttamatta taustajärjestelmiä.

Mitä se säästää, mitä se vähentää riskiä

Vertailukorpus ja round-trip-tarkistukset tekevät vaikutuksen näkyväksi ennen tuotantoa.

Se puhuu tavallista JSONia muulle pinollesi. Poista se, niin olet takaisin JSONissa, tavu tavulta.

Yksi kompakti kerros istuu mallin edessä; muut järjestelmäsi jatkavat JSONin puhumista.

HEDL lisää yhden kompaktin vaihtokerroksen mallin eteen, kun taas jokainen tietokanta, raportti ja sovellus jatkaa JSONin puhumista. Suorita muunnos paikallisesti, mittaa se yhdellä työnkululla ja poista se ilman datan siirtoa, jos luvut eivät pidä.

Vähemmän sanoja maksettavaksi, sama vastaus lopussa.

Jokainen kompakti viesti palautetaan ja tarkistetaan ennen kuin vastaus saavuttaa sinut.

Se muuttaa vain sen, miten viesti taitetaan lähetystä varten.

Et koskaan näe HEDLiä tai kosketa sitä. Se on avustajan takana.

HEDL on yksi pieni osa, joka tekee tekoälyavustajista halvempia käyttää, muuttamatta sitä, mitä ne sanovat sinulle takaisin. Et asenna sitä, et määritä sitä, eikä sinun tarvitse ymmärtää sitä. Tässä on koko lupaus neljässä lyhyessä rivissä.

Ei. Koko viesti palautetaan ennen kuin sitä käytetään.

Et koskaan asenna sitä etkä kytke sitä päälle.

On normaalia, että kysymyksiä herää, eikä tyhmiä kysymyksiä ole. Tässä ovat viisi useimmin kysyttyä kysymystä, joihin jokainen saa selkeän vastauksen ilman mitään piilotettua. Napauta kysymystä lukeaksesi vastauksen.

Se palaa täsmälleen samanlaisena kuin se alkoi.

Tunnisteet kirjoitetaan kerran, ei jokaiselle riville.

Sitä mahtuu kerralla kaksi kertaa enemmän.

Apuohjelma lukee vähemmän vastatakseen sinulle.

Et koskaan käynnistä HEDL:ää etkä edes näe sitä. Mutta aina kun jokin noista tekoälyavustajista tekee työtä puolestasi, se on hiljaa siellä tekemässä avustajan käytöstä halvempaa. Valitse hetki ja katso, mitä se tekee kulissien takana.

Tiivis viesti muutetaan takaisin täydeksi versioksi ja tarkistetaan ennen käyttöä.

Kyllä. Lyhyt tapa taittuu takaisin pitkäksi tavaksi sanasta sanaan.

Ei. Merkitys pysyy täsmälleen samana joka kerta.

Ei. Et koskaan näe sitä etkä määritä sitä. Se tekee työnsä itsestään.

Ajattele saman osoitteen kirjoittamista sataan kirjekuoreen. Voisit kirjoittaa sen joka kerta kokonaan tai kirjoittaa sen kerran ja pitää loput lyhyinä. Kirjeet saapuvat silti. HEDL tekee lyhyen tavan puolestasi, ja tässä on, mitä se tarkoittaa sinun kannaltasi.

Vähemmän sanoja tarkoittaa vähemmän maksettavaa.

Ei teknisiä sanoja, ei kaavioita. Vain idea, niin kuin selittäisit sen ystävälle. HEDL on lyhyempi tapa tietokoneille sanoa sama asia tekoälyavustajalle, joten sama vastaus maksaa vähemmän saada.

+10,3 prosenttiyksikköä verrattuna JSON-keskiarvoon

56 prosenttia vähemmän verrattuna JSONiin

HEDL toimii tekoälytyökalujesi edessä ja lähettää samat pyynnöt 56 prosenttia vähemmillä tokeneilla puhuen samalla tavallista JSONia muulle pinollesi. Mikään ei muutu alavirrassa: tuloksena on pienempi token-lasku, tarkkuusero, joka mitataan yhdessä vertailuajossa, ja muunnos, joka voi toimia omilla koneillasi siirtämättä tietoja toiseen palveluun.

Vähemmän sanoja tarkoittaa pienempää laskua

Sinun ei tarvitse tietää yhtään teknistä sanaa pysyäksesi mukana. Kun tietokone puhuu jollekin noista tekoälyavustajista, se lähettää paljon sanoja, ja jokaisesta sanasta maksetaan, vähän kuin puhelinlasku, jota laskutetaan sanoittain. HEDL on tapa sanoa täsmälleen sama asia paljon vähemmillä sanoilla. Mikään ei jää pois, merkitys pysyy samana, ja saamasi vastaus ei muutu. Se vain maksaa vähemmän, eikä sinun tarvitse koskaan koskea siihen.