Token Efficient Data Format for LLMs | Dweve HEDL

Algoritmide rühmitamine andmetüübi järgi

HEDL-i kasutamine kogu mitmeagendi orkestreerimise ulatuses.

All-millisekundiline otsing rikkamate päringute jaoks.

Paigalda HEDL, käivita MCP-server oma tööriistade ees ja vaata, kuidas tokenite kasutus langeb. Võrdlusuuringu korpus on repositooriumis.

Sama semantika, tihedam kodeering, taastatakse täpselt.

Eemalda puhverserver ja oled tagasi JSON-is.

Rust-tuum null sõltuvusega ja ilma ohutu koodita.

Vendori pole teel. Teisendus toimub kohalikult.

HEDL tarnitakse Rust-teegina, MCP-serverina ja WASM-komponendina. Põhiparseril on null sõltuvust ja puudub ohutu kood; teisendus on kohalik, kahesuunaline ja kaotusteta kõigi toetatud vormingute puhul.

Teek, MCP-server ja WASM pakuvad sama kaotusteta teisendusteed.

Sisestatav server, null muudatust rakenduses.

Keskmine 7 võrdlusuuringu andmestiku põhjal.

Agenditorustikud, otsing, partiiekstraheerimine, kõikjal, kus LLM-i tokenite eest arveldatakse mahu järgi. Kokkuhoid kasvab, kui tööriistaahelad pikenevad. Sama andmemaht sisse, samad vastused välja, ainus, mis muutub, on number arvel.

Kaotusteta edasi-tagasi teisendus mõlemas suunas

Skeemiparser, positsiooniline kooder, MCP-adapter

Teisenda, valideeri, kontrolli, vorminda

Iga tööriista ees, null muudatust rakenduses

Lisa MCP-server ja sinu agendivõrk räägib ülesvoolu HEDL-i ja allavoolu JSON-i ilma rakenduskoodi muutmata. Proks logib märkide arvu enne ja pärast igat päringut. Rusti crate, CLI ja WASM-komplekt katavad manustatud ja brauseri kasutuse.

Mõõdetud 571 ekstraheerimisülesandel 7 andmestikus, käitatud Mistral Large, DeepSeek Chat ja NVIDIA GLM-4.7 mudelitel.

Väärtused, mida sa tahtsid saata. HEDL-is jääb peaaegu kõik see alles.

Jutumärgid iga stringi ümber, isegi nende ümber, mis on üheselt mõistetavad.

Looged ja nurksulud, mis märgivad struktuuri, mida skeem juba teab.

Samad väljanimed, mille eest makstakse iga kirje juures uuesti.

JSON on universaalne vahetusvorming, kuid LLM-i sisendina on see raiskav. Korduvad väljanimed, struktuuri nurksulud ja jutumärgid iga stringi ümber on baidid, mille eest sa maksad, kuid mis ei kanna tähendust. Eralda iga osa allpool, et näha täpselt, mida sinu märgieelarve ostab.

Keskmine 3 mudeli ja 7 andmestiku lõikes

Me ei eeldanud, et LLM-id mõistavad tihedamat vormingut. Me testisime seda. Ühes mõõdetud käitus, mis hõlmas 571 struktureeritud ekstraheerimisküsimust 7 reaalses andmestikus, kasutas HEDL 56 protsenti vähem märke kui JSON ja saavutas selles käitus suurima täpsuse vormingute seas. Tulemus kuulub sellele mudelile, korpusele ja testiseadistusele.

JSON-ist HEDL-i ja tagasi, bait-baidilt.

Samad kirjed, skeem deklareeritud üks kord.

Märgendeid küsimuse kohta, pärisandmestikud

HEDL deklareerib skeemi ühe korra ja kodeerib kirjed positsiooniliselt. Pole korduvaid väljanimesid. Pesastamiseks pole sulgusid. Sõned on vaikimisi jutumärkideta. Vali andmestik ja vaata, kuidas märgendite arv langeb, samal ajal kui andmed jäävad identseks. Ringkäik on kadudeta.

Kavandatud ja hooldatud Euroopas, teisendus töötab seal, kus iganes sa selle kasutusele võtad.

Rust-i tuum on null sõltuvusega ja ilma ebaturvalise koodita.

See ei helista koju. Miski ei ületa piiri, mida sa ei ole heaks kiitnud.

Pole müüjat teel. Teisendus töötab lokaalselt sinu enda masinatel.

Teisendus töötab sinu enda masinatel, EL-i piirkonnas või täiesti võrguühenduseta. HEDL ei helista koju ega vaja välist teenust, nii et struktureeritud kirjed jäävad piiridesse, mida sa juba haldad.

Eemalda puhverserver ja kõik allavoolu süsteemid jätkavad tavalise JSON-iga.

Päris märgendite arvud, logitud iga päringu kohta.

Pole suurt pauku migratsiooni, mida planeerida. Aseta teisendaja ühe AI-töövoo ette, võrdle logitud märgendite arve, seejärel laienda ainult seal, kus sääst püsib. Tee on pööratav: eemalda puhverserver ja kõik allavoolu süsteemid jätkavad tavalise JSON-iga.

Eemalda teisendaja; andmebaasid ja aruanded saavad jätkuvalt tavalist JSON-i.

See teisendab servas, nii et sinu andmebaasid ja aruanded ei muutu kunagi.

Parquet andmajärvedele ja Neo4j Cypher graafandmebaasidele, mõlemas suunas.

JSON, YAML, XML ja CSV, kujundid, mida enamik meeskondi juba iga päev vahetab.

Keegi ei pea midagi välja rebima. HEDL teisendab vormingutest, mida sinu süsteemid juba kasutavad, ja nendesse, mõlemas suunas, ning istub sinu AI-tööriistade ees ühe asendusena. Tihe versioon eksisteerib ainult teekonnal mudelini. Kõik allavoolu näeb kujundeid, mida see alati nägi.

Mõõdik skaleerub sama kiirusega üles ja alla, nii et saad lugeda näidu, mis on sinu tegelikule kasutusele lähedal.

Sääst on lihtsalt need tokenid, mille HEDL eemaldab. Vähem saata tähendab vähem maksta, sama andmemahu juures.

Avaldatud võrdluspunkt: teenus, mis kasutab miljard tokenit kuus, säästab JSON-ilt üleminekul 1680 dollarit kuus.

Tokenite eest makstakse mahu järgi ja HEDL saadab sama andmemahu puhul neid 56 protsenti vähem. Vali suurus, mis sarnaneb sinu kasutusega, ja vaata, kuidas kuu- ja aastanumbrid muutuvad. Avaldatud võrdluspunkt on teenus, mis kasutab miljard tokenit kuus ja säästab 1680 dollarit kuus.

Rohkem kasutatavaid vastuseid iga kulutatud sendi eest.

Iga AI-kõne hinnatakse tokenite järgi ja suur osa sellest eelarvest on süntaks, mitte andmed. HEDL saatis sama päringu mõõdetud käivituses 56 protsenti vähemate tokenitega ja näitas seal JSON-iga võrreldes +10,3 protsendipunktilist täpsuse erinevust. See on tõend sellest seadistusest, koos väiksema arvega, ilma allavoolu süsteeme muutmata.

Mida see säästab, mida see riski vähendab

Võrdluskorpus ja ringkontrollid teevad efekti nähtavaks enne tootmisse viimist.

See räägib ülejäänud virnaga tavalist JSON-i. Eemalda see ja oled tagasi JSON-is, bait baiдi haaval.

Üks kompaktne kiht asub mudeli ees; ülejäänud süsteemid räägivad edasi JSON-i.

HEDL lisab ühe kompaktse vahetuskihi mudeli ette, samal ajal kui kõik andmebaasid, aruanded ja rakendused räägivad edasi JSON-i. Käivita konversioon lokaalselt, mõõda seda ühel töövoogul ja eemalda see ilma andmemigratsioonita, kui numbrid ei pea paika.

Vähem sõnu, mille eest maksta, sama vastusega lõpus.

Iga kompaktne sõnum taastatakse ja kontrollitakse enne, kui vastus sinuni jõuab.

See muudab ainult seda, kuidas sõnum saatmiseks kokku pannakse.

Sa ei näe HEDL-i ega puuduta seda. See on abilise taga.

HEDL on üks väike osa, mis muudab AI-abiliste käitamise odavamaks, ilma et see muudaks seda, mida nad sulle vastuseks ütlevad. Sa ei installi seda, ei seadista seda ega pea seda mõistma. Siin on kogu lubadus, neljas lühikeses reas.

Ei. Täielik sõnum taastatakse enne kasutamist.

Sa ei installi seda kunagi ega lülita sisse.

On normaalne, et tekib küsimusi, ja rumalaid küsimusi pole olemas. Siin on viis kõige sagedamini küsitud küsimust, igaühele lihtne vastus ja midagi pole peidetud. Puudutage küsimust, et lugeda vastust.

See tuleb tagasi täpselt nii, nagu see algas.

Sildid kirjutatakse üks kord, mitte igale reale.

Sa ei käivita HEDL-i kunagi ega isegi näe seda. Kuid iga kord, kui üks neist AI-abilistest sinu heaks tööd teeb, on see vaikselt kohal, muutes abilise kasutamise odavamaks. Vali hetk ja vaata, mida see kardina taga teeb.

Kompaktne sõnum muudetakse tagasi täisversiooniks ja kontrollitakse enne kasutamist.

Jah. Lühike tee voltib tagasi pikaks teeks, sõna-sõnalt.

Ei. Tähendus jääb iga kord täpselt samaks.

Ei. Sa ei näe seda kunagi ega seadista seda. See teeb oma töö ise.

Mõtle sama aadressi kirjutamisest sajale ümbrikule. Võiksid kirjutada selle iga kord täismahus või kirjutada üks kord ja hoida ülejäänutel lühidalt. Kirjad jõuavad ikkagi kohale. HEDL teeb lühikese tee sinu eest, ja siin on, mida see sinu jaoks tähendab.

Pole tehnilisi sõnu ega graafikuid. Ainult idee, nagu seletaksid seda sõbrale. HEDL on lühem viis, kuidas arvutid saavad AI-abilisele sama asja öelda, nii et sama vastuse saamine maksab vähem.

+10,3 protsendipunkti võrreldes JSON-iga

HEDL seisab sinu AI-tööriistade ees ja saadab samad päringud 56 protsenti vähemate tokenitega, rääkides ülejäänud süsteemiga tavalist JSON-i. Miski allavoolu ei muutu: tulemuseks on väiksem tokenite arve, täpsuse erinevus, mida mõõdeti ühe võrdlusuuringuga, ja teisendus, mis saab töötada sinu enda masinates ilma andmeid teise teenusesse liigutamata.

Sa ei pea teadma ühtegi tehnilist sõna, et sellest aru saada. Kui arvuti räägib ühe nende AI-abilistega, saadab ta palju sõnu ja iga sõna eest makstakse, natuke nagu telefoniarve, mida loetakse sõnade kaupa. HEDL on viis öelda täpselt sama asi palju vähemate sõnadega. Midagi ei jää välja, tähendus jääb samaks ja vastus, mille sa tagasi saad, ei muutu. See lihtsalt maksab vähem ja sa ei pea sellega kunagi tegelema.

Iga suure keelemudeli API-kutse hinnatakse tokenite kaupa. Suurem osa sellest tokenieelarvest ei ole andmed, vaid ülekulu: korduvad väljanimed, pesastatud sulud, jutumärgid iga stringi ümber. HEDL saatis ühes testimises 571 ekstraheerimisülesande ja 7 andmestiku peale täpselt sama info 56 protsenti vähemate tokenitega, olles selles testis JSON-ist +10,3 protsendipunkti täpsem. Ühenda MCP-server ja sinu olemasolev JSON-töövoog töötab edasi täpselt nagu enne.