HEDL a štruktúrované dáta bez nafúknutého JSON
Faktúra ukrytá vo vašich zložených zátvorkách
JSON vyhral, pretože je nudný presne tým správnym spôsobom. Ľudia ho vedia čítať. Stroje ho vedia parsovať. Každý jazyk má naň knižnicu. Ak si dva systémy potrebujú vymeniť objekt a nikto nechce stretnutie o štandardoch, JSON je zvyčajne miesto, kde sa konverzácia skončí. Dobre. Existujú horšie kompromisy. Mnohé z nich majú v názve slovo enterprise.
Problém nie je JSON ako webový formát. Problém je to, čo sa stane, keď JSON pretlačíme do pracovných postupov s jazykovými modelmi a tvárime sa, že náklady sú nulové. Model nevidí uprataný objekt tak, ako ho vidí parser aplikácie. Vidí tokeny. Číta tie isté kľúče znova a znova. Míňa kontext na interpunkciu, opakované názvy polí, obaly, vnorené lešenie a pripomienky štruktúry, ktoré boli známe ešte pred príchodom prvého záznamu.
Tento odpad bol kedysi mierne nepríjemný. Pri systémoch s umelou inteligenciou sa stáva produktovým problémom. Každý opakovaný kľúč súťaží s dôkazmi, inštrukciami, príkladmi, citáciami a skutočným obsahom používateľa. Každý redundantný štrukturálny token je malá daň za užitočnú prácu. Faktúra nehovorí o zbytočných zátvorkách, pretože faktúry nemajú poetiku. Hovorí o tokenoch.
HEDL vychádza z jednoduchého pozorovania: keď je schéma známa, opakovať ju v každom zázname je hlúposť. Deklarujte štruktúru raz. Kódujte záznamy pozične. Zachovajte presnú sémantiku. Konvertujte späť na formáty, ktoré existujúce systémy už očakávajú. Toto nie je protijsonovská ideológia. Je to odmietnutie platiť modelu za to, aby znova a znova čítal tú istú dopravnú značku každých desať metrov.
Toto je dôležité, pretože štruktúrovaná práca s AI nie je len chat. Je to extrakcia, klasifikácia, volania nástrojov, transformácia dát, balíky na kontrolu, zväzky dôkazov, volania MCP, pracovné postupy a agenti, ktorí si celý deň odovzdávajú objekty. Čím vážnejší systém je, tým viac štruktúry potrebuje. Ak je štruktúra vyjadrená čo najrozvláčnejším spôsobom, systém platí za vlastnú disciplínu.
JSON nie je zloduch
Bolo by ľahké, a lenivé, napísať to ako sťažnosť na JSON. JSON má skutočné silné stránky. Je všadeprítomný, dajú sa v ňom hľadať chyby, ľahko sa pretláča cez existujúce nástroje a je dostatočne dobrý pre obrovské množstvo aplikačnej práce. Nejde o to, že JSON je zlý. Ide o to, že JSON sa často používa na miestach, kde prijímajúca strana už pozná tvar, a tam sa opakovanie prestáva byť jasnosťou a začína byť balastom.
Predstavte si úlohu štruktúrovanej extrakcie. Schéma hovorí, že každá odpoveď má názov, zdroj, hodnotu, mieru spoľahlivosti a zdôvodnenie. Teraz si predstavte, že modelu posielate stovky riadkov alebo od neho stovky riadkov dostávate. JSON opakuje tieto názvy polí pre každý objekt. Parser aplikácie to nevníma. Kontext modelu áno. Okno kontextu sa stane dodávkovým vozidlom plným štítkov namiesto tovaru.
HEDL pristupuje k schéme ako k zmluve. Pomenuje polia a typy raz. Záznamy potom nesú hodnoty v poradí. To znie samozrejme, pretože to samozrejmé je. Mnohé efektívne formáty robili podobné kompromisy celé desaťročia. Rozdiel je v tom, že HEDL je zameraný na štruktúrované pracovné postupy orientované na LLM, kde stále záleží na možnosti hľadania chýb človekom, konverzii a kompatibilite s nástrojmi. Nie je to binárny blob hodený cez múr s odkazom veľa šťastia.
Implementácia HEDL zahŕňa podporu knižnice v Ruste, použitie cez CLI, povrchy servera MCP a proxy, WASM, FFI a väzby, plus konverziu do a z bežných formátov. Táto kombinácia je dôležitá. Formát pre pracovné postupy AI nemôže byť iba kompaktný. Musí vstúpiť do chaotického sveta a opustiť ho bez toho, aby sa stal súkromným kultom. Existujúce API stále chcú JSON. Ľudia stále skúmajú dáta. Nástroje stále potrebujú spätné prevody. Formát musí byť hustý bez toho, aby sa stal asociálnym.
Štruktúra ako zmluva
Väčšina zlyhaní AI pri štruktúrovaných dátach nie je dramatická. Sú drobné, čo ich robí ťažšie rešpektovateľnými, kým nestoja skutočné peniaze. Pole sa posunie. Hodnota sa umiestni pod nesprávny kľúč. Model vygeneruje vierohodný objekt s chýbajúcim voliteľným poľom. Parser prijme tvar, ktorý mal odmietnuť. Nadväzujúci nástroj dostane takmer správnu vec, čo je v softvéri najnebezpečnejší druh vecí.
Prístup HEDL založený na schéme je užitočný, pretože robí štruktúru explicitnou skôr, než sa záznamy začnú pohybovať. Schéma nie je voľný návrh promptu. Je to vec, ktorá hovorí čitateľovi, ako interpretovať hodnoty. Záznam je kompaktný, pretože sa nemusí opakovane sám opisovať. Okolité nástroje môžu stále validovať, konvertovať a odovzdávať dáta systémom, ktoré uprednostňujú JSON, YAML, XML, CSV alebo iné bežné formy.
Spätné prevody sú testom, či je formát užitočný alebo iba dôvtipný. Ak JSON vstúpi, HEDL prejde pracovným postupom a JSON vyjde s rovnakou sémantikou, systém získa hustotu bez straty kompatibility. Ak sa význam stratí ticho, formát zlyhal. Správne správanie pod tlakom nie je pokrčiť plecami a odovzdať objekt ďalej. Je to zablokovať, nahlásiť a vynútiť nejednoznačnosť na povrch.
Tu HEDL pekne zapadá vedľa zvyšku stacku Dweve. Ledger sa stará o to, aby prevádzkové udalosti zostali preskúmateľné. AION sa stará o to, aby bolo možné overiť rozhodovacie dôkazy. Trace sa stará o to, aby sa výpočet dal prehrať. HEDL sa stará o to, aby sa štruktúrované dáta dali reprezentovať husto a obnoviť presne. Tieto úlohy sa dotýkajú, ale nie sú rovnakou úlohou. Opäť: menej teplých slov, viac užitočných hraníc.
Benchmark nie je dekorácia
Tvrdenia o výkone okolo infraštruktúry AI sa často píšu ako rybárske príbehy. Číslo sa zväčšuje pri každom rozprávaní. HEDL má konkrétne benchmarkové tvrdenie: 571 úloh štruktúrovanej extrakcie naprieč siedmimi dátovými sadami, o 56 percent menej tokenov ako JSON a zlepšenie presnosti o 10,3 percentuálneho bodu oproti JSON.
Tieto čísla by sa mali čítať ako benchmarkové tvrdenie, nie ako univerzálny fyzikálny zákon. Opisujú nastavenie benchmarku. Neznamenajú, že každý pracovný postup magicky dosiahne rovnaký výsledok. Ale vysvetľujú, prečo formát existuje. Počet tokenov nie je implementačná poznámka pod čiarou v systémoch LLM. Je súčasťou rozhrania. Ak dve reprezentácie nesú rovnaký význam a jedna spaľuje oveľa viac kontextu, ťažšia nie je neutrálna.
Zvýšenie presnosti je obzvlášť zaujímavé. Naznačuje, že prínos nespočíva len v lacnejších promptoch. Čistejšia reprezentácia môže modelu tiež uľahčiť samotnú úlohu. To by nemalo byť prekvapením. Ak model venuje menej pozornosti opakovanému syntaktickému balastu, má viac priestoru na hodnoty a vzťahy. To je rovnaký dôvod, prečo sú dobré formuláre lepšie ako chaotické v ľudskej práci. Človek môže byť bystrý, ale nedávajte mu daňové priznanie vytlačené tlačiarňou, ktorá mala ťažké detstvo.
Je tu širšia dizajnová lekcia. Rozhrania umelej inteligencie by sa nemali posudzovať len podľa toho, či sa s nimi model dokáže vyrovnať. Modely sa dokážu vyrovnať s mnohými zlými rozhraniami. Ľudia tiež dokážu vyniesť nábytok do schodov so zlým úchopom a bez plánu. To z toho nerobí architektúru. Dobré rozhranie umelej inteligencie znižuje zbytočnú prácu, odhaľuje štruktúru, zachováva význam a pri chybnej štruktúre zlyháva nahlas.
Prečo záleží na proxy povrchoch
Formát málokedy uspeje tým, že je čistý. Uspeje tým, že sadne do škaredého stredu. MCP a proxy povrchy HEDL sú dôležité, pretože väčšina organizácií nemôže jednoducho vyhlásiť, že teraz všetko hovorí novou reprezentáciou. Majú existujúce API, dátové úložiská, validačné pravidlá, dashboardy, notebooky a exportné formáty. Nahradiť to všetko kvôli úspore tokenov by bol hrdinský spôsob, ako prísť o priateľov.
Vzor proxy je praktickejší. Nechajte modely a nástroje profitovať z hustej štruktúrovanej reprezentácie tam, kde to má význam. Konvertujte na hranici. Validujte skôr, ako dáta opustia riadenú cestu. Zachovajte downstream kompatibilitu s JSON. Nechajte systémy, ktoré očakávajú JSON, aby dostávali JSON, ale prestaňte nútiť model vláčiť celý tvar JSON cez každý vnútorný krok.
Tu tiež vstupuje do hry správa, potichu a užitočne. Ak proxy validuje štruktúru, môže odmietnuť chybné objekty skôr, ako sa stanú obchodnými faktami. Ak zachováva bezstratový obeh, môže dokázať, že konverzia nezmenila význam. Ak zachováva kompatibilitu s existujúcimi systémami, možno ho zaviesť bez toho, aby sa každá integrácia zmenila na migračný program. Sme Európania. Máme dosť migračných programov. Niektoré z nich majú stále riadiace výbory z roku 2014.
Pre agentové systémy je proxy ešte dôležitejší. Agenti odovzdávajú štruktúrované volania a výsledky cez hranice. Volajú nástroje, prijímajú výstupy, aktualizujú pamäť, vytvárajú artefakty a odovzdávajú stav iným agentom. Hustá reprezentácia s validáciou robí tieto odovzdávky menej plytvavými a menej nejednoznačnými. Nerobí agenta múdrym. Robí obálku menej hlúpou. To je slušný inžiniersky výsledok.
Kde by sa HEDL nemal používať
Každý užitočný nástroj má miesto, kde by sa nemal používať. HEDL nie je náhradou za každý súbor JSON na svete. Ak malý konfiguračný súbor človek raz prečíta a dvakrát do roka upraví, JSON alebo TOML tragédiu prežijú. Ak verejné API potrebuje maximálnu známosť a dátové balíky sú malé, JSON je v poriadku. Ak je schéma skutočne neznáma a ad hoc, kódovanie so schémou nie je správnym východiskovým predpokladom.
HEDL sa stáva zaujímavým, keď sa štruktúra opakuje, objemy sú zmysluplné, kontext modelu je drahý, obehy záležia a nástroje potrebujú kompatibilitu na okrajoch. Preto sú pracovné postupy LLM takým dobrým zápasom. Sedia presne na priesečníku štruktúrovaného zámeru a tokenovej ekonomiky. Tiež majú tendenciu rásť z prototypu do produkcie rýchlejšie, než ktokoľvek plánoval, pretože zrejme sa nikto nepoučil z tejto lekcie, napriek tomu, že celá história softvéru vyzerá v kúte mierne urazene.
Praktická cesta adopcie by preto mala byť úzka. Neprerábajte organizáciu. Vyberte si štruktúrovaný extrakčný pracovný postup. Vyberte si cestu volania nástrojov agenta. Vyberte si hranicu MCP proxy. Merajte spotrebu tokenov, mieru zlyhania, výsledky validácie a vernosť pri spätnom prevode. Ak čísla držia, rozširujte. Ak nedržia, ponechajte si nudné riešenie. Cieľom nie je uctievať formát. Cieľom je prestať platiť za štruktúre, ktorej sa dá vyhnúť.
Ponaučenie
Ponaučenie z HEDL je, že štruktúra nie je zadarmo len preto, že je užitočná. V bežnom softvéri sú opakované kľúče väčšinou nepríjemnosťou. V pracovných postupoch AI sú kontextom, peniazmi, pozornosťou a povrchom zlyhania. Ak je schéma známa, opakovať ju v každom zázname je často najmenej nápaditá dostupná možnosť.
HEDL robí jednoduchú výmenu: deklarujte štruktúru raz, kódujte záznamy husto, zachovajte sémantiku, konvertujte späť, keď treba, a validujte na hranici proxy. Nie je to náhrada JSON ako spoločného jazyka webu. Je to lepšia interná obálka pre štruktúrovanú prácu AI, kde by model mal míňať svoj kontext na význam, nie na čítanie tých istých názvov polí až do tepelnej smrti rozpočtu.
To je užitočný štandard pre infraštruktúru AI. Nie dôvtip pre dôvtip. Nie daň za novotu. Nie formát, ktorý vyžaduje, aby trpel každý ostatný. Dobrá vrstva odstraňuje plytvanie, udržiava zmluvu explicitnú a necháva zvyšok systému fungovať. HEDL si zaslúži svoje miesto, keď sa objekt zmenší bez toho, aby sa význam oslabil.
JSON môže zostať. Neurobil nič zlé. Môže si dokonca dať šálku kávy. Len nemusí sedieť v každom volaní modelu a nosiť rovnakú sadu kľúčov ako človek, ktorý sa sťahuje po jednej lyžičke.