Format tad-Data Effiċjenti fit-Tokens | Dweve HEDL

Choose the audience that matches your question

The page contains three selectable readings of the same subject.

L-algoritmi jiggruppaw skont it-tip ta' data

Matriċi ta' kapaċitajiet li tista' tiskrollja

HEDL. Format ta' dejta effiċjenti fit-tokens

HEDL (Hierarchical Entity Data Language) huwa format ta' dejta testwali b'sors miftuħ u effiċjenti fit-tokens taħt Apache 2.0 għal LLMs u rekords strutturati. Il-qarrej, il-kittieb, il-validaturi u s-servers tiegħu f'Rust iżommu l-format ispezzjonabbli u riversibbli.

HEDL (Hierarchical Entity Data Language) huwa format ta' tabella b'sors miftuħ u effiċjenti fit-tokens taħt Apache 2.0 għal talbiet LLM. Ibda lokalment b'cargo add hedl; it-tikketti ripetuti jisparixxu waqt li l-konverżjoni tibqa' lokali u riversibbli. F'ġirja waħda mkejla, 500 rekord ċatti kienu 48.7% iżgħar minn JSON minifikat.

HEDL (Hierarchical Entity Data Language) huwa format ta' test b'sors miftuħ taħt Apache 2.0 għal listi mibgħuta lil LLMs. Jikteb it-tikketti tal-kolonni darba fil-quċċata, imbagħad iżomm l-istess fatti f'kull ringiela.

Żid il-librerija Rust b'cargo add hedl jew installa l-CLI b'cargo install hedl-cli. Mexxi l-qarrej lokalment u spezzjona l-bajtijiet int stess.

Pipeline ta' parsing b'indirizz tal-kontenut.

Irkupru f'inqas minn millisekonda għal prompts aktar sinjuri.

Orkestrazzjoni b'ħafna aġenti b'HEDL kullimkien.

Il-korp u l-metodoloġija tal-benchmark jitniżżlu fir-repożitorju.

aktar tweġibiet korretti għal kull token minn JSON

Aktar huwa aħjar. HEDL jirritorna 2.4x aktar tweġibiet korretti għal kull token minn JSON.

Aktar huwa aħjar. HEDL jiġbed 80.4%, 10.3 punti 'l fuq minn JSON.

Iqsar huwa aħjar. HEDL iġorr l-istess tweġibiet fi 56 fil-mija inqas tokens minn JSON.

571 mistoqsija, 7 settijiet ta' data, 6 formati

JSON · YAML · XML · CSV · Parquet · TOON

48.7% iżgħar vs JSON minifikat f'din il-ġirja

Bidirezzjonali, konverżjoni mingħajr telf. L-istess semantika tad-dejta, ikkodifikata b'mod aktar dens, restawrata eżattament.

Proxy li jista' jitneħħa. Neħħih u l-istack tiegħek jerġa' lura għal JSON sempliċi, mingħajr migrazzjoni x'tneħħi.

Il-qalba Rust għandha żero dipendenzi u l-ebda kodiċi mhux sikur; l-għodod mibgħuta jżommu d-dipendenzi tar-runtime tagħhom espliċiti.

L-ebda fornitur ma jinsab fil-mogħdija. Il-konverżjoni taħdem lokalment, għalhekk ir-rekords qatt ma jitilqu mill-infrastruttura tiegħek stess.

Ftuħ ta' karatteristiċi tal-AI użati b'mod stabbli.

Estrazzjoni bl-ingrossa mħallsa skont il-volum.

Iċ-ċifri jsegwu r-referenza ppubblikata: servizz b'1B tokens fix-xahar jiffranka $1,680 fix-xahar.

Int qatt ma tibda dan kollu. Jiġri waħdu, kull darba li jkun hemm helper jaħdem, tkun xi tkun waħda minn dawn li tkun qed tagħmel.

HEDL ibiddel biss il-forma tal-messaġġ għall-vjaġġ 'l hemm u lura. Dak li bdejt bih jirritorna eżatt l-istess, mingħajr ma jiżdied xejn u mingħajr ma jintilef xejn.

Int titlob lill-helper biex jieħu xi ħaġa f'forma waħda u jirritornaha f'oħra, pulita u lesta biex tintuża.

Lista sempliċi tirrepeti l-istess tikketti żgħar f'kull linja. HEDL jikteb it-tikketti darba biss fil-quċċata, imbagħad biss l-entrati, biex il-lista tieħu ħafna inqas kliem biex tintbagħat.

Int titlob lill-helper biex jimxi fuq lista twila, lista ta' ismijiet, ordnijiet, jew appuntamenti, u jirranġaha.

Dokument twil huwa ħafna kliem biex jintbagħat. Mitwi bil-mod ta' HEDL, jidħol id-doppju f'daqqa waħda, biex il-helper jara aktar mill-paġna f'daqqa.

Int tagħti lill-helper ittra jew rapport twil u titlob biex joħroġ il-partijiet li jimpurtawk minnhom.

Wara l-kwinti, il-helper kellu jaqra ħafna sfond l-ewwel. HEDL itwi dak l-isfond żgħir, biex jaqra l-istess ħaġa b'ħafna inqas x'tomgħod.

Int ittajpja mistoqsija f'wieħed minn dawk l-AI helpers u jikteb lura tweġiba f'mument.

L-istess tweġiba, imqassra fi ftit kliem. Dak biss jinbidel.

Tista' tibdel it-triq il-qasira lura fit-triq it-twila fi kwalunkwe ħin, kelma b'kelma.

Tistaqsi jekk qatt tistax tikseb lura l-verżjoni sħiħa jekk ikollok bżonnha.

Ma jitħalla barra xejn. It-triq il-qasira ġġorr eżattament l-istess tifsira bħat-triq it-twila.

Tinkwieta li tgħidha iqsar jista' jħalli barra xi ħaġa jew ibiddel it-tifsira.

L-istess messaġġ, imqassar b'ħafna inqas kliem, biex il-kont fl-aħħar ikun iżgħar.

Kull kelma li jaqra l-assistent titħallas, anki l-kliem li jirrepeti għal darba wara l-oħra.

Daqs tal-fajl imkejjel · 500 rekords ċatti

Joqgħod quddiem l-għodod tal-AI tiegħek u jikkonverti fit-tarf. Is-sistemi eżistenti tiegħek jibqgħu jibagħtu u jirċievu l-formati li diġà jużaw.

Id-databases, ir-rapporti, u l-ispreadsheets tiegħek jaraw l-istess forom bħal qabel. Il-format aktar dens jeżisti biss fil-vjaġġ lejn u mill-mudell.

Seba' formati jidħlu u joħorġu mill-istess pont mingħajr telf; ir-rappreżentazzjoni kompatta teżisti biss madwar is-sejħa tal-mudell.

importazzjonijiet u esportazzjonijiet fiż-żewġ direzzjonijiet

Il-mudell jirċievi l-verżjoni densa. Il-ġabra tiegħek tibqa' titkellem il-formati li dejjem għamlet.

Konvertitur wieħed drop-in joqgħod bejn is-sistemi tiegħek u l-mudell.

meħlusin kull xahar b'biljun token billi taqleb il-JSON għal HEDL.

moħlija għal kull sejħa API fuq ċwievet ripetuti għal dataset ta' 10,000 utent.

Skema darba. Imbagħad biss id-dejta, separata b'virgola.

Issa immoltiplika l-bajt strutturali b'għaxart elef rekord.

Il-valuri li verament ridt tibgħat. F'HEDL, dan huwa kważi kulma jibqa'.

Par ta' kwotazzjonijiet madwar kull string, anki dawk mingħajr ambigwità.

Brazzi ta' oġġetti u parentesi ta' arrays li jimmarkaw struttura li l-iskema diġà taf.

L-istess ismijiet tal-kampi, "id", "name", "role", imħallsa għal darb'oħra fuq kull rekord.

Saff kompatt wieħed joqgħod qabel il-mudell filwaqt li l-bqija tal-istack tiegħek ikompli jitkellem bil-JSON.

Jitkellem bil-HEDL mal-mudell u bil-JSON sempliċi lura lejn is-sistemi tiegħek, għalhekk il-bqija tal-istack tiegħek ma jinbidilx. Ħudha 'l barra u tkun eżatt fejn bdejt.

Il-konverżjoni tista' taħdem fuq il-magni tiegħek, f'reġjun tal-UE, jew kompletament offline mingħajr servizz estern fil-passaġġ.

It-tnaqqis tat-tokens, l-eżattezza tat-tweġibiet, u ċ-ċikli mingħajr telf jitkejlu fuq settijiet ta' dejta reali qabel it-tnedija.

Daħħalha qabel fluss tax-xogħol wieħed, qabbel ir-riżultat, u mbagħad espandi biss fejn jiswa.

HEDL huwa biċċa żgħira waħda li tagħmel l-għajnuna tal-AI irħas biex jitħaddmu, mingħajr ma tbiddel dak li jgħidulek lura. Int ma tinstallahx, ma twaqqfux, u m'għandekx għalfejn tifhmu. Hawnhekk hawn il-verżjoni qasira ta' dak li jwiegħed.

Tista' tieqaf tinkwieta dwar din il-parti.

Għax jgħid l-istess ħaġa fi ftit kliem, l-għajnuna li jużawh jiswew inqas biex jitħaddmu.

Kull messaġġ kompatt jiġi restawrat u ċċekkjat qabel ma l-għajnuna jużah, sabiex xejn ma jisparixxi fit-triq.

Ibiddel biss kif il-messaġġ jintlewa biex jintbagħat. It-tifsira tinżamm eżattament l-istess.

Qatt ma tara HEDL jew tmissu. Joqgħod wara l-għajnuna tal-AI u jagħmel ix-xogħol tiegħu waħdu.

Jekk xorta ma tkunx ċert, dak huwa sew. Qatt ma jkollok tmiss lil HEDL biex jagħmel ix-xogħol tiegħu.

Agħfas fuq mistoqsija biex taqra t-tweġiba ċara. M'hemm l-ebda mistoqsija ħażina li tista' ssir.

Il-mistoqsijiet li n-nies jagħmlu l-ewwel

L-għajnuna li tuża jiswew flus biex jitħaddmu, jingħaddu ftit bħal kont tat-telefon bil-kelma. Li tgħid l-istess ħaġa b'inqas kliem ifisser kont iżgħar, li jżomm dawn l-għajnuna irħas biex joffruhom.

Kull messaġġ kompatt jiġi rrestawrat u kkontrollat qabel ma jintuża. Jekk il-verżjoni sħiħa ma terġax lura eżattament, il-konverżjoni tfalli minflok ma titfa' parti minnu bil-kwiet.

Iva. It-triq qasira tinżel lura fit-triq twila kull meta jkollha bżonn, kelma b'kelma, mingħajr ma jiżdied xejn u mingħajr ma jintilef xejn. Huwa bħal li tittinja ittra biex tibgħatha, imbagħad tiftaħha biex taqraha.

Il-verżjoni sħiħa dejjem tista' terġa' tinġieb lura?

Le. Ibiddel biss kif il-messaġġ jittinja għall-vjaġġ lejn l-għajnuna u lura. It-tifsira tinżamm eżattament l-istess, għalhekk it-tweġiba li taqra hija t-tweġiba li kont tirċievi xorta waħda.

Jista' jbiddel it-tweġiba li nirċievi lura?

Le. M'hemm xejn għalik biex tniżżel, tixgħel, jew titgħallem. HEDL joqgħod wara l-għajnuna tal-AI li jibnu nies oħra, u jagħmel ix-xogħol tiegħu waħdu. Qatt ma tarah.

Għandi bżonn ninstalla jew nissettja xi ħaġa?

Ma għandekx bżonn tinstalla xejn jew tifhem minn dan kollu. Jaħdem bil-kwiet fl-isfond, biex l-għajnuniet li tuża jiswew inqas u jibqgħu ċari daqstant ieħor.

Immaġina li tikteb l-istess indirizz fuq mitt envelop. Tista' tikteb l-indirizz sħiħ kull darba. Jew tista' tiktebu darba waħda, u mbagħad biss in-numru tad-dar fuq il-bqija. L-ittri xorta jaslu. Int sempliċement ktibt inqas. Dik hija l-idea kollha wara HEDL.

Tista' tibdel il-mod qasir lura għall-mod twil meta trid, kelma b'kelma, mingħajr ma jinbidel xejn. Bħal meta t-tinja ittra biex tidħol f'envelop, u mbagħad tiftaħha aktar tard biex taqraha.

Kull kelma mibgħuta lil għajnuna tal-AI titħallas, ftit bħal kont tat-telefon magħdud bil-kliem. Li tgħid l-istess ħaġa b'inqas kliem ifisser kont iżgħar, bl-istess tweġiba fl-aħħar.

Meta kompjuter jitkellem ma' waħda minn dawn l-għajnuniet tal-AI, jibgħat ħafna kliem. HEDL huwa mod kif tgħid eżattament l-istess ħaġa b'ħafna inqas kliem. Xejn ma jitħalla barra, sempliċement jingħad b'mod aktar ċar.