Μορφή δεδομένων φειδωλή σε token για LLM | Dweve HEDL

Choose the audience that matches your question

The page contains three selectable readings of the same subject.

HEDL. Μια μορφή δεδομένων αποδοτική ως προς τα tokens

Το HEDL (Hierarchical Entity Data Language) είναι μια ανοιχτού κώδικα, αποδοτική ως προς τα tokens μορφή δεδομένων κειμένου υπό Apache 2.0 για LLMs και δομημένες εγγραφές. Ο αναγνώστης, ο συγγραφέας, οι επικυρωτές και οι διακομιστές του σε Rust διατηρούν τη μορφή επιθεωρήσιμη και αναστρέψιμη.

Το HEDL (Hierarchical Entity Data Language) είναι μια ανοιχτού κώδικα, αποδοτική ως προς τα tokens μορφή πίνακα υπό Apache 2.0 για αιτήματα LLM. Ξεκινήστε τοπικά με cargo add hedl· οι επαναλαμβανόμενες ετικέτες εξαφανίζονται ενώ η μετατροπή παραμένει τοπική και αναστρέψιμη. Σε μια μετρημένη εκτέλεση, 500 επίπεδες εγγραφές ήταν 48,7% μικρότερες από το minified JSON.

Το HEDL (Hierarchical Entity Data Language) είναι μια ανοιχτού κώδικα μορφή κειμένου υπό Apache 2.0 για λίστες που αποστέλλονται σε LLMs. Γράφει τις ετικέτες στηλών μία φορά στην κορυφή και στη συνέχεια διατηρεί τα ίδια γεγονότα σε κάθε γραμμή.

Προσθέστε τη βιβλιοθήκη Rust με cargo add hedl ή εγκαταστήστε το CLI με cargo install hedl-cli. Εκτελέστε τον αναγνώστη τοπικά και επιθεωρήστε τα bytes μόνοι σας.

Δοκιμάστε το demo στο πρόγραμμα περιήγησης

Μια αγωγή ανάλυσης με βάση το περιεχόμενο.

Ανάκτηση κάτω του χιλιοστού του δευτερολέπτου για πλουσιότερα prompts.

Ενορχήστρωση πολλαπλών πρακτόρων με HEDL σε όλη τη διαδικασία.

Το σύνολο δεδομένων αναφοράς και η μεθοδολογία περιλαμβάνονται στο αποθετήριο.

περισσότερες σωστές απαντήσεις ανά token από το JSON

Το υψηλότερο είναι καλύτερο. Το HEDL επιστρέφει 2,4 φορές περισσότερες σωστές απαντήσεις ανά token από το JSON.

Το υψηλότερο είναι καλύτερο. Το HEDL εξάγει 80,4%, 10,3 ποσοστιαίες μονάδες πάνω από το JSON.

Το χαμηλότερο είναι καλύτερο. Το HEDL μεταφέρει τις ίδιες απαντήσεις σε 56 τοις εκατό λιγότερα tokens από το JSON.

571 ερωτήσεις, 7 σύνολα δεδομένων, 6 μορφές

JSON · YAML · XML · CSV · Parquet · TOON

48,7% μικρότερο σε σχέση με minified JSON σε αυτή την εκτέλεση

Αμφίδρομη, χωρίς απώλειες μετατροπή. Τα ίδια σημασιολογικά δεδομένα, κωδικοποιημένα πιο πυκνά, επαναφέρονται ακριβώς.

Ένας διαφανής διακομιστής μεσολάβησης. Αφαιρέστε τον και η στοίβα σας επιστρέφει σε απλό JSON, χωρίς μετεγκατάσταση για αναίρεση.

Ο βασικός πυρήνας Rust έχει μηδενικές εξαρτήσεις και κανένα μη ασφαλή κώδικα· τα παρεχόμενα εργαλεία διατηρούν τις εξαρτήσεις χρόνου εκτέλεσης ρητές.

Κανένας πωλητής δεν παρεμβάλλεται στη διαδρομή. Η μετατροπή εκτελείται τοπικά, οπότε τα αρχεία δεν εγκαταλείπουν ποτέ την υποδομή σας.

Και τα δύο γράμματα φτάνουν στο ίδιο μέρος

Μια χούφτα λειτουργίες AI σε σταθερή χρήση.

ίδια δεδομένα, 56 τοις εκατό λιγότερα tokens

Τα στοιχεία ακολουθούν τη δημοσιευμένη αναφορά: μια υπηρεσία με 1B tokens το μήνα εξοικονομεί 1.680 $ το μήνα.

Δεν ξεκινάτε ποτέ εσείς κάτι από αυτά. Συμβαίνει από μόνο του, κάθε φορά που ένας βοηθός εργάζεται, όποιο από αυτά κι αν κάνετε.

Το HEDL αλλάζει μόνο τη μορφή του μηνύματος για το ταξίδι μετάβασης και επιστροφής. Αυτό με το οποίο ξεκινήσατε επιστρέφει ακριβώς το ίδιο, χωρίς να προστεθεί τίποτα και χωρίς να χαθεί τίποτα.

Ζητάτε από τον βοηθό να πάρει κάτι σε μια μορφή και να σας το επιστρέψει σε μια άλλη, τακτοποιημένο και έτοιμο για χρήση.

Μια απλή λίστα επαναλαμβάνει τις ίδιες μικρές ετικέτες σε κάθε γραμμή. Το HEDL γράφει τις ετικέτες μία φορά στην αρχή και μετά μόνο τις καταχωρήσεις, οπότε η λίστα χρειάζεται πολύ λιγότερες λέξεις για να σταλεί.

Ζητάτε από τον βοηθό να διατρέξει μια μεγάλη λίστα, μια λίστα με ονόματα, παραγγελίες ή ραντεβού, και να την τακτοποιήσει.

Ένα μεγάλο έγγραφο είναι πολλές λέξεις για να σταλεί. Διπλωμένο με τον τρόπο του HEDL, χωράει διπλάσιο περιεχόμενο με μία αποστολή, οπότε ο βοηθός βλέπει περισσότερη σελίδα ταυτόχρονα.

Δίνετε στον βοηθό μια μεγάλη επιστολή ή αναφορά και του ζητάτε να εξάγει τα μέρη που σας ενδιαφέρουν.

Πίσω από την κουρτίνα, ο βοηθός έπρεπε πρώτα να διαβάσει πολύ υπόβαθρο. Το HEDL διπλώνει αυτό το υπόβαθρο σε μικρό μέγεθος, ώστε να διαβάζει το ίδιο πράγμα με πολύ λιγότερο όγκο για επεξεργασία.

Πληκτρολογείτε μια ερώτηση σε έναν από αυτούς τους βοηθούς τεχνητής νοημοσύνης και αυτός γράφει πίσω μια απάντηση σε μια στιγμή.

Η ίδια απάντηση, με λιγότερες λέξεις. Μόνο αυτό αλλάζει.

Μπορείς να μετατρέψεις τον σύντομο τρόπο πίσω στον μακρύ ανά πάσα στιγμή, λέξη προς λέξη.

Αναρωτιέσαι αν μπορείς ποτέ να πάρεις πίσω την πλήρη έκδοση αν τη χρειαστείς.

Τίποτα δεν παραλείπεται. Ο σύντομος τρόπος μεταφέρει ακριβώς το ίδιο νόημα με τον μακρύ.

Ανησυχείς ότι το να το πεις πιο σύντομα μπορεί να αφήσει κάτι έξω ή να αλλάξει το νόημα.

Το ίδιο μήνυμα, με πολύ λιγότερες λέξεις, ώστε ο λογαριασμός στο τέλος να είναι μικρότερος.

Κάθε λέξη που διαβάζει ο βοηθός πληρώνεται, ακόμα και οι λέξεις που επαναλαμβάνει ξανά και ξανά.

Μετρημένο μέγεθος αρχείου · 500 επίπεδες εγγραφές

Υπολογιστικά φύλλα και ανάλυση δεδομένων

Βρίσκεται μπροστά από τα εργαλεία AI σας και μετατρέπει στο άκρο. Τα υπάρχοντα συστήματά σας συνεχίζουν να στέλνουν και να λαμβάνουν τις μορφές που ήδη χρησιμοποιούν.

Οι βάσεις δεδομένων, οι αναφορές και τα υπολογιστικά φύλλα σας βλέπουν τα ίδια σχήματα όπως πριν. Η πυκνότερη μορφή υπάρχει μόνο στο ταξίδι προς και από το μοντέλο.

Επτά μορφές εισέρχονται και εξέρχονται μέσω της ίδιας γέφυρας χωρίς απώλειες· η συμπαγής αναπαράσταση υπάρχει μόνο γύρω από την κλήση του μοντέλου.

εισαγωγές και εξαγωγές και προς τις δύο κατευθύνσεις

Μετατρέπει και προς τις δύο κατευθύνσεις

Το μοντέλο λαμβάνει την πυκνή έκδοση. Η στοίβα σας συνεχίζει να μιλά τις μορφές που πάντα μιλούσε.

Ένας ενιαίος μετατροπέας drop-in βρίσκεται μεταξύ των συστημάτων σας και του μοντέλου.

εξοικονομούνται ανά μήνα σε ένα δισεκατομμύριο tokens μεταβαίνοντας από JSON σε HEDL.

σπαταλούνται ανά κλήση API σε επαναλαμβανόμενα κλειδιά για ένα σύνολο δεδομένων 10.000 χρηστών.

Σχήμα μία φορά. Μετά μόνο τα δεδομένα, διαχωρισμένα με κόμμα.

Τώρα πολλαπλασιάστε τα δομικά bytes επί δέκα χιλιάδες εγγραφές.

τοποθετήστε τον δείκτη πάνω σε ένα μέρος για να το απομονώσετε

Οι τιμές που πραγματικά θέλατε να στείλετε. Στο HEDL, αυτό είναι σχεδόν ό,τι απομένει.

Ένα ζεύγος εισαγωγικών που περιβάλλει κάθε συμβολοσειρά, ακόμα και τις μη διφορούμενες.

Άγκιστρα αντικειμένων και αγκύλες πινάκων που επισημαίνουν δομή που το σχήμα ήδη γνωρίζει.

Τα ίδια ονόματα πεδίων, "id", "name", "role", πληρώνονται ξανά σε κάθε μεμονωμένη εγγραφή.

Ένα συμπαγές επίπεδο βρίσκεται μπροστά από το μοντέλο, ενώ το υπόλοιπο σύστημά σας συνεχίζει να μιλάει JSON.

Μιλάει HEDL στο μοντέλο και επιστρέφει απλό JSON στα δικά σας συστήματα, οπότε το υπόλοιπο σύστημά σας δεν αλλάζει. Αφαιρέστε το και είστε ακριβώς εκεί που ξεκινήσατε.

Η μετατροπή μπορεί να εκτελείται στους δικούς σας διακομιστές, σε περιοχή της ΕΕ ή πλήρως εκτός σύνδεσης, χωρίς εξωτερική υπηρεσία στη διαδρομή.

Η μείωση των token, η ακρίβεια των απαντήσεων και οι αναστρέψιμες μετατροπές χωρίς απώλειες μετρώνται σε πραγματικά σύνολα δεδομένων πριν από την κυκλοφορία.

Τοποθετήστε το πριν από μία ροή εργασίας, συγκρίνετε το αποτέλεσμα και επεκτείνετε μόνο εκεί που αποδίδει.

Το HEDL είναι ένα μικρό κομμάτι που κάνει τους βοηθούς τεχνητής νοημοσύνης φθηνότερους στη λειτουργία, χωρίς να αλλάζει αυτά που σου λένε πίσω. Δεν το εγκαθιστάς, δεν το ρυθμίζεις και δεν χρειάζεται να το καταλάβεις. Αυτή είναι η σύντομη εκδοχή του τι υπόσχεται.

Μπορείς να σταματήσεις να ανησυχείς για αυτό το κομμάτι.

Επειδή λέει το ίδιο πράγμα με λιγότερες λέξεις, οι βοηθοί που το χρησιμοποιούν κοστίζουν λιγότερο στη λειτουργία.

Κάθε συμπαγές μήνυμα επαναφέρεται και ελέγχεται πριν το χρησιμοποιήσει ο βοηθός, οπότε τίποτα δεν εξαφανίζεται στην πορεία.

Αλλάζει μόνο τον τρόπο που διπλώνεται το μήνυμα για αποστολή. Το νόημα παραμένει ακριβώς το ίδιο.

Ποτέ δεν βλέπεις το HEDL ούτε το αγγίζεις. Βρίσκεται πίσω από τον βοηθό τεχνητής νοημοσύνης και κάνει τη δουλειά του μόνο του.

Αν εξακολουθείτε να έχετε αμφιβολίες, δεν πειράζει. Δεν χρειάζεται ποτέ να αγγίξετε το HEDL για να κάνει τη δουλειά του.

Πατήστε μια ερώτηση για να διαβάσετε την απλή απάντηση. Δεν υπάρχουν λάθος ερωτήσεις.

Οι ερωτήσεις που κάνουν πρώτα οι άνθρωποι

Οι βοηθοί που χρησιμοποιείτε κοστίζουν χρήματα για να λειτουργούν, και υπολογίζονται λίγο σαν λογαριασμός τηλεφώνου ανά λέξη. Το να λέτε το ίδιο πράγμα με λιγότερες λέξεις σημαίνει μικρότερο λογαριασμό, που κρατά αυτούς τους βοηθούς φθηνότερους στην προσφορά τους.

Κάθε συμπυκνωμένο μήνυμα επαναφέρεται και ελέγχεται πριν χρησιμοποιηθεί. Αν η πλήρης έκδοση δεν επιστρέψει ακριβώς, η μετατροπή αποτυγχάνει αντί να χάνει σιωπηλά μέρος της.

Ναι. Ο σύντομος τρόπος αναδιπλώνεται στον μακρύ όποτε χρειάζεται, λέξη προς λέξη, χωρίς να προστίθεται τίποτα και χωρίς να χάνεται τίποτα. Είναι σαν να διπλώνεις ένα γράμμα για να το ταχυδρομήσεις και μετά να το ξεδιπλώνεις για να το διαβάσεις.

Μπορεί η πλήρης έκδοση να επανέλθει πάντα;

Όχι. Αλλάζει μόνο τον τρόπο που το μήνυμα διπλώνεται για το ταξίδι προς τον βοηθό και πίσω. Το νόημα παραμένει ακριβώς το ίδιο, οπότε η απάντηση που διαβάζετε είναι η απάντηση που θα παίρνατε ούτως ή άλλως.

Θα μπορούσε να αλλάξει την απάντηση που λαμβάνω;

Όχι. Δεν χρειάζεται να κατεβάσετε, να ενεργοποιήσετε ή να μάθετε τίποτα. Το HEDL βρίσκεται πίσω από τους βοηθούς τεχνητής νοημοσύνης που φτιάχνουν άλλοι, και κάνει τη δουλειά του μόνο του. Δεν θα το δείτε ποτέ.