Chaque modèle a son écriture la moins chère.

Le JSON paie sa structure, encore et encore.

Un tableau JSON de 1 000 lignes répète ses clés 1 000 fois. Accolades, guillemets, noms de champs, chaînes répétées : l'API facture chacun d'eux, à chaque requête, au prix du token.

Le sens est dans les valeurs. Le volume, c'est surtout de la répétition qu'on peut retirer puis remettre à l'identique. C'est la seule partie que Tokendoo touche.

Quatre transformations, dans l'ordre.

Chaque étape est structurelle et réversible. On ne la garde que si la charge devient plus petite. Si rien n'aide, on émet l'entrée telle quelle et on le dit dans l'en-tête.

{ "sku": "a-114",  "qty": 2 }

{"qty":2,"sku":"a-114"}

{"quantity":2,"status":"active"}

{"0":2,"1":"active"}   k:["quantity","status"]

[{"qty":2,"sku":"a-114"},
 {"qty":1,"sku":"a-115"}]

["__T",["qty","sku"],
 [[2,"a-114"],[1,"a-115"]]]

"eu-west-1" × 40

"0" × 40   v:["eu-west-1"]

Le résultat est une chaîne T3, T388:…, plus un dictionnaire JSON. Les deux comptent dans chaque ratio. Annoncer un gain sans le dictionnaire le surestimerait.

Le codec est gratuit. Savoir comment l'écrire ne l'est pas.

Les transformations tiennent en quatre cents lignes de code déterministe, publiées sous licence Apache 2.0 avec le corpus et le banc de mesure. Servez-vous. Le difficile n'est pas de compresser la charge utile, c'est de choisir les symboles vers lesquels elle est compressée.

Un symbole coûte ce que le tokenizer facture pour lui. Les caractères de contrôle semblaient évidents, un octet chacun, et se sont révélés le pire choix possible : ils ne participent à aucune fusion, donc chacun coûte un token entier sans rien encoder. Dériver les symboles du vocabulaire cible, de sorte que chacun vaille exactement un token, fait mieux encore.

Et la réponse ne se transporte pas. La table dérivée pour cl100k et celle dérivée pour un tokenizer Llama partagent 438 symboles sur 1 377 : deux tiers de l'écriture optimale d'une famille sont faux pour l'autre.

C'est tout le service. Une bibliothèque figée conserve la réponse du jour où elle a été copiée. Chaque famille de modèles qui sort est une colonne à remesurer, et un client qui applique la table de l'an dernier au modèle de cette année le paie sans jamais s'en apercevoir.

Les chiffres sur lesquels on décide.

Comptes cl100k_base exacts sur un corpus synthétique publié, mesuré le 2026-08-07 avec les réglages livrés : alphabet derived_cl100k_v1, repli tabulaire et internement activés, dictionnaire de clés désactivé. Chaque compte de sortie inclut le dictionnaire.

†fixtures de référence, ratio de tokens médian 0,3868. Le corpus et le banc sont dans le dépôt ; relancer le banc reproduit chaque compte.

La dernière ligne, c'est le cas où l'outil ne fait rien. La compression structurelle n'a pas de prise sur la prose, et prose_heavy ressort 0,5 % plus gros. On garde la ligne : c'est le cas où l'outil n'aide pas, on reste transparent.

L'aller-retour est garanti dans le dépôt public : des tests par propriétés exigent que decompress(compress(x)) soit égal à x sur les valeurs JSON.

Installer le crate Rust.

Une ligne dans le manifeste. Le code sur GitHub ; les versions sur crates.io.

cargo add tokendoo

• GitHub
• crates.io

Le branchement qu'on refuse.

# On ne se place jamais devant le fournisseur de modèle.
#   appelant ──(votre clé OpenAI/Anthropic)──▶ tokendoo-proxy ──▶ modèle   ✗
#   appelant ──▶ compress (local) ──▶ vous ──(votre clé)──▶ modèle          ✓
# On ne reçoit jamais votre clé fournisseur.
# On ne voit jamais la réponse du modèle.
# On ne reçoit jamais votre charge utile.

Langage pas encore couvert ? Le codec est publié sous Apache 2.0 : environ quatre cents lignes de code déterministe. Réimplémentez-le. Il n'y aura pas d'API de compression à attendre.

Rien à fuiter, par construction.

La charge utile ne quitte pas la machine. Nous ne la gardons pas, parce que nous ne la recevons jamais.

Le seul appel sortant, c'est le rafraîchissement quotidien des tables, prévu. Il porte une clé de compte et rien d'autre : pas de charge utile, pas de compteurs, pas d'identifiants.

L'avis de confidentialité, c'est cette section.

Il n'y a pas de champ de collage sur cette page, exprès. Un produit fondé sur la non-collecte des charges utiles ne vous demande pas d'envoyer du JSON pour prouver qu'il n'en garde pas.

Ce qui est livré, ce qu'on mesure, ce qui est prévu.

au 2026-08-08

Vous payez les tables à jour, pas la compression.

Prévu. Structure des paliers seulement ; les prix arriveront quand les paliers existeront.

Une bibliothèque locale ne peut pas facturer l'usage honnêtement : un compteur autodéclaré se manipule, et détecter l'usage non déclaré exigerait la télémétrie que nous refusons. L'abonnement vend donc l'accès aux tables d'alphabet, comme les bases GeoIP se vendent, pas les lookups. Le moteur ne casse pas quand les tables vieillissent ; il vieillit. C'est tout l'argument.

Aucune facture ne dépend d'un compte de tokens : la question du tokenizer exact en production se referme.

Nous ne retenons pas une meilleure table à un client payant pour fabriquer de la rétention. L'axe, c'est la couverture, pas la cadence de mise à jour.

Les objections, avant que vous ne les posiez.

Sept questions qui vous sont probablement déjà passées par la tête en lisant nos mesures.

Laissez un e-mail. Nous en envoyons un quand la bibliothèque arrive sur npm et PyPI.

Le crate Rust est publié. Un e-mail quand npm et PyPI seront là, rien avant, rien après.