Qu’est-ce qu’un token ?
Un token est l’unité de base du texte avec laquelle travaille un modèle de langage : un mot, un morceau de mot ou un signe de ponctuation. La limite de contexte, la vitesse et le prix d’un modèle se mesurent tous en tokens.
Comment le texte devient des tokens
Chaque famille de modèles a son propre tokenizer, donc un même texte peut donner un nombre de tokens différent selon les modèles. En anglais, un token fait environ quatre caractères en moyenne. Les langues aux mots longs et fléchis demandent en général plus de tokens pour le même contenu, et le code se compte autrement que la prose à cause de l’indentation, des symboles et des longs identifiants.
Tokens d’entrée et de sortie
Les tarifs et les limites traitent différemment les types de tokens.
- Entrée : tout ce qui est envoyé au modèle, y compris instructions, historique, fichiers et résultats d’outils.
- Sortie : la réponse du modèle, généralement facturée plus cher par token que l’entrée.
- Entrée en cache : un préfixe répété lu depuis le cache coûte bien moins.
- Tokens de réflexion : avec les modèles de raisonnement, la réflexion produite avant la réponse compte comme sortie.
Pourquoi les agents utilisent autant de tokens
Un agent de codage renvoie tout le contexte au modèle à chaque tour. Sur une longue session, les fichiers lus, la sortie des tests et l’historique s’accumulent, et chaque nouvelle étape alourdit cette charge. C’est pourquoi l’essentiel de la dépense ne vient pas du code que l’agent écrit mais des fichiers et de la sortie des commandes qu’il lit.
Réduire la consommation
Les plus grosses économies viennent du texte qui n’avait jamais besoin d’atteindre le modèle.
- Raccourcissez les longues sorties de commandes ou ne transmettez que les lignes d’erreur.
- Confiez les petites tâches à un modèle moins cher.
- Démarrez une nouvelle conversation quand le sujet change.
- Désactivez les outils et serveurs MCP que vous n’utilisez pas.
Les tokens dans AgentVera
AgentVera offre des outils pour réduire la consommation de tokens comme pour la mesurer.
- RTK raccourcit la sortie des tests, des builds et de git des agents avant qu’elle n’atteigne le modèle, typiquement 60 à 90 % de tokens en moins.
- Les smart tools suppriment les relectures répétées de Claude Code et les exécutions complètes de tests inutiles.
- Le modèle automatique confie les petites tâches à un modèle moins cher.
- L’onglet AI ROI montre les tokens par tâche réussie, une comparaison de modèles et les tokens économisés ; le coût s’affiche en tokens, pas en argent.
- Économies de tokensProfils de contexte, sorties de commandes raccourcies avec RTK, taille du contexte en direct et auto-compact, activés par défaut pour chaque agent.
- Outils intelligentsÉvite les relectures, les suites de tests complètes et les commandes répétées avant qu’elles n’atteignent le modèle.
- Analyse du ROI de l’IATaux de réussite des agents, tokens par tâche, relances et commits qu’il a fallu corriger après coup.
FAQ
Combien de mots fait un token ?
Il n’y a pas de ratio fixe. En anglais, un token fait environ quatre caractères, soit à peu près les trois quarts d’un mot ; les autres langues et le code en demandent souvent plus.
Pourquoi un même texte coûte-t-il un prix différent selon les modèles ?
Chaque famille de modèles utilise son propre tokenizer et son propre prix par token, donc le nombre comme le tarif peuvent différer.
Comment voir combien de tokens j’utilise ?
Les fournisseurs proposent des outils de comptage de tokens, et les réponses d’API incluent des champs d’usage. Les agents de codage affichent aussi en général la taille du contexte ou l’usage d’une session.
Les tokens comptent-ils avec un abonnement ?
Oui. Même si vous n’êtes pas facturé au token, les limites d’usage se remplissent selon ce que vous utilisez, donc moins de tokens, c’est atteindre la limite plus tard.