Pourquoi l’IA compte en tokens et pas en mots

Épisode de Le podcast 100% IA et 100% Comex par Guillaume Vigneron · 29 septembre 2026 · 15 min

Un token est l’une des unités de base utilisées par les intelligences artificielles génératives pour traiter le langage. Contrairement à une idée fréquente, un token n’est pas forcément un mot. Il peut correspondre à un mot entier, à une partie de mot, à quelques caractères ou à un signe de ponctuation. Le découpage dépend du modèle et du système de tokenisation utilisé.

Pour comprendre simplement le principe, on peut imaginer des briques Lego. Le modèle dispose d’une immense boîte contenant des fragments de texte de différentes tailles. Lorsqu’on lui transmet une phrase, un mécanisme appelé tokenizer la démonte en utilisant les briques disponibles. Ces tokens sont ensuite associés à des nombres, puis transformés en représentations mathématiques que le modèle peut traiter. L’IA ne lit donc pas directement une phrase comme un humain : elle traite une séquence de tokens.

Lorsqu’elle génère une réponse, elle fonctionne également token par token. À partir de tout ce qui lui a été fourni, elle calcule quel token pourrait venir ensuite, en sélectionne un, puis recommence l’opération avec ce nouveau contexte. C’est pourquoi on compare parfois les grands modèles de langage à des systèmes d’autocomplétion extrêmement sophistiqués. La comparaison décrit correctement le mécanisme de génération, même si elle ne rend pas compte de toute la complexité des représentations construites par le modèle.

Les tokens sont également importants parce qu’ils servent à mesurer la quantité d’information qu’un modèle peut traiter. On peut comparer sa fenêtre de contexte à un bureau de travail : les instructions, la conversation, les documents et les autres informations nécessaires doivent tenir sur ce bureau. Chaque token en occupe une petite partie. Une grande fenêtre de contexte permet donc de placer davantage d’informations devant le modèle, mais elle ne doit pas être confondue avec une mémoire permanente.

Enfin, les tokens ont une dimension économique. Les fournisseurs d’IA facturent souvent leurs API en fonction du nombre de tokens traités en entrée et générés en sortie. On peut alors comparer les tokens aux unités affichées par un compteur de taxi : plus une application transmet et génère d’informations, plus le compteur tourne. Cette question devient importante pour les entreprises qui déploient des assistants documentaires, des systèmes RAG ou des agents réalisant de nombreux appels successifs.

Le token est donc à la fois une unité de découpage du langage, une unité de traitement et une unité pratique de mesure. Pour un utilisateur occasionnel, son fonctionnement peut rester relativement invisible. Pour concevoir des applications d’IA à grande échelle, il devient en revanche indispensable de comprendre combien de tokens sont transmis, pourquoi ils le sont et lesquels sont réellement utiles.

Contenu généré avec l'aide de l'IA générative

Autres épisodes de « Le podcast 100% IA et 100% Comex »

À propos du podcast

Ce podcast, produit par Guillaume Vigneron, analyse l’impact de l’intelligence artificielle générative sur la gouvernance, la décision et le pilotage des organisations. En moins de 10 minutes par épisode, avec une publication pluri hebdomadaire, il examine les sujets structurants : transformation…

Le podcast 100% IA et 100% Comex

Épisodes similaires

Tous les épisodes de Le podcast 100% IA et 100% Comex · Plus de podcasts Business