Un token est l'unité de texte que manipule un modèle de langage (LLM) : un fragment qui peut être un mot court, une partie de mot, un signe de ponctuation ou un caractère, obtenu en découpant le texte avec un tokenizer avant de le donner au modèle.
Le modèle ne lit pas des lettres ni des mots, mais une suite de tokens, et il génère sa réponse token par token. Le token sert d'unité de mesure partout : la taille de la fenêtre de contexte, la vitesse de génération et la facturation des API, qui distinguent généralement tokens en entrée et tokens en sortie.
Chaque famille de modèles a son propre tokenizer. Une même phrase ne donne donc pas le même nombre de tokens d'un modèle à l'autre. Les tokenizers étant souvent optimisés pour l'anglais, un texte en français ou dans une langue moins représentée consomme en général davantage de tokens, donc coûte plus cher et occupe plus de contexte.
Pourquoi ça compte quand on recrute
Comprendre les tokens est un prérequis pour tout AI Engineer ou LLM Engineer : c'est ce qui permet d'estimer les coûts, la latence et les limites d'une application. Demandez au candidat comment il a réduit la consommation de tokens sur un projet réel (prompts plus courts, cache, choix de modèle). Celui qui n'a jamais regardé une facture d'API n'a probablement pas mis de produit en production.