Tokenization : Définition et Exemples

La tokenization (ou tokenisation en français) est l'étape fondamentale par laquelle un modèle d'intelligence artificielle transforme du texte brut en une séquence de tokens, c'est-à-dire des unités numériques qu'il peut traiter. Sans cette étape, un LLM serait incapable de comprendre ou de générer du langage humain.

Contrairement à ce que l'on pourrait penser, un token ne correspond pas toujours à un mot entier. Les algorithmes de tokenization modernes comme BPE (Byte Pair Encoding) ou SentencePiece découpent le texte en sous-unités fréquentes. Par exemple, le mot « incroyablement » pourrait être découpé en « incroyable » + « ment ». Les mots courants comme « le » ou « est » forment généralement un seul token, tandis que les mots rares ou techniques sont fragmentés en plusieurs tokens.

Cette mécanique a des conséquences directes sur l'utilisation des LLM. Le nombre de tokens détermine le coût d'un appel API, la longueur maximale d'une conversation (fenêtre de contexte), et même la qualité des réponses. En règle générale, un token représente environ 3 à 4 caractères en français, soit environ 0,75 mot. Le français consomme donc légèrement plus de tokens que l'anglais pour exprimer la même idée.

Comprendre la tokenization permet d'optimiser ses prompts : réduire le nombre de tokens inutiles, anticiper les limites de contexte, et mieux estimer les coûts. C'est une compétence clé pour tout praticien du prompt engineering qui souhaite travailler efficacement avec les API de modèles de langage.