Million Token Context : Définition et Exemples

Le Million Token Context désigne la capacité d'un modèle d'intelligence artificielle à accepter et traiter environ un million de tokens dans sa fenêtre de contexte. Un token représentant en moyenne 3 à 4 caractères en français, cela équivaut à environ 750 000 mots, soit l'équivalent de plusieurs livres complets ou d'une base de code de grande envergure.

Cette avancée technique représente un saut qualitatif majeur par rapport aux premiers modèles de langage, dont la fenêtre de contexte était limitée à quelques milliers de tokens. Avec un contexte d'un million de tokens, il devient possible de soumettre un document juridique de 500 pages, un dépôt de code complet ou l'intégralité d'une conversation de plusieurs mois sans avoir à découper ou résumer l'information au préalable.

L'intérêt principal réside dans la préservation de la cohérence globale. Lorsqu'un modèle peut « voir » l'ensemble d'un document ou d'un projet en une seule fois, il établit des connexions entre des sections éloignées, détecte des incohérences subtiles et produit des réponses qui tiennent compte de l'intégralité du contexte fourni.

Cependant, un contexte plus large ne signifie pas automatiquement de meilleures performances. La qualité de l'attention du modèle peut varier selon la position de l'information dans la fenêtre, et le coût computationnel augmente significativement. Un bon prompt engineering reste essentiel pour guider le modèle vers les parties pertinentes du contexte.