Long Context Model : Définition et Exemples

Un Long Context Model désigne un modèle d'intelligence artificielle génératif dont la fenêtre de contexte — c'est-à-dire la quantité maximale de texte qu'il peut « voir » simultanément — est significativement étendue par rapport aux modèles traditionnels. Alors que les premiers LLM étaient limités à quelques milliers de tokens (environ 4 000 pour GPT-3), les modèles à long contexte actuels peuvent traiter 128 000, 200 000, voire plus d'un million de tokens en une seule requête.

Cette capacité transforme radicalement les cas d'usage possibles. Un utilisateur peut soumettre un livre entier, une base de code complète, des heures de transcription ou des centaines de documents pour que le modèle les analyse, les résume ou réponde à des questions précises en s'appuyant sur l'ensemble du contenu. Le modèle n'a plus besoin de fragmenter l'information ni de recourir à des systèmes externes de recherche pour accéder aux données pertinentes.

Les avancées techniques qui rendent cela possible incluent des architectures d'attention optimisées (comme l'attention clairsemée ou à fenêtre glissante), des techniques de positionnement relatif des tokens (RoPE, ALiBi) et des optimisations matérielles. Des modèles comme Claude (jusqu'à 200K tokens), Gemini (jusqu'à 2M tokens) ou GPT-4o (128K tokens) illustrent cette tendance.

Pour le prompt engineering, le long contexte ouvre des stratégies inédites : fournir des exemples massifs en few-shot, inclure toute la documentation de référence directement dans le prompt, ou encore demander une analyse croisée de multiples sources sans pipeline de retrieval externe. Cependant, un contexte plus long ne garantit pas une meilleure attention : le placement stratégique des informations clés reste crucial pour obtenir des réponses précises.