Autoregressive Model : Définition et Exemples
Un modèle autorégressif est un type de modèle d'intelligence artificielle qui génère des séquences (texte, code, audio) en prédisant chaque élément suivant à partir des éléments précédemment générés.
Définition complète
Un modèle autorégressif fonctionne selon un principe simple mais puissant : il génère une séquence élément par élément, en utilisant chaque élément déjà produit pour prédire le suivant. Dans le cas des grands modèles de langage (LLM) comme GPT ou Claude, cela signifie que le modèle prédit le prochain token (mot ou sous-mot) en se basant sur tous les tokens précédents.
Concrètement, lorsque vous posez une question à un chatbot IA, le modèle ne génère pas sa réponse d'un seul coup. Il produit un premier mot, puis utilise ce mot (et votre question) pour choisir le deuxième mot, puis utilise les deux premiers mots pour choisir le troisième, et ainsi de suite. C'est pour cette raison que vous voyez souvent le texte apparaître progressivement, mot par mot.
Cette approche séquentielle a des implications importantes. D'une part, elle permet au modèle de produire des textes cohérents et contextuellement pertinents, car chaque nouveau token tient compte de tout ce qui précède. D'autre part, elle introduit une latence proportionnelle à la longueur de la réponse, puisque chaque token nécessite un passage complet dans le réseau de neurones.
Les modèles autorégressifs s'opposent aux modèles dits « non autorégressifs » qui tentent de générer tous les éléments simultanément, sacrifiant souvent la qualité pour la vitesse. La quasi-totalité des LLM actuels (GPT-4, Claude, Gemini, LLaMA) sont autorégressifs, ce qui en fait l'architecture dominante en IA générative textuelle.
Étymologie
Le terme « autorégressif » vient des statistiques et de l'économétrie. « Auto » signifie « soi-même » et « régressif » fait référence à la régression, une méthode statistique de prédiction. Un modèle autorégressif est donc littéralement un modèle qui « régresse sur lui-même » — il utilise ses propres sorties passées comme entrées pour prédire la suite. Le concept existe depuis les années 1920 avec les modèles AR en séries temporelles, bien avant son adoption en intelligence artificielle.
Exemples concrets
Comprendre pourquoi un LLM peut perdre le fil sur de très longues réponses
Explique-moi en 3 paragraphes courts comment fonctionne la photosynthèse. Note : si la réponse dérive, c'est parce que le modèle autorégressif accumule de petites erreurs de prédiction au fil des tokens.
Exploiter la nature autorégressive pour guider la génération étape par étape
Résous ce problème de mathématiques étape par étape. Montre ton raisonnement avant de donner la réponse finale. (Le chain-of-thought fonctionne précisément parce que les tokens de raisonnement influencent les tokens de réponse dans un modèle autorégressif.)
Comprendre les limites de température et d'échantillonnage dans la génération
Génère 3 slogans créatifs pour une marque de café artisanal. (À chaque token, le modèle autorégressif choisit parmi une distribution de probabilités — la température contrôle à quel point ce choix est aléatoire.)
Usage pratique
Comprendre la nature autorégressive des LLM aide à rédiger de meilleurs prompts. Puisque le modèle génère sa réponse séquentiellement, placer les instructions importantes en début de prompt et demander un raisonnement étape par étape (chain-of-thought) améliore significativement la qualité des résultats. Cela explique aussi pourquoi les few-shot examples sont si efficaces : ils conditionnent les premiers tokens générés, qui influencent toute la suite.
Concepts liés
FAQ
Pourquoi les modèles autorégressifs génèrent-ils du texte mot par mot ?
Est-ce que tous les modèles d'IA sont autorégressifs ?
En quoi la nature autorégressive impacte-t-elle mes prompts ?
Voir aussi
Recevez de nouveaux prompts chaque semaine
Rejoignez notre newsletter.