Instruction Tuning : Définition et Exemples

L'instruction tuning (ou ajustement par instructions) est une étape clé dans l'entraînement des grands modèles de langage (LLM). Après le pré-entraînement sur de vastes corpus de texte, le modèle possède des connaissances linguistiques étendues mais ne sait pas nécessairement répondre de manière utile à une demande précise. L'instruction tuning vient combler ce fossé en exposant le modèle à des milliers d'exemples structurés sous forme « instruction → réponse attendue ».

Concrètement, on constitue un dataset composé de tâches variées : résumer un texte, traduire une phrase, répondre à une question, générer du code, reformuler un paragraphe, etc. Chaque exemple contient une instruction claire et la réponse idéale correspondante. Le modèle apprend ainsi à reconnaître le format d'une consigne et à produire une sortie alignée avec l'intention de l'utilisateur.

L'un des apports majeurs de l'instruction tuning est la généralisation : un modèle entraîné sur un ensemble diversifié de tâches instructées devient capable de suivre des instructions qu'il n'a jamais vues pendant l'entraînement. C'est ce phénomène qui rend les modèles comme ChatGPT, Claude ou Gemini si polyvalents dès leur lancement.

L'instruction tuning se distingue du RLHF (Reinforcement Learning from Human Feedback), qui intervient souvent après et se concentre sur l'alignement des préférences humaines. Les deux techniques sont complémentaires : l'instruction tuning enseigne au modèle à suivre des consignes, tandis que le RLHF affine la qualité et la sûreté des réponses produites.