Prompt Tuning : Définition et Exemples

Le prompt tuning est une méthode d'adaptation des grands modèles de langage (LLM) qui se distingue du fine-tuning classique par son efficacité et sa légèreté. Au lieu de modifier l'ensemble des milliards de paramètres d'un modèle, on entraîne uniquement un petit vecteur de tokens virtuels — appelés "soft prompts" — qui sont concaténés à l'entrée du modèle. Ces tokens ne correspondent pas à des mots réels du vocabulaire, mais sont des représentations numériques optimisées par rétropropagation pour une tâche spécifique.

Cette approche a été popularisée par l'article de recherche de Google "The Power of Scale for Parameter-Efficient Prompt Tuning" (Lester et al., 2021), qui a démontré que sur des modèles suffisamment grands, le prompt tuning atteint des performances comparables au fine-tuning complet tout en ne modifiant qu'une fraction infime des paramètres (souvent moins de 0,1 %). Cela rend la technique particulièrement intéressante pour les déploiements en production où un même modèle de base doit servir plusieurs tâches différentes.

Concrètement, le prompt tuning fonctionne en trois étapes : on initialise un ensemble de vecteurs d'embedding (les soft prompts), on les place en préfixe de chaque exemple d'entraînement, puis on optimise uniquement ces vecteurs via la descente de gradient tandis que le modèle reste gelé. Le résultat est un fichier de quelques kilo-octets qui encode la "consigne" apprise pour la tâche visée.

Il est important de ne pas confondre le prompt tuning avec le prompt engineering. Le prompt engineering consiste à rédiger manuellement des instructions en langage naturel, tandis que le prompt tuning utilise l'apprentissage automatique pour découvrir des représentations optimales qui ne sont pas interprétables par un humain. Les deux approches sont complémentaires : le prompt engineering est accessible à tous, le prompt tuning nécessite un pipeline d'entraînement mais offre des gains de performance mesurables sur des tâches répétitives.