Overfitting : Définition et Exemples

L'overfitting, traduit en français par « surapprentissage », est l'un des problèmes les plus courants en apprentissage automatique. Il survient lorsqu'un modèle apprend non seulement les patterns pertinents dans les données d'entraînement, mais aussi le bruit statistique, les anomalies et les particularités propres à cet ensemble de données spécifique. Le résultat : un modèle qui performe remarquablement bien sur les données qu'il a déjà vues, mais qui échoue face à des données inédites.

Pour comprendre intuitivement l'overfitting, imaginez un étudiant qui mémorise mot pour mot les réponses d'un examen passé sans comprendre les concepts sous-jacents. Il obtiendra un score parfait si on lui repose exactement les mêmes questions, mais sera incapable de répondre à des questions formulées différemment sur le même sujet. C'est exactement ce qui se passe avec un modèle en surapprentissage : il « mémorise » au lieu d'« apprendre ».

En prompt engineering, la notion d'overfitting prend une dimension différente mais tout aussi importante. Lorsqu'on optimise un prompt en se basant uniquement sur quelques exemples de test, on risque de créer un prompt qui fonctionne parfaitement pour ces cas précis mais qui échoue sur des cas légèrement différents. On parle alors de « prompt overfitting » : le prompt est trop spécifique et manque de robustesse face à la variété des entrées possibles.

Pour détecter l'overfitting dans un modèle classique, on compare ses performances sur les données d'entraînement et sur un jeu de données de validation séparé. Un écart important entre les deux est un signal d'alarme. Les techniques de régularisation, le dropout, la validation croisée et l'augmentation de données sont autant de stratégies pour lutter contre ce phénomène. En prompt engineering, la meilleure parade consiste à tester ses prompts sur un ensemble large et diversifié de cas d'usage avant de les considérer comme finalisés.