Underfitting : Définition et Exemples

L'underfitting est un problème fondamental en apprentissage automatique qui survient lorsqu'un modèle ne parvient pas à apprendre correctement les relations et les structures présentes dans les données d'entraînement. Contrairement à l'overfitting où le modèle mémorise les données, un modèle en underfitting n'a tout simplement pas la capacité ou les ressources nécessaires pour comprendre les patterns sous-jacents.

Ce phénomène peut avoir plusieurs causes : un modèle trop simple (par exemple, utiliser une régression linéaire pour des données non linéaires), un nombre insuffisant de paramètres, un entraînement trop court, ou une régularisation excessive qui contraint trop le modèle. Le résultat est un modèle qui produit des prédictions imprécises et génériques, incapable de distinguer les nuances dans les données.

En prompt engineering, la notion d'underfitting se transpose dans la façon dont on formule ses instructions. Un prompt trop vague ou trop générique peut être vu comme une forme d'underfitting : il ne fournit pas assez de contexte ou de contraintes pour que le modèle de langage produise une réponse précise et adaptée. Tout comme un modèle sous-entraîné, un prompt sous-spécifié génère des résultats superficiels qui ne correspondent pas aux attentes.

Pour détecter l'underfitting, on observe généralement une erreur élevée à la fois sur l'ensemble d'entraînement et sur l'ensemble de test. La solution consiste à augmenter la complexité du modèle, à enrichir les features, à prolonger l'entraînement ou à réduire la régularisation. En prompt engineering, cela revient à enrichir ses prompts avec des exemples, du contexte et des instructions plus détaillées.