Perplexité Métrique : Définition et Exemples

La perplexité (perplexity en anglais) est l'une des métriques les plus fondamentales pour évaluer la qualité d'un modèle de langage. Elle quantifie l'incertitude du modèle lorsqu'il doit prédire le mot suivant dans une séquence. Concrètement, une perplexité de 50 signifie que le modèle hésite en moyenne entre 50 mots possibles à chaque position — comme si, à chaque étape, il devait choisir parmi 50 options équiprobables.

Mathématiquement, la perplexité est définie comme l'exponentielle de l'entropie croisée entre la distribution réelle des mots et la distribution prédite par le modèle. Elle se calcule sur un corpus de test : on demande au modèle de prédire chaque token du texte et on mesure la probabilité moyenne qu'il assigne aux tokens corrects. Une perplexité de 1 correspondrait à un modèle parfait qui prédit chaque mot avec certitude absolue.

Dans le contexte du prompt engineering, la perplexité est un indicateur indirect mais précieux. Un prompt bien formulé génère généralement des réponses à plus faible perplexité, car le modèle dispose de suffisamment de contexte pour produire des prédictions cohérentes et confiantes. À l'inverse, un prompt ambigu ou mal structuré peut entraîner une perplexité élevée, signe que le modèle « hésite » et risque de produire des réponses moins pertinentes.

Il est important de noter que la perplexité a ses limites : elle ne mesure pas directement la qualité sémantique ou la pertinence d'une réponse. Un texte très répétitif peut avoir une faible perplexité sans être utile. C'est pourquoi les chercheurs combinent souvent cette métrique avec d'autres évaluations comme le score BLEU, ROUGE ou des évaluations humaines pour obtenir une vision complète des performances d'un modèle.