BLEU Score : Définition et Exemples

Le BLEU Score est l'une des métriques les plus utilisées en traitement automatique du langage naturel (NLP) pour évaluer la qualité des textes produits par des systèmes de traduction automatique ou de génération de texte. Développé par Kishore Papineni et son équipe chez IBM en 2002, il mesure le degré de chevauchement entre un texte candidat (généré par la machine) et un ou plusieurs textes de référence (produits par des humains).

Concrètement, le BLEU Score fonctionne en comparant des séquences de mots (appelées n-grammes) entre le texte généré et les références. Il calcule la précision des n-grammes : combien de groupes de 1 mot (unigrammes), 2 mots (bigrammes), 3 mots (trigrammes) et 4 mots (quadrigrammes) du texte candidat se retrouvent dans les références. Le score final combine ces précisions avec une pénalité de brièveté qui sanctionne les textes trop courts par rapport aux références.

Le score varie de 0 à 1 (souvent exprimé en pourcentage de 0 à 100). Un score de 1 signifie une correspondance parfaite avec la référence, ce qui est extrêmement rare en pratique. En traduction automatique, un score BLEU supérieur à 30 est généralement considéré comme acceptable, et au-delà de 50 comme très bon. Il est important de noter que le BLEU Score mesure principalement la fidélité lexicale et ne capture pas nécessairement la fluidité, le sens ou la qualité stylistique d'un texte.

Dans le contexte du prompt engineering, comprendre le BLEU Score permet d'évaluer objectivement si les réponses d'un modèle de langage correspondent aux résultats attendus. C'est particulièrement utile lorsqu'on itère sur des prompts pour des tâches de traduction, de résumé ou de reformulation, car il fournit un indicateur chiffré pour comparer différentes versions de prompts entre elles.