Leaderboard : Définition et Exemples

Un leaderboard (ou tableau de classement) est un outil d'évaluation qui classe les modèles d'intelligence artificielle en fonction de leurs scores sur un ensemble de tests standardisés appelés benchmarks. Ces classements couvrent différentes dimensions : raisonnement logique, génération de code, compréhension du langage naturel, créativité, ou encore suivi d'instructions. Les leaderboards les plus connus incluent Chatbot Arena (anciennement LMSY Arena), MMLU, HumanEval ou encore le classement Open LLM de Hugging Face.

Les leaderboards jouent un rôle central dans l'écosystème de l'IA en offrant une base de comparaison transparente entre les modèles. Ils permettent aux développeurs, chercheurs et entreprises de choisir le modèle le plus adapté à leur cas d'usage. Par exemple, un modèle peut exceller en raisonnement mathématique tout en étant moins performant en rédaction créative — les leaderboards aident à identifier ces forces et faiblesses.

Cependant, les leaderboards ont leurs limites. Un score élevé sur un benchmark ne garantit pas une performance équivalente dans un contexte réel d'utilisation. Certains modèles peuvent être optimisés spécifiquement pour réussir les tests sans que cela reflète une véritable amélioration de leurs capacités — un phénomène appelé « benchmark hacking » ou surapprentissage sur les benchmarks. C'est pourquoi les classements basés sur des votes humains, comme Chatbot Arena, gagnent en popularité car ils reflètent davantage l'expérience utilisateur réelle.

Pour un praticien du prompt engineering, comprendre les leaderboards est essentiel pour sélectionner le bon modèle selon la tâche à accomplir. Un modèle en tête du classement général n'est pas forcément le meilleur choix pour chaque situation : le coût, la latence, la taille du contexte et les performances spécifiques à un domaine sont autant de critères à croiser avec les résultats des leaderboards.