Accuracy : Définition et Exemples

L'accuracy, ou exactitude en français, est une métrique d'évaluation qui quantifie la capacité d'un modèle d'intelligence artificielle à produire des résultats corrects. Elle se calcule en divisant le nombre de prédictions correctes par le nombre total de prédictions effectuées. Un modèle avec une accuracy de 95 % signifie qu'il donne la bonne réponse 95 fois sur 100.

Dans le contexte des grands modèles de langage (LLM) comme GPT-4 ou Claude, l'accuracy prend une dimension plus nuancée. Contrairement à un classificateur binaire où la réponse est soit juste soit fausse, un LLM génère du texte libre dont la justesse peut être partielle, contextuelle ou subjective. On parle alors d'accuracy factuelle (les faits énoncés sont-ils vérifiables ?), d'accuracy sémantique (le sens de la réponse correspond-il à la question ?) ou d'accuracy logique (le raisonnement est-il cohérent ?).

En prompt engineering, l'accuracy est directement influencée par la qualité des instructions données au modèle. Un prompt vague ou ambigu produira des réponses moins précises, tandis qu'un prompt structuré avec des contraintes claires, des exemples et un format de sortie défini améliorera significativement l'exactitude des résultats. Des techniques comme le Chain-of-Thought, le few-shot prompting ou la vérification croisée permettent d'augmenter l'accuracy de manière mesurable.

Il est important de noter que l'accuracy seule ne suffit pas toujours à évaluer un modèle. Sur des jeux de données déséquilibrés, un modèle peut afficher une accuracy élevée tout en échouant systématiquement sur les cas minoritaires. C'est pourquoi on la complète souvent par d'autres métriques comme la précision, le recall ou le F1-score pour obtenir une vision plus complète de la performance.