Self Consistency : Définition et Exemples

La Self Consistency (ou auto-cohérence) est une méthode avancée de prompting introduite par Wang et al. en 2022. Elle repose sur un principe simple mais puissant : plutôt que de se fier à une seule réponse générée par un modèle de langage, on lui demande de produire plusieurs chaînes de raisonnement différentes pour le même problème, puis on retient la réponse qui revient le plus souvent.

Cette approche s'appuie sur l'intuition que si plusieurs chemins de raisonnement indépendants convergent vers la même conclusion, celle-ci a de fortes chances d'être correcte. C'est comparable à demander l'avis de plusieurs experts : si la majorité arrive à la même réponse par des voies différentes, on peut lui accorder davantage de confiance.

Concrètement, la Self Consistency fonctionne en trois étapes. D'abord, on utilise un prompt de type Chain-of-Thought pour encourager le raisonnement étape par étape. Ensuite, on génère plusieurs réponses en augmentant le paramètre de température pour introduire de la diversité dans les raisonnements. Enfin, on applique un vote majoritaire sur les réponses finales pour déterminer la plus cohérente.

Cette technique est particulièrement efficace pour les tâches de raisonnement mathématique, logique et de bon sens, où elle surpasse significativement le Chain-of-Thought classique. Elle permet de réduire les erreurs aléatoires dues à un mauvais chemin de raisonnement, sans nécessiter d'entraînement supplémentaire du modèle.