Chain Of Verification : Définition et Exemples
Technique de prompting où l'on demande au modèle de générer une réponse initiale, puis de produire des questions de vérification sur cette réponse, d'y répondre indépendamment, et enfin de réviser sa réponse originale en conséquence.
Définition complète
La Chain of Verification (CoVe) est une méthode structurée conçue pour réduire les hallucinations des modèles de langage. Le principe est simple mais puissant : plutôt que de faire confiance aveuglément à une première réponse, on guide le modèle à travers un processus d'auto-vérification systématique en plusieurs étapes.
Le processus se déroule en quatre phases. D'abord, le modèle génère une réponse initiale (baseline response). Ensuite, il formule lui-même des questions de vérification ciblant les affirmations factuelles contenues dans sa réponse. Puis, il répond à chacune de ces questions de manière indépendante, sans être influencé par sa réponse initiale. Enfin, il compare les résultats de cette vérification avec sa réponse originale et produit une version révisée, corrigeant les incohérences détectées.
Cette approche exploite un constat empirique important : les modèles de langage sont souvent plus fiables lorsqu'ils répondent à des questions courtes et ciblées que lorsqu'ils génèrent de longues réponses complexes. En décomposant la vérification en micro-questions, on réduit significativement le risque d'erreurs factuelles et d'hallucinations.
Introduite par des chercheurs de Meta AI en 2023, la Chain of Verification s'inscrit dans la famille des techniques de raisonnement en chaîne (chain-of-thought) mais se distingue par son objectif spécifique de fiabilité factuelle plutôt que de raisonnement logique. Elle est particulièrement utile dans les contextes où la précision des informations est critique.
Étymologie
Le terme combine "Chain" (chaîne), évoquant la séquence d'étapes liées entre elles, et "Verification" (vérification), soulignant l'objectif d'auto-contrôle. Le concept a été formalisé par Dhuliawala et al. dans leur article de recherche chez Meta AI en 2023, s'inspirant des méthodes de chain-of-thought prompting tout en les orientant vers la réduction des hallucinations.
Exemples concrets
Vérification de faits historiques dans une réponse longue
Étape 1 : Cite-moi les 5 événements majeurs de la Révolution française avec leurs dates. Étape 2 : Pour chaque événement et date mentionnés, formule une question de vérification. Étape 3 : Réponds à chaque question de vérification indépendamment. Étape 4 : Compare tes vérifications avec ta réponse initiale et corrige les erreurs.
Fiabilisation d'une recherche technique
Réponds à cette question : Quelles sont les différences entre REST et GraphQL ? Maintenant, identifie 4 affirmations vérifiables dans ta réponse et formule une question pour chacune. Réponds à ces questions séparément, puis révise ta réponse initiale si nécessaire.
Rédaction d'un article avec vérification intégrée
Rédige un paragraphe sur les bienfaits du jeûne intermittent. Ensuite, liste chaque affirmation de santé que tu as faite, vérifie chacune individuellement, et réécris le paragraphe en supprimant ou corrigeant toute affirmation douteuse.
Usage pratique
Pour appliquer la Chain of Verification, structurez votre prompt en quatre blocs distincts : génération, création de questions de vérification, réponses indépendantes, et révision finale. L'étape clé est de s'assurer que les vérifications sont effectuées de manière isolée pour éviter le biais de confirmation. Cette technique est particulièrement recommandée pour tout contenu factuel destiné à être publié ou partagé.
Concepts liés
FAQ
Quelle est la différence entre Chain of Verification et Chain of Thought ?
La Chain of Verification élimine-t-elle totalement les hallucinations ?
Cette technique fonctionne-t-elle avec tous les modèles de langage ?
Voir aussi
Recevez de nouveaux prompts chaque semaine
Rejoignez notre newsletter.