Program Of Thought : Définition et Exemples

Le Program of Thought (PoT) est une méthode de prompting avancée introduite par Chen et al. en 2022, qui sépare le raisonnement de l'exécution des calculs. Plutôt que de demander au modèle de résoudre un problème étape par étape en langage naturel (comme dans le Chain of Thought), on lui demande de générer un programme — généralement en Python — qui encode la logique de résolution. Ce programme est ensuite exécuté par un interpréteur externe pour obtenir la réponse finale.

L'intuition derrière cette approche est simple : les modèles de langage sont excellents pour comprendre un problème et formuler une stratégie de résolution, mais ils commettent fréquemment des erreurs de calcul arithmétique ou logique. En déléguant l'exécution à un interpréteur de code, on combine le meilleur des deux mondes — la compréhension linguistique du LLM et la précision computationnelle d'un moteur d'exécution.

Le PoT s'est révélé particulièrement efficace sur les benchmarks de raisonnement mathématique comme GSM8K et AQuA, où il surpasse significativement le Chain of Thought classique. Il excelle également dans les problèmes impliquant des itérations, des structures de données complexes ou des calculs financiers — des domaines où le raisonnement en langage naturel atteint ses limites.

Cette technique s'inscrit dans un mouvement plus large d'augmentation des LLM par des outils externes. Elle est aujourd'hui intégrée nativement dans plusieurs frameworks d'agents IA et constitue l'un des fondements de l'approche « code as reasoning » qui gagne en popularité dans la communauté.