Beam Search : Définition et Exemples

Le Beam Search (recherche en faisceau) est une stratégie de décodage heuristique utilisée lors de la génération de texte par les modèles de langage. Plutôt que de choisir uniquement le mot le plus probable à chaque étape (approche gloutonne), l'algorithme maintient en parallèle plusieurs hypothèses partielles appelées "faisceaux" (beams), ce qui permet d'explorer un espace de solutions plus large.

Le fonctionnement est le suivant : à chaque étape de génération, le modèle calcule les probabilités de tous les tokens possibles pour chaque faisceau actif. Il ne conserve ensuite que les k séquences les plus probables, où k est la "largeur du faisceau" (beam width). Ce paramètre contrôle le compromis entre qualité de la sortie et coût de calcul. Une largeur de 1 équivaut à une recherche gloutonne, tandis qu'une largeur infinie correspondrait à une recherche exhaustive.

En pratique, le Beam Search produit des textes plus cohérents et grammaticalement corrects que le décodage glouton, car il évite les choix localement optimaux qui mènent à des impasses. Cependant, il tend à générer des textes plus génériques et répétitifs que les méthodes d'échantillonnage stochastique comme le top-k ou le top-p sampling, car il favorise systématiquement les séquences à haute probabilité.

Cet algorithme est particulièrement utilisé dans les tâches où la précision prime sur la créativité, comme la traduction automatique, le résumé de texte ou la reconnaissance vocale. Dans le contexte du prompt engineering, comprendre le Beam Search aide à choisir les bons paramètres de génération selon l'objectif visé.