Stop Sequence : Définition et Exemples

Une stop sequence (ou séquence d'arrêt) est un mécanisme de contrôle utilisé lors de l'inférence d'un modèle de langage. Il s'agit d'une ou plusieurs chaînes de caractères que l'utilisateur définit dans les paramètres de l'appel API. Lorsque le modèle génère l'une de ces séquences dans sa réponse, la génération s'interrompt immédiatement, et le texte produit jusqu'à ce point est renvoyé comme résultat.

Ce mécanisme est essentiel pour structurer les sorties des LLM. Sans stop sequences, un modèle peut continuer à générer du texte au-delà de ce qui est utile : il pourrait inventer des tours de dialogue supplémentaires, ajouter des exemples non demandés ou simplement produire du contenu redondant. Les stop sequences agissent comme un signal de fin clair et prévisible, permettant d'obtenir des réponses précises et bien délimitées.

En pratique, les stop sequences sont particulièrement utiles dans les scénarios où le format de sortie est structuré. Par exemple, dans un système de chat multi-tours, on peut utiliser "Human:" comme stop sequence pour empêcher le modèle de simuler la réponse de l'utilisateur. Dans un contexte d'extraction de données, on peut définir un délimiteur comme "---" pour que le modèle s'arrête après avoir produit un seul bloc d'information.

La plupart des API de modèles de langage (OpenAI, Anthropic, Mistral, etc.) permettent de spécifier plusieurs stop sequences simultanément, généralement jusqu'à quatre. La séquence d'arrêt elle-même n'est pas incluse dans la réponse finale, ce qui facilite le post-traitement du texte généré.