Top P : Définition et Exemples

Le Top P (ou nucleus sampling) est une méthode d'échantillonnage utilisée lors de la génération de texte par les modèles de langage. Plutôt que de considérer l'ensemble du vocabulaire à chaque étape de génération, le modèle ne retient que les tokens les plus probables dont les probabilités cumulées atteignent le seuil P défini. Par exemple, avec un Top P de 0.9, le modèle sélectionne les tokens les plus probables jusqu'à ce que leur somme de probabilités atteigne 90 %, puis choisit aléatoirement parmi ce sous-ensemble.

Ce mécanisme offre un avantage majeur par rapport au Top K : il s'adapte dynamiquement au contexte. Si le modèle est très confiant sur le prochain mot (par exemple après "la Tour"), le noyau sera petit et ne contiendra que quelques candidats comme "Eiffel" ou "de". En revanche, dans un contexte plus ouvert (par exemple le début d'une histoire), le noyau s'élargit naturellement pour inclure davantage de possibilités créatives.

Le Top P se règle entre 0 et 1. Une valeur proche de 0 rend le modèle quasi déterministe en ne gardant que le ou les tokens les plus probables. Une valeur de 1 désactive le filtrage et considère l'ensemble du vocabulaire. Les valeurs courantes se situent entre 0.7 et 0.95 selon l'usage : plus basses pour des tâches factuelles, plus élevées pour des tâches créatives.

Il est important de noter que le Top P interagit avec la température. La température modifie la distribution des probabilités avant le filtrage Top P. En pratique, il est recommandé d'ajuster l'un ou l'autre plutôt que les deux simultanément, afin de garder un contrôle prévisible sur le comportement du modèle.