Top K : Définition et Exemples

Le Top K est un paramètre d'échantillonnage utilisé lors de la génération de texte par les modèles de langage (LLM). À chaque étape de génération, le modèle calcule une probabilité pour chaque token possible dans son vocabulaire. Le paramètre Top K restreint ce choix aux K tokens ayant les probabilités les plus élevées, en excluant tous les autres de la sélection.

Concrètement, si Top K est réglé à 50, le modèle ne considérera que les 50 tokens les plus probables pour le mot suivant, puis effectuera un tirage aléatoire parmi ces 50 candidats en fonction de leurs probabilités respectives. Un Top K de 1 revient à toujours choisir le token le plus probable (génération déterministe), tandis qu'un Top K très élevé laisse le modèle choisir parmi un large éventail de possibilités.

L'intérêt principal du Top K est de trouver un équilibre entre cohérence et créativité. Une valeur trop basse produit des textes répétitifs et prévisibles, tandis qu'une valeur trop haute peut introduire des tokens improbables qui rendent le texte incohérent. En pratique, le Top K est souvent utilisé en combinaison avec d'autres paramètres comme la température et le Top P pour affiner le comportement du modèle.

Il est important de noter que le Top K présente une limitation : il applique un seuil fixe quel que soit le contexte. Dans certaines situations, le modèle est très confiant et seuls 5 tokens sont réellement pertinents, tandis que dans d'autres cas, 200 tokens pourraient être des continuations valides. C'est pourquoi le Top P (nucleus sampling) est souvent préféré, car il s'adapte dynamiquement à la distribution des probabilités.