Positional Encoding : Définition et Exemples

Le Positional Encoding (encodage positionnel) est un mécanisme fondamental des architectures Transformer, introduit dans l'article "Attention Is All You Need" (2017). Contrairement aux réseaux récurrents (RNN) qui traitent les tokens séquentiellement et captent naturellement l'ordre, les Transformers traitent tous les tokens en parallèle via le mécanisme d'attention. Sans information positionnelle, le modèle ne ferait aucune différence entre "Le chat mange la souris" et "La souris mange le chat".

L'encodage positionnel original utilise des fonctions sinusoïdales de fréquences différentes pour générer un vecteur unique pour chaque position dans la séquence. Ces vecteurs sont additionnés aux embeddings des tokens avant d'entrer dans le Transformer. Les fonctions sinus et cosinus permettent au modèle de généraliser à des longueurs de séquence non vues pendant l'entraînement et de capter les relations de distance relative entre les tokens.

Depuis l'article fondateur, plusieurs variantes ont émergé. Les encodages positionnels appris (learned positional embeddings) laissent le modèle apprendre directement les vecteurs de position pendant l'entraînement, comme dans BERT et GPT. Plus récemment, RoPE (Rotary Position Embedding), utilisé dans LLaMA et d'autres modèles modernes, encode la position via des rotations dans l'espace vectoriel, offrant une meilleure extrapolation aux longues séquences.

Pour les utilisateurs de modèles de langage, le Positional Encoding a un impact direct : c'est lui qui détermine la fenêtre de contexte du modèle (4K, 128K, 1M tokens, etc.) et la capacité du modèle à maintenir la cohérence sur de longs textes. Les techniques d'extension de contexte comme ALiBi ou l'interpolation de position permettent d'étendre cette fenêtre au-delà de ce qui a été vu à l'entraînement.