Speculative Decoding : Définition et Exemples

Le Speculative Decoding (décodage spéculatif) est une méthode d'optimisation conçue pour accélérer la génération de texte par les grands modèles de langage. Le principe repose sur une observation simple : la génération auto-régressive classique, où chaque token est produit un par un, sous-utilise massivement le matériel GPU car chaque étape nécessite un passage complet à travers le modèle. Le décodage spéculatif contourne ce goulot d'étranglement en introduisant un mécanisme de "brouillon puis vérification".

Concrètement, un modèle auxiliaire plus petit et plus rapide (appelé draft model) génère une séquence de tokens candidats de manière spéculative. Ensuite, le modèle principal (le modèle cible, plus grand et plus précis) vérifie tous ces tokens en une seule passe forward, en parallèle. Les tokens acceptés sont conservés, et la génération reprend à partir du premier token rejeté. Cette vérification exploite le fait qu'évaluer plusieurs tokens simultanément coûte presque autant qu'en évaluer un seul sur un GPU moderne.

L'élégance mathématique de cette approche réside dans sa garantie : grâce à un schéma d'acceptation-rejet soigneusement conçu, la distribution de probabilité finale est exactement identique à celle du modèle cible seul. Autrement dit, le Speculative Decoding produit des résultats strictement équivalents en qualité, mais 2 à 3 fois plus rapidement. Le gain dépend du taux d'acceptation, c'est-à-dire de la capacité du petit modèle à prédire correctement ce que le grand modèle aurait généré.

Cette technique est devenue un standard dans les systèmes de production des principaux fournisseurs d'IA. Des variantes existent, comme le self-speculative decoding (où le modèle utilise ses propres couches intermédiaires comme brouillon), le Medusa (qui ajoute des têtes de prédiction parallèles), ou encore le décodage spéculatif par arbre, qui explore plusieurs continuations possibles simultanément pour maximiser le taux d'acceptation.