RLHF : Définition et Exemples

Le RLHF, ou Reinforcement Learning from Human Feedback (apprentissage par renforcement à partir de retours humains), est une méthode d'entraînement qui permet d'affiner les grands modèles de langage après leur pré-entraînement initial. Plutôt que de se fier uniquement aux données textuelles brutes, cette technique intègre le jugement humain directement dans le processus d'apprentissage.

Le processus se déroule en trois étapes principales. D'abord, le modèle est pré-entraîné de manière classique sur de vastes corpus de texte. Ensuite, des évaluateurs humains comparent et classent différentes réponses générées par le modèle pour une même question, créant ainsi un jeu de données de préférences. Ces préférences servent à entraîner un modèle de récompense (reward model) qui apprend à prédire quelle réponse un humain préférerait.

Enfin, le modèle de langage est optimisé par apprentissage par renforcement (typiquement avec l'algorithme PPO — Proximal Policy Optimization) pour maximiser le score attribué par ce modèle de récompense, tout en restant proche de son comportement initial grâce à une pénalité de divergence KL.

Le RLHF a joué un rôle déterminant dans le succès de ChatGPT et des assistants IA modernes. C'est cette technique qui permet aux modèles de produire des réponses utiles, honnêtes et inoffensives plutôt que de simplement prédire le mot suivant le plus probable. Elle reste un domaine de recherche très actif, avec des variantes comme le DPO (Direct Preference Optimization) qui simplifient le processus.