Chinchilla Optimal : Définition et Exemples

Le concept de Chinchilla Optimal est issu d'un article de recherche publié en 2022 par l'équipe DeepMind, intitulé « Training Compute-Optimal Large Language Models ». Cette étude a remis en question l'approche dominante qui consistait à augmenter la taille des modèles (nombre de paramètres) sans nécessairement augmenter proportionnellement la quantité de données d'entraînement. Le modèle Chinchilla, qui donne son nom au principe, a démontré qu'un modèle plus petit mais entraîné sur davantage de données pouvait surpasser un modèle plus grand entraîné sur moins de données, à budget de calcul équivalent.

La règle empirique dégagée par cette recherche stipule que pour chaque doublement du nombre de paramètres d'un modèle, la quantité de tokens d'entraînement devrait également doubler. Concrètement, un modèle de 70 milliards de paramètres devrait être entraîné sur environ 1,4 trillion de tokens pour être « Chinchilla optimal ». Avant cette découverte, des modèles comme GPT-3 (175 milliards de paramètres) étaient entraînés sur seulement 300 milliards de tokens, ce qui les rendait significativement sous-entraînés selon ce critère.

Ce principe a profondément transformé la stratégie d'entraînement des modèles de langage dans l'industrie. Plutôt que de simplement empiler des paramètres, les laboratoires de recherche ont commencé à investir massivement dans la collecte et la curation de données d'entraînement de qualité. Des modèles comme Llama 2 de Meta ont explicitement été conçus pour dépasser le ratio Chinchilla optimal, privilégiant un sur-entraînement sur davantage de données pour obtenir de meilleures performances à l'inférence.

Il est important de noter que le ratio Chinchilla optimal s'applique strictement à l'optimisation du budget de calcul pendant l'entraînement. En pratique, de nombreux laboratoires choisissent délibérément de sur-entraîner leurs modèles (c'est-à-dire d'utiliser plus de données que ne le préconise le ratio) car un modèle plus petit mais mieux entraîné est moins coûteux à déployer et à faire tourner en production, même si son entraînement initial a été plus long.