Scaling Laws : Définition et Exemples

Les scaling laws, ou lois d'échelle, constituent l'une des découvertes les plus fondamentales de la recherche moderne en intelligence artificielle. Formalisées notamment par les chercheurs d'OpenAI (Kaplan et al., 2020) puis affinées par l'équipe de DeepMind (Hoffmann et al., 2022 avec les travaux Chinchilla), ces lois établissent que les performances d'un modèle de langage suivent des courbes de puissance (power laws) prévisibles en fonction de trois variables clés : le nombre de paramètres du modèle, le volume de données d'entraînement et le budget de calcul (compute).

Concrètement, ces lois montrent que la perte (loss) d'un modèle — c'est-à-dire son taux d'erreur — diminue selon une fonction puissance lorsqu'on augmente l'une de ces trois variables, les deux autres restant constantes. Par exemple, doubler le nombre de paramètres d'un modèle ne double pas ses performances, mais les améliore selon un facteur prévisible et régulier. Cette relation suit une loi de puissance de la forme L = a × N^(-α), où L est la perte, N la variable d'échelle et α un exposant caractéristique.

L'impact pratique des scaling laws est considérable. Elles permettent aux laboratoires de recherche de prédire les performances d'un modèle avant même de l'entraîner, simplement en extrapolant à partir de modèles plus petits. C'est grâce à ces lois que des décisions d'investissement de plusieurs centaines de millions de dollars en infrastructure de calcul peuvent être prises avec une relative confiance. Les travaux Chinchilla ont notamment montré que de nombreux modèles étaient « sous-entraînés » par rapport à leur taille, et qu'un meilleur équilibre entre paramètres et données produisait des résultats supérieurs à moindre coût.

Plus récemment, la communauté distingue les scaling laws dites « pré-entraînement » (pre-training compute scaling) des scaling laws d'inférence (inference-time compute scaling ou test-time compute). Ces dernières, popularisées par des modèles comme o1 et o3 d'OpenAI, montrent qu'allouer davantage de calcul au moment de la génération de réponse — via des techniques de raisonnement étendu — peut également améliorer les performances de manière prévisible, ouvrant une nouvelle dimension d'optimisation.