Model Serving : Définition et Exemples

Le model serving est l'étape qui transforme un modèle d'IA entraîné en un service opérationnel, capable de répondre à des requêtes de production. Concrètement, il s'agit de charger le modèle en mémoire, d'exposer une interface (généralement une API REST ou gRPC) et de gérer l'infrastructure nécessaire pour traiter les demandes d'inférence de manière fiable et performante.

Cette étape est souvent considérée comme le pont entre la phase de recherche et la mise en production. Un modèle peut obtenir d'excellents résultats en laboratoire, mais sans une infrastructure de serving adaptée, il ne peut pas être utilisé par des applications réelles. Le model serving englobe donc des problématiques de latence, de débit, de mise à l'échelle automatique et de gestion des versions du modèle.

Les solutions de model serving vont des frameworks open source comme TensorFlow Serving, TorchServe ou Triton Inference Server, aux plateformes managées proposées par les fournisseurs cloud (SageMaker, Vertex AI, Azure ML). Le choix dépend du volume de requêtes, des contraintes de latence, du type de modèle et du budget disponible.

Dans le contexte des grands modèles de langage (LLM), le model serving présente des défis spécifiques liés à la taille des modèles, à la gestion de la mémoire GPU et aux techniques d'optimisation comme la quantification, le batching continu ou le PagedAttention. Ces optimisations permettent de servir des modèles de plusieurs milliards de paramètres à des coûts raisonnables.