Semantic Cache : Définition et Exemples

Le semantic cache (ou cache sémantique) est une technique d'optimisation utilisée dans les applications d'intelligence artificielle qui permet de réutiliser des réponses précédemment générées par un modèle de langage (LLM) lorsqu'une nouvelle requête est sémantiquement proche d'une requête déjà traitée. Contrairement à un cache traditionnel qui exige une correspondance exacte entre les clés, le cache sémantique utilise des embeddings vectoriels pour mesurer la proximité de sens entre deux requêtes.

Le fonctionnement repose sur un pipeline en plusieurs étapes : lorsqu'un utilisateur envoie un prompt, celui-ci est d'abord transformé en vecteur (embedding) puis comparé aux vecteurs des requêtes déjà en cache via une recherche de similarité (cosine similarity, par exemple). Si un vecteur suffisamment proche est trouvé au-dessus d'un seuil de confiance défini, la réponse associée est retournée directement sans appeler le LLM, ce qui réduit considérablement la latence et les coûts.

Cette approche est particulièrement utile dans les contextes où de nombreux utilisateurs posent des questions similaires mais formulées différemment. Par exemple, "Comment fonctionne GPT ?" et "Explique-moi le fonctionnement de GPT" sont deux formulations distinctes mais sémantiquement équivalentes. Un cache classique les traiterait comme deux requêtes différentes, tandis qu'un cache sémantique reconnaîtra leur proximité.

Les solutions populaires incluent GPTCache (open source), Redis avec le module de recherche vectorielle, ou encore des services managés comme ceux proposés par certaines plateformes d'API. Le principal défi du semantic cache réside dans le réglage du seuil de similarité : trop bas, il retournera des réponses inadaptées ; trop haut, il ne servira presque jamais de cache.