Safety Filter : Définition et Exemples

Un safety filter (filtre de sécurité) est un système de modération automatique déployé au sein des modèles d'intelligence artificielle générative. Son rôle est d'analyser en temps réel les requêtes entrantes (prompts) et les réponses générées afin d'intercepter tout contenu potentiellement nuisible : discours haineux, désinformation, contenus violents, données personnelles sensibles ou instructions dangereuses.

Ces filtres fonctionnent à plusieurs niveaux. En amont, ils analysent le prompt de l'utilisateur pour détecter des intentions malveillantes ou des tentatives de contournement (comme le jailbreaking). En aval, ils évaluent la réponse produite par le modèle avant de la transmettre, en la comparant à des critères de sécurité prédéfinis. Certains systèmes utilisent des classificateurs entraînés spécifiquement pour catégoriser les contenus selon leur niveau de risque.

Les safety filters varient considérablement selon les fournisseurs et les modèles. OpenAI, Anthropic, Google et d'autres appliquent des politiques différentes, avec des seuils de tolérance ajustables dans certains cas. Par exemple, les API professionnelles offrent parfois des paramètres pour moduler la sensibilité des filtres selon le cas d'usage (médical, juridique, créatif). Ces filtres peuvent aussi générer des faux positifs, bloquant des requêtes légitimes.

En prompt engineering, comprendre le fonctionnement des safety filters est essentiel pour formuler des requêtes efficaces sans déclencher de blocages injustifiés. Il ne s'agit pas de contourner ces protections, mais de savoir reformuler un prompt légitime lorsqu'un filtre se déclenche à tort, et de concevoir des applications qui respectent les garde-fous tout en maximisant l'utilité du modèle.