Whisper : Définition et Exemples

Whisper est un système de reconnaissance vocale automatique (Automatic Speech Recognition, ASR) créé par OpenAI et publié en open source en septembre 2022. Entraîné sur plus de 680 000 heures d'audio multilingue collecté sur le web, il est capable de transcrire la parole en texte, de détecter automatiquement la langue parlée et de traduire depuis de nombreuses langues vers l'anglais.

Contrairement aux systèmes ASR traditionnels qui nécessitent un entraînement spécifique par langue ou par domaine, Whisper adopte une approche multitâche supervisée à grande échelle. Son architecture repose sur un modèle Transformer encodeur-décodeur : l'audio est découpé en segments de 30 secondes, converti en spectrogramme log-Mel, puis traité par l'encodeur avant que le décodeur ne génère le texte correspondant. Cette architecture lui confère une robustesse exceptionnelle face aux accents, au bruit de fond et au jargon technique.

Whisper est disponible en plusieurs tailles de modèles (tiny, base, small, medium, large), permettant un compromis entre précision et vitesse d'exécution. Le modèle large atteint des performances proches de la transcription humaine sur de nombreux benchmarks. Sa nature open source a engendré un écosystème riche : faster-whisper pour l'inférence optimisée, whisper.cpp pour l'exécution locale sur CPU, et des intégrations dans de nombreux outils de productivité.

Dans le domaine du prompt engineering, Whisper joue un rôle clé en permettant de convertir des instructions vocales en texte exploitable par les modèles de langage. Il constitue ainsi un maillon essentiel des pipelines multimodaux où la voix devient une interface naturelle pour interagir avec l'IA.