Audio LLM : Définition et Exemples

Un Audio LLM (Audio Large Language Model) désigne un grand modèle de langage qui étend ses capacités au-delà du texte pour traiter directement des signaux audio. Contrairement aux systèmes traditionnels qui nécessitent une étape séparée de transcription (speech-to-text) avant d'analyser le contenu, un Audio LLM peut ingérer un flux audio brut et en extraire du sens, des émotions, des intentions ou des caractéristiques acoustiques sans passer par un intermédiaire textuel.

Ces modèles reposent généralement sur des architectures transformer adaptées pour encoder les représentations audio (spectrogrammes, tokens audio discrets) aux côtés des tokens textuels. Des modèles comme Gemini de Google, GPT-4o d'OpenAI ou Qwen-Audio d'Alibaba illustrent cette convergence : ils peuvent écouter une question posée oralement, analyser le ton de la voix, identifier un bruit de fond, et répondre de manière contextualisée.

L'intérêt majeur des Audio LLM réside dans leur capacité à capturer des informations paralinguistiques — intonation, hésitations, émotions, accents — que la transcription textuelle classique élimine. Cela ouvre des applications dans le service client (détection de frustration), la santé (analyse vocale), l'éducation (feedback sur la prononciation) ou encore la création musicale assistée par IA.

En prompt engineering, travailler avec un Audio LLM implique de nouvelles pratiques : on peut joindre un fichier audio à son prompt, demander une analyse du ton émotionnel d'un enregistrement, ou encore instruire le modèle de répondre vocalement avec un style particulier. Cette dimension audio enrichit considérablement les possibilités d'interaction homme-machine.