FastText : Définition et Exemples

FastText est une bibliothèque de traitement du langage naturel (NLP) créée par l'équipe Facebook AI Research en 2016. Contrairement aux approches classiques comme Word2Vec qui représentent chaque mot comme un vecteur unique, FastText décompose les mots en sous-chaînes de caractères (n-grammes) avant de les vectoriser. Cette approche permet de capturer la morphologie des mots et de générer des représentations même pour des mots jamais rencontrés lors de l'entraînement.

Le fonctionnement de FastText repose sur deux architectures principales : CBOW (Continuous Bag of Words) et Skip-gram, héritées de Word2Vec, mais enrichies par le traitement des sous-mots. Par exemple, le mot « apprentissage » sera décomposé en fragments comme « app », « ppr », « pre », etc. Le vecteur final du mot est la somme des vecteurs de tous ses n-grammes, ce qui confère au modèle une robustesse remarquable face aux fautes d'orthographe, aux néologismes et aux langues morphologiquement riches comme le français ou l'allemand.

En plus de la génération d'embeddings, FastText intègre un classificateur de texte supervisé extrêmement rapide. Ce classificateur peut être entraîné sur des millions d'exemples en quelques secondes tout en atteignant des performances comparables à des réseaux de neurones profonds bien plus complexes. C'est cette combinaison de vitesse et de précision qui a fait de FastText un outil de référence dans l'industrie.

Aujourd'hui, FastText propose des modèles pré-entraînés pour 157 langues, entraînés sur Wikipedia et Common Crawl. Bien que les grands modèles de langage (LLM) comme GPT ou Claude aient largement dépassé FastText en termes de compréhension contextuelle, FastText reste pertinent pour des tâches nécessitant rapidité, légèreté et déploiement sur des ressources limitées.