GloVe : Définition et Exemples

GloVe, acronyme de Global Vectors for Word Representation, est un modèle de plongement de mots (word embedding) créé en 2014 par Jeffrey Pennington, Richard Socher et Christopher Manning au laboratoire NLP de Stanford. Son objectif est de transformer chaque mot d'un vocabulaire en un vecteur numérique dense qui capture sa signification sémantique.

Contrairement à Word2Vec qui apprend les représentations à partir de fenêtres contextuelles locales, GloVe exploite une matrice globale de co-occurrence des mots sur l'ensemble du corpus. L'algorithme factorise cette matrice pour produire des vecteurs où les relations géométriques (distances, directions) entre vecteurs reflètent les relations sémantiques entre mots. Par exemple, la célèbre analogie vectorielle roi - homme + femme ≈ reine fonctionne remarquablement bien avec GloVe.

Le modèle repose sur l'intuition que le ratio des probabilités de co-occurrence entre deux mots par rapport à un troisième encode une information sémantique riche. GloVe optimise une fonction de coût qui préserve ces ratios dans l'espace vectoriel, combinant ainsi les avantages des méthodes de factorisation matricielle globale et des méthodes prédictives locales.

Bien que les modèles de langage modernes comme BERT ou GPT aient largement supplanté GloVe pour de nombreuses tâches NLP, il reste un outil fondamental pour comprendre les word embeddings. Ses vecteurs pré-entraînés (sur Wikipedia, Common Crawl) sont encore utilisés comme point de départ dans certaines applications, et sa simplicité en fait un excellent outil pédagogique pour appréhender la représentation vectorielle du langage.