Plongements lexicaux : word2vec et sémantique distributionnelle

Humanités numériques · Master 2

Vecteurs de mots : hypothèse distributionnelle, word2vec, GloVe, fastText, sens et biais.

Introduction

La sémantique distributionnelle repose sur une idée de Zellig Harris (1954) et de J. R. Firth (1957) : le sens d'un mot se déduit des contextes où il apparaît. Les plongements lexicaux (word embeddings) la concrétisent en représentant chaque mot par un vecteur dense de quelques centaines de dimensions, de sorte que des mots aux contextes proches aient des vecteurs proches.

Tomas Mikolov et ses collègues (Google, 2013) popularisent word2vec, qui comprend deux architectures : CBOW (prédire un mot à partir de son contexte) et skip-gram (prédire le contexte à partir d'un mot), souvent entraînées avec échantillonnage négatif. Les alternatives incluent GloVe (Pennington, Socher et Manning, 2014), qui s'appuie sur les matrices de cooccurrence globales, et fastText (Bojanowski et al., 2017), qui exploite les sous-mots et gère mieux les formes rares ou flexionnelles. La bibliothèque Gensim permet de les entraîner.

En humanités numériques, on entraîne des modèles sur des corpus historiques pour explorer des voisinages sémantiques et le changement de sens (Hamilton, Leskovec et Jurafsky, 2016). Les plongements encodent aussi les biais du corpus, et les modèles statiques ne distinguent pas les sens d'un mot polysémique, ce que les modèles contextuels comme BERT (CamemBERT pour le français) cherchent à faire.

Objectifs d'apprentissage

Expliquer l'hypothèse distributionnelle et son rôle dans les plongements
Comparer CBOW, skip-gram, GloVe et fastText
Interroger un modèle par similarité cosinus et analogies
Évaluer la pertinence d'un modèle pour un corpus historique et en discuter les biais

Concepts clés

Hypothèse distributionnelle: Des mots qui apparaissent dans des contextes semblables ont des sens proches.
Word2vec: Réseau peu profond qui apprend des vecteurs denses ; CBOW prédit un mot depuis son contexte, skip-gram fait l'inverse.
Taille et nature du corpus: Les plongements exigent beaucoup de texte ; un petit corpus donne des voisinages instables.
Limites: Biais hérités des données, polysémie non résolue dans les modèles statiques, besoin de validation qualitative.

Conclusion

Les plongements lexicaux ouvrent de nouvelles manières d'explorer le sens à grande échelle. Ils exigent toutefois des corpus adaptés et une vigilance critique.

Un chercheur combine les voisinages vectoriels, les concordances et la lecture des textes pour consolider ses interprétations.

Cartes

Quelle idée de Harris et Firth fonde les plongements ?: Le sens d'un mot s'apprécie à partir des contextes où il apparaît.
Qui a popularisé word2vec ?: Tomas Mikolov et son équipe de Google en 2013.
Quelle différence entre CBOW et skip-gram ?: CBOW prédit un mot à partir de son contexte ; skip-gram prédit les mots du contexte à partir d'un mot.
Que mesure la similarité cosinus entre deux vecteurs de mots ?: La proximité des contextes d'emploi, interprétée comme proximité sémantique.
Quel est l'apport de fastText ?: Il représente les mots par leurs sous-mots (n-grammes de caractères), utile pour les formes rares et les langues à riche morphologie.
Sur quoi s'appuie GloVe ?: Sur les statistiques globales de cooccurrence du corpus.
Quel travail de 2016 étudie le changement sémantique avec des plongements ?: Hamilton, Leskovec et Jurafsky, sur les lois statistiques du changement sémantique.
Pourquoi un petit corpus pose-t-il problème ?: Les vecteurs sont mal estimés pour des mots peu fréquents et instables d'un entraînement à l'autre.
Qu'est-ce qu'un plongement contextuel ?: Un vecteur qui varie selon le contexte de la phrase, comme dans BERT ou CamemBERT.

Glossaire

Plongement lexical: Représentation vectorielle dense d'un mot.
Skip-gram: Architecture de word2vec qui prédit le contexte depuis un mot.
CBOW: Architecture qui prédit un mot depuis son contexte.
Cosinus: Mesure de similarité entre vecteurs.
Sémantique distributionnelle: Approche qui représente le sens par les distributions contextuelles.
Polysémie: Propriété d'un mot ayant plusieurs sens.