Topic modeling : LDA et modèles thématiques

Humanités numériques · Master 1

Latent Dirichlet Allocation : sujets, hyperparamètres, MALLET, cohérence et usage critique.

Introduction

Le topic modeling est une famille de méthodes non supervisées qui découvrent des thèmes dans de grands ensembles de documents. Le modèle le plus connu, Latent Dirichlet Allocation (LDA), a été proposé par David Blei, Andrew Ng et Michael Jordan en 2003. Il suppose que chaque document est un mélange de K sujets et que chaque sujet est une distribution de probabilité sur le vocabulaire.

L'utilisateur fixe K ainsi que des hyperparamètres (alpha pour la distribution des sujets par document, beta ou eta pour celle des mots par sujet), l'algorithme (souvent un échantillonneur de Gibbs, comme dans MALLET de Andrew McCallum) estime les distributions. Le résultat est une liste de mots les plus probables par sujet et la proportion de chaque sujet par document. Les humanités numériques l'ont adopté pour des journaux (Mining the Dispatch de Robert K. Nelson), des romans, des journaux intimes (Cameron Blevins sur Martha Ballard) ou des corpus de revues.

L'interprétation n'est pas automatique : un sujet est une liste de mots que le chercheur nomme. Les résultats varient avec K, le prétraitement et l'initialisation aléatoire ; la cohérence des sujets (UMass, C_v) et la relecture de documents représentatifs permettent d'évaluer le modèle. Des approches plus récentes comme BERTopic utilisent des plongements contextuels.

Objectifs d'apprentissage

Expliquer le modèle génératif de LDA en termes de documents, sujets et mots
Régler K, alpha et beta et interpréter leurs effets
Évaluer un modèle par la cohérence et la lecture des documents
Présenter les apports et limites du topic modeling en histoire et lettres

Concepts clés

Modèle génératif: Chaque document est un mélange de sujets ; chaque sujet est une distribution sur les mots ; les mots sont tirés selon ces distributions.
Hyperparamètres: K (nombre de sujets), alpha (concentration des sujets par document), beta ou eta (concentration des mots par sujet).
Évaluation: Cohérence des sujets, stabilité entre exécutions et lecture qualitative de documents associés à chaque sujet.
Usage critique: Un sujet n'est pas un thème au sens du lecteur : il faut l'interpréter, le nommer, et tester différents réglages.

Conclusion

Le topic modeling offre un regard exploratoire sur de vastes corpus, utile pour formuler des hypothèses. Il ne donne pas des thèmes tout faits : il propose des regroupements de mots.

Son usage responsable repose sur la transparence des paramètres et sur un va-et-vient constant entre modèle et documents.

Cartes

Que signifie LDA ?: Latent Dirichlet Allocation.
Qui ont proposé LDA ?: David Blei, Andrew Ng et Michael Jordan en 2003, dans le Journal of Machine Learning Research.
Que représente un sujet dans LDA ?: Une distribution de probabilités sur les mots du vocabulaire.
Que représente un document dans LDA ?: Un mélange de sujets, avec une proportion pour chacun.
Quel paramètre doit être fixé par l'utilisateur ?: Le nombre de sujets K, ainsi que les hyperparamètres alpha et beta.
Quel logiciel est répandu en humanités numériques pour LDA ?: MALLET (MAchine Learning for LanguagE Toolkit).
Comment évaluer un modèle thématique ?: Par la cohérence des sujets (UMass, C_v), la stabilité entre exécutions et la relecture de documents.
Pourquoi les résultats varient-ils d'une exécution à l'autre ?: Parce que l'algorithme utilise un échantillonnage aléatoire ; fixer la graine ou moyenner améliore la reproductibilité.
Citez un projet connu de topic modeling en histoire.: Mining the Dispatch de Robert K. Nelson, sur un quotidien de Richmond pendant la guerre de Sécession.

Glossaire

Topic modeling: Découverte automatique de sujets dans un corpus.
Distribution de Dirichlet: Loi de probabilité sur des proportions, utilisée comme a priori dans LDA.
Gibbs sampling: Méthode d'inférence itérative par échantillonnage.
Cohérence: Mesure de la compatibilité sémantique des mots principaux d'un sujet.
Apprentissage non supervisé: Méthode qui découvre des structures sans étiquettes préalables.
BERTopic: Approche de modélisation thématique fondée sur des plongements de phrases et un clustering.