Lexicométrie : fréquences, hapax, loi de Zipf et spécificités

Humanités numériques · Bachelor 3

Compter les mots d'un corpus : types, tokens, hapax, loi de Zipf et modèle des spécificités.

Introduction

La lexicométrie, très développée dans la tradition française (Pierre Guiraud, André Salem, Ludovic Lebart), mesure le vocabulaire d'un corpus. On distingue les occurrences ou tokens (toutes les formes d'un texte) et les types ou formes (formes distinctes). Le rapport types/tokens (type-token ratio) donne une idée de la richesse lexicale, mais il dépend fortement de la longueur du texte. Les hapax legomena, mots n'apparaissant qu'une fois, représentent souvent une part considérable du vocabulaire.

La loi de Zipf, du nom de George Kingsley Zipf, décrit la distribution typique des fréquences : la fréquence d'un mot est à peu près inversement proportionnelle à son rang dans la liste ordonnée. Quelques mots très fréquents (articles, prépositions) dominent, et une longue traîne de mots rares compose l'essentiel du lexique.

Pour comparer des parties d'un corpus (discours de partis, chapitres, auteurs), le modèle des spécificités de Pierre Lafon (1980) repose sur la loi hypergéométrique : il évalue si un mot est surreprésenté ou sous-représenté dans une partie par rapport à ce que le hasard laisserait attendre. Des logiciels comme TXM, Lexico, IRaMuTeQ ou Voyant Tools mettent ces calculs à disposition.

Objectifs d'apprentissage

Distinguer occurrences, formes, lemmes et hapax
Interpréter la loi de Zipf et ses conséquences pratiques
Calculer et lire une fréquence relative et un indice de spécificité
Choisir un outil adapté à un corpus en français

Concepts clés

Mesurer le vocabulaire: Tokens, types et hapax permettent de décrire la taille et la richesse lexicale ; le TTR varie avec la longueur du texte.
Loi de Zipf: La fréquence est approximativement proportionnelle à 1/rang : quelques mots très fréquents et une très longue queue de mots rares.
Spécificités: Le modèle hypergéométrique évalue l'écart entre la fréquence observée d'un mot dans une partie et celle attendue au hasard.
Normaliser avant de comparer: Il faut comparer des fréquences relatives et tenir compte de la taille des sous-corpus ; les fréquences brutes trompent.

Conclusion

La lexicométrie fournit un premier regard quantifié sur les textes. Elle gagne en rigueur quand on explicite la définition des unités comptées et qu'on tient compte de la taille des corpus.

Les mesures ne remplacent pas l'interprétation : elles désignent des mots à examiner en contexte.

Cartes

Quelle différence entre token et type ?: Un token est une occurrence d'un mot dans le texte ; un type est une forme distincte.
Qu'est-ce qu'un hapax legomenon ?: Un mot qui n'apparaît qu'une seule fois dans le corpus.
Que mesure le type-token ratio ?: Le rapport du nombre de types au nombre de tokens, une approximation de la richesse lexicale, sensible à la taille du texte.
Que dit la loi de Zipf ?: La fréquence d'un mot est à peu près inversement proportionnelle à son rang de fréquence.
Pourquoi les fréquences brutes ne suffisent-elles pas pour comparer deux textes ?: Parce que les textes n'ont pas la même longueur : on compare des fréquences relatives ou des indices statistiques.
Sur quel modèle reposent les spécificités de Lafon ?: Sur la loi hypergéométrique, qui estime la probabilité d'observer une fréquence aussi extrême dans une partie du corpus.
Quelle est la différence entre forme et lemme ?: Une forme est un mot tel qu'écrit (mangeait) ; un lemme est sa forme canonique (manger).
Citez deux logiciels de textométrie utilisables en français.: TXM et Lexico, également IRaMuTeQ ou Voyant Tools.
Pourquoi retire-t-on parfois les mots outils ?: Ils sont très fréquents mais peu informatifs thématiquement ; on les garde pourtant pour l'étude stylistique.

Glossaire

Corpus: Ensemble de textes rassemblés selon des critères pour une étude.
Token: Occurrence d'une unité lexicale dans un texte.
Type: Forme lexicale distincte, comptée une seule fois.
Hapax: Mot présent une seule fois dans le corpus.
Loi de Zipf: Régularité empirique reliant fréquence et rang des mots.
Spécificité: Surreprésentation ou sous-représentation statistiquement significative d'un mot dans une partie du corpus.