Concordances, collocations et cooccurrences (KWIC)

Humanités numériques · Bachelor 3

Lire les mots en contexte : concordancier KWIC, fenêtre, mesures MI, t-score, log-likelihood.

Introduction

Un concordancier affiche chaque occurrence d'un mot-pivot avec son contexte, le plus souvent au format KWIC (Key Word In Context), dans lequel le mot cherché est aligné au centre de la ligne. Le principe doit beaucoup aux concordances bibliques et aux travaux de Hans Peter Luhn chez IBM à la fin des années 1950. Il reste l'outil de base du linguiste de corpus : on lit des lignes, on repère des régularités, puis on les quantifie.

La notion de collocation vient de la tradition britannique de J. R. Firth et de John Sinclair : les mots tendent à se combiner avec certains voisins plus que d'autres. On observe les cooccurrents dans une fenêtre (par exemple cinq mots de part et d'autre) et on évalue l'association par des mesures statistiques : fréquence, information mutuelle (MI), t-score, log-likelihood (Dunning, 1993) ou coefficient de Dice.

Ces mesures ne disent pas la même chose : MI valorise les associations exclusives mais favorise les paires rares, tandis que t-score met en avant les combinaisons fréquentes. Les outils AntConc, TXM ou Voyant permettent d'explorer concordances et collocations, tandis que les langages de requête (CQL) permettent d'interroger finement les corpus annotés.

Objectifs d'apprentissage

Lire et trier une concordance KWIC
Distinguer collocation, cooccurrence et colligation
Choisir une mesure d'association adaptée à la question posée
Documenter la fenêtre et les seuils utilisés

Concepts clés

Concordance KWIC: Affichage du mot-pivot centré avec son contexte gauche et droit ; tris sur le contexte révèlent des motifs récurrents.
Collocation: Combinaison de mots qui se produit plus souvent que le hasard ne le laisse attendre, comme « prendre une décision ».
Mesures d'association: MI favorise les paires rares mais exclusives, t-score les paires fréquentes, log-likelihood est robuste aux faibles effectifs.
Paramètres à documenter: Taille de la fenêtre, lemmatisation, seuil de fréquence minimale, corpus de référence et filtres.

Conclusion

Concordances et collocations relient le comptage à la lecture. Elles rappellent qu'un chiffre est toujours adossé à des contextes que l'on peut consulter.

L'exigence est de documenter chaque paramètre pour que l'analyse soit reproductible et critiquable.

Cartes

Que signifie KWIC ?: Key Word In Context.
Quelle est la différence entre cooccurrence et collocation ?: La cooccurrence est une simple présence conjointe dans un contexte ; la collocation est une association statistiquement et linguistiquement significative.
Qui a contribué à populariser le KWIC ?: Hans Peter Luhn, ingénieur chez IBM, à la fin des années 1950.
Quelle idée est associée à J. R. Firth ?: Le sens d'un mot se révèle notamment par ses contextes d'emploi, c'est-à-dire par les mots qui l'accompagnent.
Quel défaut a l'information mutuelle ?: Elle surévalue les paires de mots rares.
Quel avantage a le t-score ?: Il met en évidence les combinaisons fréquentes et donc stables.
Qu'est-ce que la fenêtre de cooccurrence ?: Le nombre de mots à gauche et à droite du pivot où l'on cherche les cooccurrents.
Citez un logiciel gratuit de concordance.: AntConc, ainsi que TXM ou Voyant Tools.
Pourquoi lemmatiser avant de calculer des collocations ?: Pour regrouper les variantes flexionnelles (prend, prendre, pris) et augmenter les effectifs.

Glossaire

KWIC: Format de concordance qui centre le mot recherché.
Collocation: Association habituelle de mots.
Cooccurrence: Présence de deux unités dans un même contexte.
Information mutuelle: Mesure de l'association entre deux mots par comparaison des fréquences observées et attendues.
Log-likelihood: Statistique de test d'association, robuste aux petits effectifs.
Colligation: Association d'un mot avec une catégorie grammaticale ou une structure.