Prétraitement du texte, sac de mots et TF-IDF

Humanités numériques · Bachelor 3

Tokenisation, lemmatisation, stop words, matrice document-terme, TF-IDF et similarité cosinus.

Introduction

Avant toute fouille, le texte brut doit être préparé. Le prétraitement comprend la segmentation en phrases, la tokenisation, la normalisation de la casse et de la ponctuation, éventuellement le retrait des mots vides (stop words), puis la lemmatisation (ramener à la forme canonique) ou le stemming (couper les suffixes, par exemple l'algorithme de Porter). En français, les élisions (l'homme), les formes composées et l'accord rendent l'étape délicate ; des outils comme spaCy ou TreeTagger fournissent des modèles pour le français.

Le texte est ensuite représenté sous forme de sac de mots (bag of words) : une matrice document-terme où chaque ligne est un document et chaque colonne un terme, au mépris de l'ordre. Le TF-IDF pondère chaque terme par sa fréquence dans le document (tf) et par l'inverse de sa fréquence documentaire (idf, notion introduite par Karen Spärck Jones en 1972) : un terme fréquent dans un document mais rare ailleurs est discriminant.

La similarité cosinus permet de comparer des vecteurs de documents, par exemple pour regrouper des textes ou rechercher les plus proches. Les choix de prétraitement influencent fortement les résultats et doivent être documentés.

Objectifs d'apprentissage

Enchaîner les étapes d'un pipeline de prétraitement pour le français
Distinguer lemmatisation et stemming
Calculer et interpréter un TF-IDF
Mesurer la proximité entre documents par similarité cosinus

Concepts clés

Pipeline de prétraitement: Segmentation, tokenisation, normalisation, filtrage, lemmatisation : chaque étape modifie ce que l'on pourra observer.
Sac de mots: Représentation vectorielle qui conserve les fréquences mais perd l'ordre et la syntaxe.
TF-IDF: Pondération = tf × idf, avec idf = log(N/df) dans sa forme usuelle ; elle valorise les termes spécifiques d'un document.
Similarité cosinus: Mesure l'angle entre deux vecteurs ; indépendante de la longueur absolue des documents.

Conclusion

Un prétraitement soigné conditionne la validité de toute fouille de textes. Rien n'est neutre : chaque filtrage oriente l'analyse.

Le TF-IDF et le sac de mots restent d'excellentes bases de comparaison, même à l'ère des modèles neuronaux.

Cartes

Qu'est-ce que la tokenisation ?: Le découpage d'un texte en unités (tokens), généralement des mots et signes de ponctuation.
Qu'est-ce qu'un stop word ?: Un mot très fréquent et peu informatif thématiquement (le, de, et), souvent retiré.
Quelle différence entre lemmatisation et stemming ?: La lemmatisation donne un lemme linguistiquement valide à l'aide d'un lexique ; le stemming coupe mécaniquement les suffixes et peut produire des radicaux non-mots.
Que représente une matrice document-terme ?: Une table dont les lignes sont les documents, les colonnes les termes et les cellules les fréquences ou pondérations.
Que signifie TF-IDF ?: Term Frequency – Inverse Document Frequency.
Pourquoi l'idf diminue-t-il le poids des mots communs ?: Parce qu'un terme présent dans presque tous les documents a un idf proche de zéro, donc peu discriminant.
Quel défaut du sac de mots peut-on citer ?: Il ignore l'ordre des mots, donc la syntaxe et certaines nuances de sens.
Que mesure la similarité cosinus ?: L'orientation commune de deux vecteurs, soit la proximité de leurs profils lexicaux.
Pourquoi les textes anciens posent-ils problème aux outils standards ?: Variation graphique et morphologique ; les modèles modernes sont mal adaptés aux états anciens de la langue.

Glossaire

Tokenisation: Segmentation du texte en unités élémentaires.
Lemmatisation: Association de chaque forme à son lemme.
Stemming: Réduction d'un mot à un radical par règles.
Sac de mots: Représentation d'un texte par ses fréquences de mots sans ordre.
TF-IDF: Pondération qui valorise les termes discriminants.
Similarité cosinus: Cosinus de l'angle entre deux vecteurs.