Moteurs de recherche : index inversé, TF-IDF et classement

Sciences de l'information · Master 1

Fonctionnement d'un moteur : index inversé, pondération TF-IDF, modèles de classement et pertinence.

Introduction

Un moteur de recherche ne parcourt pas tous les documents à chaque requête : il s'appuie sur un index construit à l'avance. L'index inversé associe à chaque terme la liste des documents qui le contiennent, ce qui permet de retrouver très vite les candidats pour une requête.

Avant l'indexation, le texte est traité : découpage en unités (tokenisation), mise en minuscules, retrait de mots vides, réduction des mots à leur forme de base par lemmatisation ou racinisation. Ces choix influencent directement le rappel et la précision.

Les documents retenus sont ensuite classés. Le modèle vectoriel avec pondération TF-IDF valorise les termes fréquents dans un document mais rares dans la collection. Des fonctions comme BM25 raffinent cette idée, et des signaux externes, comme les liens entrants exploités par PageRank, complètent le score pour les pages web.

Objectifs d'apprentissage

Décrire la construction d'un index inversé
Expliquer le prétraitement linguistique d'un texte
Interpréter la pondération TF-IDF
Distinguer classement par contenu et par liens
Mesurer l'effet du prétraitement sur les résultats

Concepts clés

Index inversé: Table associant chaque terme aux documents qui le contiennent.
Prétraitement: Tokenisation, mots vides, lemmatisation ou racinisation avant l'indexation.
TF-IDF: Pondération qui combine fréquence dans le document et rareté dans la collection.
Classement par liens: PageRank estime l'importance d'une page selon les liens qui pointent vers elle.

Conclusion

Index inversé, prétraitement et pondération forment la chaîne de base de tout moteur. Comprendre ces étapes aide à diagnostiquer pourquoi un document n'est pas retrouvé et à choisir des réglages adaptés à un corpus.

Cartes

Qu'est-ce qu'un index inversé ?: Une structure qui, pour chaque terme, liste les documents où il apparaît.
Pourquoi cet index accélère-t-il la recherche ?: Il évite de relire chaque document : on consulte directement la liste associée aux termes de la requête.
Qu'est-ce que la tokenisation ?: Le découpage d'un texte en unités (mots, nombres) qui seront indexées.
Que sont les mots vides ?: Les mots très fréquents et peu informatifs (le, de, et) souvent ignorés à l'indexation.
Lemmatisation et racinisation : quelle différence ?: La lemmatisation ramène un mot à sa forme canonique, la racinisation coupe les terminaisons selon des règles.
Que mesure le TF dans TF-IDF ?: La fréquence d'un terme dans un document donné.
Que mesure l'IDF ?: La rareté d'un terme dans la collection : plus il est rare, plus il est discriminant.
Sur quel principe repose PageRank ?: Une page est importante si elle reçoit des liens de pages elles-mêmes importantes.

Glossaire

Index inversé: Structure associant chaque terme aux documents qui le contiennent.
Tokenisation: Découpage du texte en unités lexicales à indexer.
Lemmatisation: Réduction d'un mot à sa forme canonique.
TF-IDF: Pondération valorisant les termes fréquents dans un document et rares dans la collection.
Modèle vectoriel: Représentation des documents et requêtes comme vecteurs de termes pondérés.
PageRank: Algorithme de classement fondé sur la structure des liens entre pages web.