Indexation automatique et assistée : extraction de termes et validation

Sciences de l'information · Master 1

Comprendre l'extraction de termes, l'indexation assistée par vocabulaire et la validation humaine.

Introduction

L'indexation automatique cherche à produire des termes d'indexation sans intervention humaine, ou avec une intervention limitée. Elle recourt à des méthodes statistiques (fréquence des termes), linguistiques (lemmatisation, analyse grammaticale) ou d'apprentissage automatique, et peut s'appuyer sur un vocabulaire contrôlé pour mapper les termes extraits vers des descripteurs.

Dans les bibliothèques, centres d'archives et services de documentation, l'enjeu est d'indexer de grands volumes tout en préservant la qualité. L'approche dominante est l'indexation assistée : la machine propose, le professionnel valide et corrige.

Objectifs d'apprentissage

Décrire les principales méthodes d'extraction de termes
Expliquer le principe de TF-IDF
Distinguer extraction libre et indexation avec vocabulaire contrôlé
Évaluer la qualité par rappel, précision et accord avec un indexeur humain
Concevoir un flux d'indexation assistée avec validation

Concepts clés

Extraction statistique: Elle repère des termes selon leur fréquence ; TF-IDF pondère les termes fréquents dans un document mais rares dans la collection.
Traitement linguistique: Segmentation, lemmatisation et étiquetage grammatical améliorent la détection des termes.
Vocabulaire contrôlé: L'alignement des termes extraits avec un thésaurus produit des descripteurs normalisés.
Validation humaine: Le professionnel valide, corrige et enrichit les propositions, ce qui améliore le système.

Conclusion

L'indexation automatique accélère le traitement de gros volumes, mais ne dispense pas du jugement professionnel. Les meilleures pratiques combinent extraction, vocabulaire contrôlé, seuils de confiance et validation humaine.

L'évaluation continue, avec rappel, précision et accord avec des indexeurs de référence, permet de mesurer l'apport réel de l'outil et de documenter ses limites.

Cartes

Que mesure TF-IDF ?: L'importance d'un terme pour un document, selon sa fréquence dans ce document et sa rareté dans la collection.
Pourquoi lemmatiser avant l'extraction ?: Pour regrouper les formes fléchies d'un même mot (« archives », « archiver »...) et éviter la dispersion.
Que fait la reconnaissance d'entités nommées ?: Elle détecte des noms de personnes, lieux et organisations dans un texte.
Quelle différence entre extraction libre et indexation contrôlée automatique ?: L'extraction propose des termes issus du texte ; l'indexation contrôlée les fait correspondre à un vocabulaire autorisé.
Qu'est-ce que l'indexation assistée ?: Un système propose des descripteurs, et un professionnel les valide ou les corrige.
Quel risque présente l'indexation entièrement automatique ?: Termes hors sujet, ambiguïtés non résolues, biais, absence de concepts non explicitement cités.
Comment évaluer une indexation automatique ?: En la comparant à une indexation de référence avec rappel, précision et mesure combinée.
Qu'est-ce que la cohérence inter-indexeurs ?: Le degré d'accord entre indexeurs pour un même document ; il sert de référence de qualité.
Pourquoi l'indexation automatique est-elle utile aux fonds numérisés ?: Elle permet de traiter rapidement de gros volumes de textes, par exemple après OCR.
Que peut apporter l'ambiguïté lexicale comme défi ?: Un même mot peut avoir plusieurs sens ; la désambiguïsation doit utiliser le contexte.

Glossaire

TF-IDF: Pondération combinant fréquence d'un terme dans un document et rareté dans la collection.
Lemmatisation: Réduction d'un mot à sa forme canonique.
Entité nommée: Expression désignant une personne, un lieu ou une organisation.
Indexation assistée: Processus où le système propose et l'humain valide.
Désambiguïsation: Choix du bon sens d'un mot selon le contexte.
Cohérence inter-indexeurs: Mesure d'accord entre indexeurs sur un même document.