Nettoyer des métadonnées avec OpenRefine : facettes et clustering

Sciences de l'information · Bachelor 3

Détecter doublons et variantes, normaliser et réconcilier des données bibliographiques.

Introduction

Les données issues de catalogues, d'exports de bases ou de tableurs sont rarement propres : variantes d'un nom d'auteur, dates dans plusieurs formats, espaces parasites, encodages cassés. Avant toute analyse ou migration, un travail de préparation est nécessaire.

OpenRefine, outil libre, permet d'explorer un jeu de données par facettes, de regrouper des variantes par algorithmes de clustering, de transformer des colonnes avec le langage GREL et de réconcilier des valeurs avec des référentiels externes comme Wikidata. Chaque opération est enregistrée et peut être rejouée.

Objectifs d'apprentissage

Repérer les types d'anomalies dans un jeu de métadonnées
Utiliser facettes et filtres pour explorer une colonne
Choisir une méthode de clustering adaptée
Normaliser des dates au format ISO 8601
Réconcilier des valeurs avec un référentiel et documenter l'historique des opérations

Concepts clés

Facette: Vue qui regroupe les valeurs d'une colonne avec leur fréquence pour repérer les incohérences.
Clustering: Regroupement automatique de valeurs voisines proposées pour fusion, avec validation humaine.
Réconciliation: Mise en correspondance de valeurs locales avec des identifiants d'un référentiel externe.

Conclusion

Le nettoyage de données est une étape documentée et reproductible. OpenRefine y combine exploration, clustering et réconciliation, mais le jugement de la personne qui connaît le corpus reste indispensable.

Cartes

À quoi servent les facettes dans OpenRefine ?: À lister les valeurs distinctes d'une colonne avec leur nombre d'occurrences afin de repérer variantes, fautes et valeurs rares, puis de les filtrer ou corriger en masse.
Que fait la méthode de clustering « fingerprint » ?: Elle normalise la valeur (minuscules, suppression de la ponctuation, tri des mots) pour regrouper « Dupont, Jean » et « jean dupont ».
Pourquoi valider manuellement les clusters ?: Deux valeurs proches ne désignent pas forcément la même entité (homonymes) ; l'outil propose, la personne qui connaît les données décide.
Qu'est-ce que GREL ?: Le General Refine Expression Language, langage d'expressions d'OpenRefine pour transformer les cellules (par exemple value.trim() ou value.toTitlecase()).
Quel format de date est recommandé pour l'échange de données ?: ISO 8601 : AAAA-MM-JJ (par exemple 2024-03-07), triable et non ambigu.
Qu'apporte la réconciliation avec Wikidata ?: L'association d'une valeur (nom, lieu) à un identifiant stable, ce qui permet de lever les ambiguïtés et d'enrichir les données.
Pourquoi l'historique des opérations est-il important ?: Il documente le nettoyage, le rend reproductible et permet de l'exporter en JSON pour l'appliquer à un autre jeu de données.
Quelle précaution prendre avant un nettoyage massif ?: Conserver une copie des données brutes, car le nettoyage doit rester traçable et réversible.
Quel encodage privilégier pour échanger des fichiers contenant des accents ?: UTF-8 ; un mauvais encodage produit des caractères parasites comme « Ã© » à la place de « é ».

Glossaire

Doublon: Enregistrement présent plusieurs fois, éventuellement avec de légères variantes.
GREL: Langage d'expressions utilisé dans OpenRefine pour transformer les cellules.
Fingerprint: Empreinte normalisée d'une chaîne servant à repérer des variantes proches.
ISO 8601: Norme de représentation des dates et heures.
Réconciliation: Alignement de valeurs locales avec les entrées d'un référentiel.
Données brutes: Version d'origine d'un jeu de données avant toute transformation.