ETL, ELT et qualité des données

Informatique de gestion · Bachelor 3

Extraction, transformation, chargement, zone de transit et dimensions de la qualité des données.

Introduction

Alimenter un entrepôt de données suppose d'extraire des données de sources hétérogènes (ERP, CRM, fichiers, API), de les transformer pour les rendre cohérentes, puis de les charger. C'est le processus ETL (Extract, Transform, Load). Dans l'approche ELT, les données brutes sont d'abord chargées dans la plateforme cible, souvent dans le cloud, puis transformées sur place grâce à sa puissance de calcul.

Une zone de transit (staging) sert d'espace intermédiaire où l'on contrôle et prépare les données sans toucher aux systèmes sources. Le chargement peut être complet ou incrémental (seulement les nouveautés et modifications), ce dernier étant plus rapide mais plus complexe.

La qualité des données conditionne la confiance dans les rapports. Elle se mesure par des dimensions: exactitude, complétude, cohérence, unicité, actualité. La gouvernance définit les responsabilités (propriétaires et stewards des données) et la traçabilité (data lineage).

Objectifs d'apprentissage

Décrire les trois phases de l'ETL
Comparer ETL et ELT
Expliquer le rôle d'une zone de transit
Choisir entre chargement complet et incrémental
Évaluer la qualité des données selon ses dimensions

Concepts clés

ETL vs ELT: ETL transforme avant de charger, sur un serveur dédié; ELT charge d'abord puis transforme dans la plateforme cible.
Staging: Zone intermédiaire pour déposer, contrôler et préparer les données avant leur intégration.
Chargement incrémental: On ne traite que les lignes nouvelles ou modifiées (date de modification, capture de changements).
Dimensions de qualité: Exactitude, complétude, cohérence, unicité, actualité et validité.

Conclusion

ETL et ELT sont les canaux qui alimentent la BI; leur fiabilité dépend d'une zone de transit contrôlée et de règles de qualité explicites.

Sans gouvernance claire, un entrepôt techniquement parfait peut rester inutilisable faute de confiance.

Cartes

Que signifie ETL ?: Extract, Transform, Load: extraire, transformer, charger.
Quelle est la différence principale ELT/ETL ?: En ELT, la transformation a lieu après le chargement, dans la plateforme cible.
À quoi sert la zone de transit ?: À isoler les données brutes et à les contrôler sans perturber sources ni entrepôt.
Citez trois transformations typiques.: Normaliser les formats de dates, convertir des devises en CHF, dédoublonner des clients.
Qu'est-ce qu'un dédoublonnage ?: L'identification et la fusion d'enregistrements représentant la même entité, comme un client saisi deux fois.
Pourquoi préférer un chargement incrémental ?: Il réduit volumes et durée de traitement par rapport à un rechargement complet.
Quel risque pour le chargement incrémental ?: Manquer les suppressions ou modifications non datées; il faut un mécanisme fiable de détection.
Que mesure la complétude ?: La proportion de valeurs obligatoires effectivement renseignées.
Que mesure l'unicité ?: L'absence de doublons pour une même entité.
Qu'est-ce que le data lineage ?: La traçabilité de l'origine d'une donnée et des transformations qu'elle a subies.

Glossaire

ETL: Processus d'alimentation: extraction, transformation, chargement.
ELT: Variante chargeant les données brutes avant de les transformer.
Staging: Zone de transit pour données brutes avant intégration.
Dédoublonnage: Détection et fusion d'enregistrements dupliqués.
Qualité des données: Aptitude des données à satisfaire l'usage prévu.
Data steward: Personne responsable de la qualité d'un domaine de données.