Lac de données, lakehouse et entrepôt cloud

Informatique de gestion · Master 1

Situer entrepôt, lac et lakehouse : formats colonnes, séparation stockage-calcul.

Introduction

L'entrepôt classique stocke des données structurées et modélisées à l'avance. Le lac de données conserve des données brutes de toutes formes, structurées ou non, à bas coût sur du stockage objet. Le lakehouse tente de combiner les deux : fiabilité transactionnelle d'un entrepôt et ouverture d'un lac.

Les entrepôts cloud séparent en outre le stockage du calcul, ce qui permet de dimensionner chaque ressource indépendamment et de facturer à l'usage.

Ce deck compare ces architectures, explique les formats en colonnes, schema-on-read et schema-on-write, et rappelle les risques de gouvernance, notamment le marécage de données.

Objectifs d'apprentissage

Comparer entrepôt, lac et lakehouse
Expliquer l'intérêt des formats en colonnes et du partitionnement
Distinguer schema-on-write et schema-on-read
Identifier les risques de gouvernance d'un lac

Concepts clés

Entrepôt: Données structurées, modélisées avant chargement (schema-on-write), optimisées pour des requêtes SQL fiables et rapides.
Lac: Données brutes de tout format stockées telles quelles, structure appliquée à la lecture (schema-on-read), faible coût de stockage.
Lakehouse: Couche de tables transactionnelles (versions, ACID) sur un stockage de lac, pour servir BI et science des données sur un seul socle.
Format en colonnes: Parquet ou ORC stockent par colonne : meilleure compression et lecture des seules colonnes utiles pour l'analyse.
Marécage de données: Lac sans catalogue, qualité ni propriétaires : les données deviennent introuvables ou inutilisables.

Conclusion

Entrepôt, lac et lakehouse répondent à des besoins complémentaires : fiabilité du modèle, souplesse de stockage, ou compromis des deux. Sans catalogue ni gouvernance, aucune architecture ne tient ses promesses.

Retenez schema-on-write et schema-on-read, l'intérêt des formats en colonnes et du partitionnement, et les enjeux de protection des données en cloud.

Cartes

Qu'est-ce que le schema-on-write ?: La structure est définie et validée à l'écriture, avant le chargement dans l'entrepôt.
Qu'est-ce que le schema-on-read ?: La structure est appliquée au moment de la lecture, sur des données brutes déjà stockées.
Quel est l'atout d'un lac de données ?: Stocker à bas coût des données de tout format sans modélisation préalable.
Quel est le risque d'un lac sans gouvernance ?: Devenir un marécage de données : sans catalogue ni qualité, les données sont inutilisables.
Pourquoi le format Parquet est-il adapté à l'analyse ?: Le stockage par colonne compresse mieux et permet de ne lire que les colonnes nécessaires.
Qu'apporte un lakehouse ?: Des tables transactionnelles fiables (ACID, versions) directement sur le stockage du lac.
Que signifie séparer stockage et calcul ?: Dimensionner et facturer séparément l'espace de stockage et la puissance de calcul.
Qu'est-ce que le partitionnement ?: Découper les données selon une colonne (date, pays) pour que les requêtes ne lisent que les partitions utiles.
Quelle question nLPD se pose pour un entrepôt cloud ?: La localisation des données personnelles et la sous-traitance, qui exigent des garanties contractuelles.

Glossaire

Lac de données: Espace de stockage de données brutes de formats variés.
Lakehouse: Architecture qui offre des tables fiables sur un stockage de lac.
Parquet: Format de fichier en colonnes, compressé, adapté à l'analyse.
Schema-on-read: Application de la structure au moment de la lecture.
Partitionnement: Découpage physique des données selon une colonne pour accélérer les requêtes.
Catalogue de données: Inventaire documenté des jeux de données, de leurs propriétaires et de leur qualité.