HDFS et MapReduce : traitement distribué

Informatique de gestion · Bachelor 3

Stockage distribué HDFS et modèle MapReduce : principes, tolérance aux pannes.

Introduction

Quand les données dépassent la capacité d'une machine, il faut les répartir sur une grappe de serveurs. HDFS découpe les fichiers en blocs répliqués sur plusieurs noeuds, et MapReduce fait voyager le calcul vers les données plutôt que l'inverse.

Ce modèle a popularisé le traitement distribué sur du matériel standard : une panne de disque ou de serveur devient un événement normal, géré par le système, pas une catastrophe.

Ce deck explique les blocs et la réplication, les trois phases map, shuffle et reduce, et pourquoi les moteurs en mémoire comme Spark ont largement pris le relais pour de nombreux usages.

Objectifs d'apprentissage

Expliquer le découpage en blocs et la réplication de HDFS
Décrire les phases map, shuffle et reduce sur un exemple
Justifier la tolérance aux pannes par la réplication et la relance de tâches
Situer les limites de MapReduce

Concepts clés

HDFS: Fichiers découpés en gros blocs répliqués (souvent trois copies) sur des noeuds différents ; un noeud maître garde le catalogue des blocs.
Localité des données: Le calcul est envoyé aux noeuds qui hébergent déjà les blocs, ce qui limite les transferts réseau.
MapReduce: Map transforme chaque enregistrement en paires clé-valeur ; shuffle regroupe par clé ; reduce agrège les valeurs de chaque clé.
Tolérance aux pannes: Si un noeud tombe, les blocs sont disponibles via leurs répliques et les tâches échouées sont relancées ailleurs.
Limites: Écriture sur disque entre étapes : lent pour les algorithmes itératifs ; d'où l'essor de moteurs en mémoire.

Conclusion

HDFS et MapReduce ont posé les bases du big data : stockage réparti, calcul déplacé vers les données, pannes tolérées. Retenez le triplet map, shuffle, reduce et la réplication.

À l'examen, appliquez le modèle à un cas de comptage ou d'agrégation et expliquez ses limites face aux moteurs en mémoire.

Cartes

Que fait HDFS d'un gros fichier ?: Il le découpe en blocs répartis et répliqués sur plusieurs noeuds.
Pourquoi répliquer les blocs ?: Pour survivre à la panne d'un noeud sans perte de données.
Que fait la phase map ?: Elle transforme chaque enregistrement en paires clé-valeur.
Que fait la phase shuffle ?: Elle regroupe les paires par clé et les achemine vers les reducers.
Que fait la phase reduce ?: Elle agrège les valeurs associées à chaque clé.
Que signifie localité des données ?: Déplacer le calcul vers les données plutôt que les données vers le calcul.
Comment compter les mots d'un corpus en MapReduce ?: Map émet (mot, 1) ; reduce additionne les 1 pour chaque mot.
Pourquoi MapReduce est-il peu adapté aux algorithmes itératifs ?: Chaque itération écrit et relit le disque, ce qui est lent.
Quel est l'avantage du matériel standard ?: Un coût faible par noeud, avec les pannes absorbées par le logiciel.

Glossaire

HDFS: Système de fichiers distribué à blocs répliqués.
Réplication: Copie des blocs sur plusieurs noeuds.
Map: Phase qui produit des paires clé-valeur.
Shuffle: Regroupement des paires par clé entre map et reduce.
Reduce: Phase d'agrégation par clé.
Grappe: Ensemble de serveurs coopérant comme un système.