Forêts aléatoires et gradient boosting

Informatique de gestion · Master 1

Méthodes d'ensemble : bagging, forêts aléatoires, boosting, réglage et interprétation.

Introduction

Un arbre de décision seul est lisible mais instable : de petites variations des données changent sa structure. Les méthodes d'ensemble combinent de nombreux modèles faibles pour obtenir un modèle plus précis et plus robuste.

Le bagging, dont la forêt aléatoire est l'exemple principal, réduit la variance en moyennant des arbres entraînés sur des échantillons différents. Le boosting construit les arbres séquentiellement, chacun corrigeant les erreurs des précédents, et réduit surtout le biais.

Ce deck compare ces familles, leurs hyperparamètres, leur risque de surapprentissage et la façon d'interpréter leurs résultats dans un contexte de gestion.

Objectifs d'apprentissage

Expliquer bagging et boosting et leur effet sur variance et biais
Décrire une forêt aléatoire et ses hyperparamètres clés
Décrire le principe du gradient boosting
Interpréter l'importance des variables avec prudence

Concepts clés

Bagging: On entraîne chaque modèle sur un échantillon bootstrap puis on moyenne ou vote : la variance diminue.
Forêt aléatoire: Bagging d'arbres avec, à chaque séparation, un sous-ensemble aléatoire de variables, ce qui décorrèle les arbres.
Gradient boosting: Arbres ajoutés un à un, chacun ajusté aux erreurs de l'ensemble courant, avec un taux d'apprentissage.
Réglage: Nombre d'arbres, profondeur, taux d'apprentissage et sous-échantillonnage ; validation croisée et arrêt précoce contre le surapprentissage.
Interprétation: L'importance des variables aide à comprendre mais peut être trompeuse en cas de variables corrélées ; ce n'est pas une causalité.

Conclusion

Forêts aléatoires et gradient boosting figurent parmi les modèles les plus performants sur données tabulaires de gestion. Retenez : bagging contre variance, boosting contre biais, validation rigoureuse et interprétation prudente.

Pour l'examen, sachez expliquer ces deux méthodes, leurs hyperparamètres et leurs risques.

Cartes

Pourquoi un arbre seul est-il instable ?: De petites variations des données peuvent changer fortement sa structure : variance élevée.
Qu'est-ce qu'un échantillon bootstrap ?: Un tirage aléatoire avec remise, de même taille que les données d'origine.
Que réduit surtout le bagging ?: La variance du modèle.
Pourquoi choisir un sous-ensemble de variables à chaque séparation ?: Pour décorréler les arbres et rendre la moyenne plus efficace.
Qu'est-ce que l'erreur out-of-bag ?: L'erreur estimée sur les observations non tirées dans l'échantillon bootstrap de chaque arbre.
Que réduit surtout le boosting ?: Le biais, en corrigeant séquentiellement les erreurs.
Quel est le rôle du taux d'apprentissage ?: Pondérer la contribution de chaque arbre ; plus petit, il demande plus d'arbres mais généralise souvent mieux.
Comment limiter le surapprentissage du boosting ?: Arrêt précoce, profondeur limitée, régularisation et validation croisée.
Pourquoi l'importance des variables peut-elle tromper ?: Les variables corrélées se partagent l'importance, et elle ne prouve aucune causalité.

Glossaire

Bagging: Agrégation de modèles entraînés sur des échantillons bootstrap.
Forêt aléatoire: Ensemble d'arbres décorrélés par tirage de variables.
Gradient boosting: Ensemble séquentiel d'arbres corrigeant les erreurs.
Erreur out-of-bag: Estimation d'erreur sans jeu de test séparé.
Arrêt précoce: Arrêt de l'entraînement quand l'erreur de validation cesse de s'améliorer.
Importance des variables: Mesure de la contribution d'une variable aux prédictions.