Arbres, forêts aléatoires et gradient boosting en tarification

Sciences actuarielles · Master 1

Arbres de décision, forêts aléatoires et boosting appliqués à la fréquence des sinistres.

Introduction

Les méthodes d'ensemble fondées sur des arbres sont devenues un complément courant du modèle linéaire généralisé (GLM) en tarification non-vie. Un arbre partitionne l'espace des variables explicatives (âge du conducteur, puissance, région) en zones homogènes et prédit une valeur constante dans chacune. Pris isolément, il est instable : un léger changement des données modifie fortement sa structure.

La forêt aléatoire réduit cette variance en moyennant de nombreux arbres entraînés sur des échantillons bootstrap, avec un tirage aléatoire des variables à chaque coupure. Le gradient boosting procède autrement : il construit des arbres peu profonds en séquence, chacun corrigeant les erreurs du précédent en suivant le gradient d'une fonction de perte, par exemple la déviance de Poisson pour une fréquence. Ces modèles captent interactions et non-linéarités sans spécification manuelle, au prix d'une moindre transparence.

Objectifs d'apprentissage

Décrire la construction d'un arbre de régression et son critère de coupure
Distinguer bagging (forêt aléatoire) et boosting
Choisir une perte adaptée à la fréquence (déviance de Poisson)
Régler les principaux hyperparamètres et limiter le surapprentissage
Comparer un modèle d'arbres à un GLM selon précision et lisibilité

Concepts clés

Arbre de décision: Partition récursive de l'espace des variables en zones où la prédiction est constante. Chaque coupure choisit la variable et le seuil qui réduisent le plus l'impureté (variance ou déviance). Un arbre profond sur-apprend, un arbre élagué est plus stable.
Bagging et forêt aléatoire: On entraîne B arbres sur des échantillons bootstrap et on moyenne leurs prédictions. La forêt aléatoire ajoute un tirage de m variables candidates à chaque coupure, ce qui décorrèle les arbres et diminue la variance de la moyenne.
Gradient boosting: Modèle additif construit séquentiellement : chaque nouvel arbre ajusté sur le gradient négatif de la perte (les pseudo-résidus), pondéré par un taux d'apprentissage ν. Un petit ν et davantage d'arbres améliorent en général la généralisation.
Perte adaptée au risque: En fréquence, on minimise la déviance de Poisson avec un offset d'exposition (log de la durée de couverture). Utiliser l'erreur quadratique sur une fréquence très asymétrique conduit à de mauvaises prédictions pour les profils rares.

Conclusion

Les méthodes d'arbres offrent un gain de précision réel lorsque les interactions comptent, mais elles exigent une validation rigoureuse et une gouvernance du modèle. En pratique, elles s'utilisent souvent en complément d'un GLM, par exemple pour détecter des interactions à intégrer ensuite dans le modèle linéaire.

Retenez le triptyque : bagging pour réduire la variance, boosting pour réduire le biais, validation pour contrôler le surapprentissage.

Cartes

Quelle est la principale faiblesse d'un arbre de décision isolé ?: Une forte variance : de petits changements dans les données peuvent modifier profondément la structure de l'arbre.
Que fait la forêt aléatoire à chaque coupure d'un arbre ?: Elle ne considère qu'un sous-ensemble tiré au hasard de variables, ce qui décorrèle les arbres.
Bagging ou boosting : lequel réduit surtout la variance ?: Le bagging. Le boosting réduit surtout le biais en corrigeant séquentiellement les erreurs.
Que représentent les pseudo-résidus en gradient boosting ?: Le gradient négatif de la fonction de perte par rapport à la prédiction courante, que le nouvel arbre cherche à approcher.
Pourquoi utiliser un offset d'exposition dans un modèle de fréquence ?: Pour que la prédiction soit proportionnelle à la durée de présence en risque : un contrat couvert six mois génère en moyenne moitié moins de sinistres.
Quel est le rôle du taux d'apprentissage ν ?: Il réduit la contribution de chaque arbre ; plus il est petit, plus il faut d'arbres, mais plus le modèle généralise bien.
Comment détecter le surapprentissage d'un modèle boosté ?: En suivant l'erreur sur un échantillon de validation : elle remonte alors que l'erreur d'entraînement continue de baisser, d'où l'arrêt anticipé.
Quel avantage conserve le GLM face au boosting ?: La lisibilité : chaque coefficient se traduit en relativité tarifaire explicable au client et au régulateur.
Que mesure l'erreur « out-of-bag » d'une forêt ?: L'erreur calculée pour chaque observation avec les seuls arbres qui ne l'ont pas utilisée à l'entraînement, une validation interne sans échantillon séparé.

Glossaire

Hyperparamètre: Réglage fixé avant l'entraînement (profondeur maximale, nombre d'arbres, taux d'apprentissage), par opposition aux paramètres appris sur les données.
Surapprentissage: Situation où le modèle épouse le bruit de l'échantillon d'entraînement et généralise mal à de nouveaux contrats.
Bootstrap: Tirage aléatoire avec remise d'un échantillon de même taille que l'original, base du bagging.
Importance des variables: Mesure de la contribution de chaque variable aux prédictions, par exemple via la réduction totale de perte qu'elle apporte.
Arrêt anticipé: Interruption du boosting quand la perte de validation cesse de s'améliorer.
Interaction: Effet combiné de deux variables qui ne se réduit pas à la somme de leurs effets séparés.