Régressions linéaire et logistique pour la prédiction

Informatique de gestion · Bachelor 3

Prédire une valeur ou une probabilité : coefficients, R², odds et interprétation métier.

Introduction

La régression est l'outil de base pour relier une variable à expliquer à des variables explicatives. La régression linéaire prédit une valeur numérique (le montant d'une facture, la demande d'un produit) en ajustant une droite ou un hyperplan par la méthode des moindres carrés, qui minimise la somme des carrés des écarts entre valeurs observées et prédites.

Le coefficient de détermination R² indique la part de variance expliquée, mais il augmente mécaniquement avec le nombre de variables. La validité du modèle repose sur des hypothèses: relation linéaire, résidus indépendants et de variance constante, absence de forte colinéarité entre explicatives.

Lorsque la cible est binaire (client qui résilie ou non, crédit remboursé ou non), on utilise la régression logistique, qui modélise la probabilité via la fonction logistique. Les coefficients s'interprètent en rapports de cotes (odds ratios). Corrélation n'est pas causalité: un modèle prédictif ne démontre pas qu'agir sur une variable changera le résultat.

Objectifs d'apprentissage

Expliquer le principe des moindres carrés
Interpréter coefficients et R² d'une régression linéaire
Citer les hypothèses et les problèmes courants
Choisir entre régression linéaire et logistique
Interpréter une probabilité prédite et un rapport de cotes

Concepts clés

Moindres carrés: Estimation des coefficients minimisant la somme des carrés des résidus.
R² et R² ajusté: R² mesure la variance expliquée; le R² ajusté pénalise l'ajout de variables inutiles.
Colinéarité: Fortes corrélations entre variables explicatives rendant les coefficients instables.
Régression logistique: Modèle de probabilité pour une cible binaire; sortie entre 0 et 1, seuil de décision à choisir.

Conclusion

Les régressions restent des références pour leur lisibilité: elles prédisent et expliquent. Leur bon usage exige de vérifier hypothèses et qualité des données.

La rigueur d'interprétation importe autant que l'ajustement statistique.

Cartes

Que représente un résidu ?: L'écart entre la valeur observée et la valeur prédite par le modèle.
Que minimise la méthode des moindres carrés ?: La somme des carrés des résidus.
Comment interpréter un coefficient de 12 pour la surface en m² (prix en milliers de CHF) ?: À autres variables constantes, un m² supplémentaire est associé à 12 000 CHF de plus en moyenne.
Que signifie un R² de 0,7 ?: Le modèle explique environ 70 % de la variance de la variable cible.
Pourquoi utiliser un R² ajusté ?: Parce que R² augmente avec chaque variable ajoutée même inutile; l'ajusté corrige cet effet.
Qu'est-ce que la multicolinéarité ?: La forte corrélation entre variables explicatives, qui rend l'estimation des effets individuels peu fiable.
Quand préférer une régression logistique ?: Quand la variable à prédire est binaire, comme résiliation oui/non.
Que renvoie le modèle logistique ?: Une probabilité entre 0 et 1, convertie en classe grâce à un seuil.
Qu'est-ce qu'un odds ratio supérieur à 1 ?: La variable augmente les chances de l'événement, toutes choses égales par ailleurs.
Pourquoi corrélation n'implique pas causalité ?: Une variable peut être liée au résultat par un facteur commun ou une relation inverse, sans effet causal.

Glossaire

Variable cible: Variable que l'on cherche à prédire ou expliquer.
Variable explicative: Variable utilisée pour prédire la cible.
Résidu: Écart entre observation et prédiction.
R²: Part de la variance de la cible expliquée par le modèle.
Odds ratio: Rapport de cotes mesurant l'effet d'une variable sur les chances d'un événement.
Seuil de décision: Probabilité à partir de laquelle on classe un cas comme positif.