# Évaluer un modèle : matrice de confusion et validation croisée Informatique de gestion · Master 1 > Précision, rappel, F1, surapprentissage, jeu de test et validation croisée. ## Introduction Un modèle n'a de valeur que par sa performance sur des données qu'il n'a pas vues. On sépare donc les données en jeu d'entraînement, pour ajuster le modèle, et jeu de test, pour l'évaluer. La validation croisée à k plis répète l'opération sur plusieurs découpages pour obtenir une estimation plus stable. Pour la classification, la matrice de confusion croise classes réelles et prédites: vrais positifs, faux positifs, vrais négatifs, faux négatifs. On en tire l'exactitude, la précision (parmi les alertes, combien sont justes), le rappel (parmi les cas réels, combien sont détectés) et le score F1, moyenne harmonique des deux. L'exactitude seule trompe quand les classes sont déséquilibrées. Le surapprentissage survient quand le modèle mémorise le bruit de l'entraînement et généralise mal. La fuite de données, utiliser par erreur une information indisponible au moment de la décision, produit des performances illusoires. Le choix de la métrique doit refléter le coût métier des erreurs. ## Objectifs d'apprentissage - Lire une matrice de confusion et calculer précision et rappel - Choisir la métrique adaptée au coût des erreurs - Expliquer surapprentissage et sous-apprentissage - Appliquer découpage train/test et validation croisée - Identifier un cas de fuite de données ## Concepts clés - **Matrice de confusion** : Tableau VP, FP, VN, FN; base de toutes les métriques de classification. - **Précision vs rappel** : Précision = VP/(VP+FP); rappel = VP/(VP+FN). Arbitrage selon le coût des faux positifs ou négatifs. - **Surapprentissage** : Bonne performance à l'entraînement, mauvaise sur de nouvelles données; limité par régularisation, simplification, plus de données. - **Validation croisée** : Moyenne des performances sur k découpages; utile quand les données sont peu nombreuses. ## Conclusion Évaluer correctement un modèle suppose des données de test indépendantes, des métriques alignées sur les coûts métier et une vigilance constante face à la fuite de données. Un bon score hors contexte ne dit rien: seul l'impact des erreurs dans l'entreprise compte. ## Cartes ### Qu'est-ce qu'un faux positif ? Un cas prédit positif alors qu'il est réellement négatif, comme une fausse alerte de fraude. ### Qu'est-ce qu'un faux négatif ? Un cas positif non détecté, comme une fraude passée inaperçue. ### Formule de la précision ? VP / (VP + FP): la part des prédictions positives qui sont correctes. ### Formule du rappel ? VP / (VP + FN): la part des vrais cas positifs détectés. ### Qu'est-ce que le score F1 ? La moyenne harmonique de la précision et du rappel. ### Pourquoi l'exactitude peut-elle tromper ? Avec 1 % de fraudes, un modèle qui prédit toujours non-fraude atteint 99 % d'exactitude sans rien détecter. ### Que représente la courbe ROC ? Le taux de vrais positifs en fonction du taux de faux positifs selon le seuil; l'aire sous la courbe (AUC) la résume. ### Qu'est-ce que le surapprentissage ? Un modèle trop adapté au bruit de l'entraînement qui généralise mal. ### Principe de la validation croisée à 5 plis ? On entraîne sur 4 plis et teste sur le 5e, en tournant 5 fois, puis on moyenne. ### Exemple de fuite de données ? Utiliser le statut de résiliation final comme variable pour prédire la résiliation. ## Glossaire - **Matrice de confusion** : Tableau croisant classes réelles et prédites. - **Précision** : Part des prédictions positives correctes. - **Rappel** : Part des cas positifs réels détectés. - **Score F1** : Moyenne harmonique de précision et rappel. - **Surapprentissage** : Excès d'adaptation au jeu d'entraînement. - **Fuite de données** : Utilisation d'information indisponible lors de la prédiction réelle. https://ruvy.ch/decks/-P5CX9mHvXF76CFIXnd0