Projet IA : CRISP-DM, MLOps et dérive des modèles

Informatique de gestion · Master 2

Cycle de vie d'un projet d'IA : CRISP-DM, mise en production, surveillance et dérive des données.

Introduction

Un projet d'IA ne s'arrête pas à l'entraînement d'un modèle performant. La méthode CRISP-DM structure la démarche en six phases : compréhension du métier, compréhension des données, préparation des données, modélisation, évaluation et déploiement. Elle est itérative : l'évaluation conduit souvent à revenir sur les données ou sur la définition du problème.

La grande majorité de l'effort porte sur les données : qualité, étiquetage, construction de variables, éviter la fuite d'information entre jeu d'entraînement et de test. Le modèle retenu doit être évalué à la fois par des métriques techniques et par des indicateurs métier, car un bon score ne garantit pas une valeur réelle.

Une fois en production, les performances se dégradent si les données ou les relations évoluent : c'est la dérive des données ou du concept. Le MLOps applique aux modèles des pratiques d'ingénierie : versionnement, tests, déploiement automatisé, surveillance et réentraînement contrôlé.

Objectifs d'apprentissage

Décrire les six phases de CRISP-DM
Reconnaître les causes de fuite d'information dans un projet
Relier métriques techniques et indicateurs métier
Distinguer dérive des données et dérive du concept
Définir un dispositif de surveillance et de réentraînement

Concepts clés

CRISP-DM: Cycle itératif : métier, données, préparation, modélisation, évaluation, déploiement.
Fuite d'information: Utilisation lors de l'entraînement d'informations indisponibles au moment de la prédiction réelle, qui gonfle artificiellement les scores.
Dérive: Dérive des données : la distribution des entrées change. Dérive du concept : la relation entrée-sortie change.
MLOps: Versionnement, automatisation, surveillance et gouvernance du cycle de vie des modèles.

Conclusion

Un projet d'IA est un cycle continu où la qualité des données et la surveillance comptent autant que le choix du modèle. CRISP-DM donne le cadre, le MLOps l'exploitation durable.

Surveiller la dérive et conserver une traçabilité complète sont des conditions de confiance.

Cartes

Quelles sont les phases de CRISP-DM ?: Compréhension du métier, des données, préparation, modélisation, évaluation, déploiement.
Pourquoi CRISP-DM est-il itératif ?: Les résultats d'une phase peuvent obliger à revenir sur les précédentes, notamment sur les données.
Qu'est-ce que la fuite d'information ?: L'utilisation d'informations non disponibles au moment de la prédiction, qui fausse l'évaluation.
Pourquoi séparer entraînement et test ?: Pour estimer la performance sur des données nouvelles et détecter le surapprentissage.
Qu'est-ce qu'une dérive des données ?: Un changement de distribution des entrées par rapport à l'entraînement.
Qu'est-ce qu'une dérive du concept ?: Un changement de la relation entre entrées et résultat, rendant le modèle moins pertinent.
Que surveille-t-on en production ?: La qualité des entrées, les distributions, les performances et les indicateurs métier.
Qu'est-ce que le MLOps ?: Un ensemble de pratiques pour déployer, surveiller et maintenir des modèles de façon fiable et reproductible.
Pourquoi versionner données et modèles ?: Pour reproduire un résultat, auditer une décision et revenir à une version antérieure.

Glossaire

CRISP-DM: Méthode standard en six phases pour projets de fouille de données.
Fuite de données: Information indisponible en réel utilisée à l'entraînement.
Surapprentissage: Modèle trop adapté aux données d'entraînement.
Dérive des données: Évolution de la distribution des entrées.
Dérive du concept: Évolution de la relation entre entrées et cible.
MLOps: Ingénierie du cycle de vie des modèles.