Causalité et plans d'évaluation de politiques

Administration publique & politiques publiques · Master 2

Attribution causale, contrefactuel, groupes témoins et quasi-expérimentation en évaluation.

Introduction

Démontrer qu'une politique a produit un effet suppose de répondre à une question contrefactuelle : que serait-il arrivé en son absence ? Comme on n'observe jamais les deux situations pour les mêmes personnes, l'évaluateur construit une comparaison crédible, qui rend l'attribution causale plausible.

Les plans d'évaluation vont de l'expérimentation contrôlée aléatoire, où les participants sont tirés au sort, aux plans quasi-expérimentaux : comparaison avant-après, groupes témoins non équivalents, différences-de-différences, discontinuité de régression. Chacun répond à des menaces spécifiques pour la validité interne (biais de sélection, événements concomitants, effet de maturation).

Ce deck s'adresse à un niveau Master : il s'agit d'articuler le choix d'une méthode avec les contraintes éthiques, juridiques et budgétaires propres à l'action publique suisse, où l'égalité de traitement limite parfois l'usage du tirage au sort.

Objectifs d'apprentissage

Définir le contrefactuel et le problème d'attribution
Comparer expérimentation et plans quasi-expérimentaux
Identifier les menaces à la validité interne
Distinguer validité interne et externe
Choisir un plan adapté à un contexte public donné

Concepts clés

Contrefactuel: Situation hypothétique de ce qui serait arrivé sans la politique.
Expérimentation aléatoire: Tirage au sort entre groupe traité et groupe témoin pour neutraliser les différences initiales.
Quasi-expérimentation: Comparaison construite sans tirage au sort, avec des contrôles statistiques.
Différences-de-différences: Comparaison de l'évolution d'un groupe traité et d'un groupe témoin dans le temps.
Validité: Interne : l'effet est-il causé par la politique ? Externe : est-il généralisable ?

Conclusion

L'attribution causale est l'exigence centrale d'une évaluation d'impact. Aucun plan n'est parfait : le choix dépend des questions posées, des données, de l'éthique et du droit.

À retenir : contrefactuel, groupe témoin, menaces à la validité interne et arbitrage entre rigueur et faisabilité.

Cartes

Qu'est-ce que le problème fondamental de l'inférence causale ?: On ne peut observer pour la même unité à la fois la situation avec et sans la politique.
Qu'est-ce qu'un contrefactuel ?: Une estimation de ce qui serait arrivé en l'absence de la politique.
Pourquoi le tirage au sort aide-t-il ?: Il rend les groupes comparables en moyenne, ce qui isole l'effet de la politique.
Qu'est-ce qu'un groupe témoin ?: Un groupe non exposé à la politique, utilisé pour approcher le contrefactuel.
En quoi consiste la méthode des différences-de-différences ?: Comparer l'évolution avant-après du groupe traité avec celle du groupe témoin.
Qu'est-ce qu'un biais de sélection ?: Une distorsion due au fait que les participants diffèrent systématiquement des non-participants.
Que menace un événement concomitant ?: La validité interne : un autre événement peut expliquer le changement observé.
Qu'est-ce que la validité externe ?: La possibilité de généraliser les résultats à d'autres contextes ou populations.
Quel obstacle juridique peut limiter le tirage au sort dans le secteur public ?: Le principe d'égalité de traitement.
Qu'est-ce qu'un projet pilote ?: Une mise en œuvre limitée dans le temps ou l'espace, qui permet de tester et d'évaluer avant une généralisation.
Pourquoi trianguler les méthodes ?: Parce que les approches quantitatives et qualitatives se complètent pour comprendre les effets et leurs mécanismes.

Glossaire

Attribution causale: Démonstration que l'effet observé est dû à la politique et non à d'autres facteurs.
Groupe témoin: Groupe de comparaison non soumis à l'intervention.
Randomisation: Affectation aléatoire des unités aux groupes traité et témoin.
Discontinuité de régression: Méthode comparant les unités situées juste au-dessus et juste au-dessous d'un seuil d'éligibilité.
Biais de sélection: Écart systématique entre participants et non-participants faussant la comparaison.
Validité externe: Capacité de généraliser un résultat hors du cadre étudié.