Biais de genre des algorithmes et de l'IA

Études genre · Master 1

Comment les données et l'IA reproduisent le sexisme : Gender Shades et recrutement automatisé.

Introduction

Les systèmes d'intelligence artificielle sont souvent présentés comme objectifs, parce qu'ils reposent sur des calculs. Pourtant, ils apprennent à partir de données produites par des sociétés inégalitaires, et ils sont conçus par des équipes peu diversifiées. Ils peuvent donc reproduire, voire amplifier, des discriminations de genre.

L'étude « Gender Shades » (2018) de Joy Buolamwini et Timnit Gebru a montré que des systèmes commerciaux de reconnaissance faciale avaient des taux d'erreur beaucoup plus élevés pour les femmes à la peau foncée que pour les hommes à la peau claire. Un outil expérimental de tri de candidatures, développé par Amazon et abandonné selon la presse en 2018, pénalisait des CV contenant des termes associés aux femmes.

Ce deck présente les sources de biais, des cas documentés et les pistes de régulation, notamment au regard du droit suisse de l'égalité.

Objectifs d'apprentissage

Identifier les trois sources principales de biais algorithmique : données, conception, usage
Décrire les résultats de Gender Shades et leur portée intersectionnelle
Expliquer pourquoi un algorithme de recrutement peut discriminer sans variable de genre explicite
Discuter des mesures de prévention et d'audit

Concepts clés

Biais des données: Un modèle entraîné sur des données historiques apprend les régularités du passé, y compris les inégalités. Si les embauches antérieures ont favorisé les hommes, le modèle associe le succès à des profils masculins.
Variables proxy: Même sans variable « sexe », un modèle peut utiliser des variables corrélées (intitulés de clubs, interruptions de carrière, mots du CV) et reproduire une discrimination indirecte.
Intersectionnalité des erreurs: Gender Shades a évalué les systèmes selon le genre et la couleur de peau. Les erreurs étaient les plus élevées pour les femmes à la peau foncée, ce qui montre que des moyennes globales peuvent masquer des disparités.

Conclusion

Les algorithmes ne sont pas neutres : ils reflètent les données, les choix de conception et les contextes d'usage. Les biais de genre peuvent apparaître même sans variable explicite, et les moyennes globales peuvent masquer des écarts importants entre groupes.

Pour l'examen, retenez Gender Shades, la notion de variable proxy et la responsabilité de l'employeur en droit suisse de l'égalité.

Cartes

Qu'est-ce que le biais algorithmique ?: Erreur systématique d'un système automatisé qui produit des résultats défavorables pour certains groupes, souvent à cause des données, de la conception ou du contexte d'usage.
Que montre l'étude Gender Shades ?: Des systèmes commerciaux de classification du genre par reconnaissance faciale avaient des taux d'erreur nettement plus élevés pour les femmes à la peau foncée que pour les hommes à la peau claire (Buolamwini et Gebru, 2018).
Pourquoi un outil de recrutement peut-il discriminer sans variable de genre ?: Parce qu'il peut utiliser des variables proxy corrélées au genre et apprendre des décisions passées biaisées.
Quel cas d'outil de tri de CV est souvent cité ?: Un outil expérimental d'Amazon, abandonné selon les médias en 2018, qui pénalisait les CV mentionnant des termes liés aux femmes, car il avait été entraîné sur des embauches majoritairement masculines.
Pourquoi les assistants vocaux sont-ils critiqués du point de vue du genre ?: Beaucoup ont une voix féminine par défaut et un rôle de service, ce qui peut renforcer l'association entre femmes et assistance. Un rapport de l'UNESCO (2019) a développé cette critique.
Qu'est-ce qu'un audit algorithmique ?: Évaluation indépendante des performances d'un système selon différents groupes pour détecter des disparités et documenter ses limites.
Qu'est-ce qu'une variable proxy ?: Variable apparemment neutre mais corrélée à une caractéristique protégée, comme un code postal ou un parcours interrompu.
Quel rôle joue la composition des équipes de conception ?: Des équipes peu diversifiées risquent de ne pas anticiper des usages ou des erreurs touchant des groupes absents, d'où l'intérêt d'équipes mixtes et de tests variés.
Quelle loi suisse s'applique à une discrimination par un employeur utilisant un algorithme ?: La loi sur l'égalité (LEg) interdit la discrimination fondée sur le sexe dans les rapports de travail, quel que soit l'outil utilisé ; l'employeur reste responsable de ses décisions.

Glossaire

Biais algorithmique: Résultat systématiquement défavorable pour certains groupes produit par un système automatisé.
Variable proxy: Variable neutre en apparence mais corrélée à une caractéristique protégée.
Discrimination indirecte: Règle neutre en apparence qui désavantage particulièrement un groupe.
Reconnaissance faciale: Technique d'identification ou de classification à partir d'images de visages.
Audit algorithmique: Évaluation d'un système pour mesurer ses performances selon les groupes.
Jeu de données d'entraînement: Données utilisées pour apprendre à un modèle à effectuer une tâche.