En mai dernier, le Défenseur des droits, en partenariat avec la CNIL, a publié un rapport visant à prévenir de l’automatisation des discriminations.
Retour sur ce rapport …
Celui-ci est le fruit d’une réflexion menée par des spécialistes, des chercheurs, des juristes et des développeurs autour des enjeux de transparence des algorithmes et des biais discriminatoires.
Le Défenseur des droits s’est saisi de ces questions suite à l’usage accru des outils numériques avec la crise sanitaire actuelle.
Se développant de manière exponentielle depuis plusieurs années, l’usage et la diversité des algorithmes connaissent un véritable essor notamment grâce aux technologies d’apprentissage automatique (machine learning).
Mais qu’est-ce que le machine learning ? C’est « une technologie d’intelligence artificielle permettant aux ordinateurs d’apprendre sans avoir été programmés explicitement à cet effet. » Cette technologie permet d’effectuer des prédictions à partir de données en se basant sur des statistiques.
Il existe de nombreux domaines d’utilisation de ces algorithmes tels que la police, les prestations sociales, la justice ou encore le recrutement. Ceux-ci sont source de progrès notamment lorsqu’il s’agit de trier, classer ou ordonner des informations en se débarrassant des préjugés humains, du moins, en apparence.
En réalité, ces algorithmes sont porteurs de risques pour les droits fondamentaux. Étant conçus par des humains à partir de données reflétant les pratiques humaines emprises de préjugés conscientes ou non, les algorithmes sont sujets à des biais.
Ces biais peuvent être intégrés à toutes les étapes de l’élaboration et du déploiement des systèmes.
Par ailleurs, certains biais intentionnels peuvent être issus de l’intégration dans un algorithme d’un critère discriminant (comme l’état de santé pour l’assurance) si leur utilisation est jugée proportionnée à une finalité légitime. À ce sujet, le Conseil d’État a rendu un arrêt le 30 octobre 2001. Il a pu considérer que la référence à la nationalité comme l’un des éléments de pur fait d’un calcul automatisé du risque, dont la mise en œuvre n’entraîne pas le rejet d’une demande sans l’examen individuel de celle-ci, ne constitue pas une discrimination.
De plus, la mobilisation de critères neutres en apparence peut avoir des effets discriminatoires comme en témoigne la décision du Défenseur des droits s’agissant de la plateforme Parcoursup. D’ailleurs, le plus souvent c’est la combinaison de plusieurs critères neutres qui peut emporter des effets discriminatoires.
Constat :
Les concepteurs d’algorithmes, comme les organisations achetant et utilisant ce type de système, n’affichent pas toujours la vigilance nécessaire pour éviter une forme d’automatisation invisible des discriminations. Les effets discriminatoires des algorithmes ne sont souvent mesurables par les chercheurs qu’à l’échelle de groupes et risquent de rester invisibles pour les victimes.
Le manque de transparence des systèmes et des corrélations de données permises par les algorithmes, souvent de manière invisible, rendent les protections offertes par le droit incertaines.
Comment assurer le droit à la non-discrimination algorithmique ?
Puisque le droit de la non-discrimination doit être respecté en toutes circonstances y compris quand une décision implique le recours à un algorithme, le Défenseur des droits énonce 4 recommandations :
- Former et sensibiliser les professionnels des métiers techniques et d’ingénierie informatique aux risques pesant sur les droits fondamentaux liés à l’utilisation des algorithmes.
- Soutenir la recherche pour développer les études de mesures et de prévention des biais et approfondir la notion de « fair learning » ;
- Renforcer les obligations légales en matière d’information, de transparence et d’explicabilité des algorithmes à l’égard des usagers et des personnes concernées, mais également des tiers et des professionnels ;
- Réaliser des études d’impact pour anticiper les effets discriminatoires des algorithmes et contrôler leur effet après leur déploiement ; au Canada, des audits qui incluent les enjeux de discriminations sont obligatoires pour les institutions publiques depuis le 1er avril 2020. Selon le Défenseur des droits, une telle obligation pourrait être introduite en France sur le modèle de l’AIPD (prévu par l’article 35 RGPD).
Finalement, le Défenseur des droits appelle à une prise de conscience collective. Il évoque la nécessité de se mobiliser dès maintenant pour prévenir et corriger ces discriminations, car il est fondamental de maintenir une grande vigilance quant aux conséquences de ces évolutions technologiques, mais aussi de les anticiper.
Virginie COLLIGNON DUCRET
M2 Cyberjustice – Promotion 2020/2021
Webographie :
https://juridique.defenseurdesdroits.fr/index.php?lvl=notice_display&id=27285
https://www.legifrance.gouv.fr/ceta/id/CETATEXT000008016670/
https://www.village-justice.com/articles/algorithmes-discriminations-defenseur-des-droits-prone-fair learning,35760.html