You are currently viewing Algorithmes et discriminations : un appel à la vigilance

En mai dernier, le Défenseur des droits, en partenariat avec la CNIL, a publié un rapport visant à prévenir de l’automatisation des discriminations.  

Retour sur ce rapport … 

Celui-ci est le fruit d’une réflexion menée par des spécialistes, des chercheurs, des juristes et des développeurs autour des enjeux de transparence des algorithmes et des biais discriminatoires.  

Le Défenseur des droits s’est saisi de ces questions suite à l’usage accru des outils numériques avec la crise sanitaire actuelle.  

Se développant de manière exponentielle depuis plusieurs années, l’usage et la diversité des algorithmes connaissent un véritable essor notamment grâce aux  technologies d’apprentissage automatique (machine learning).  

Mais qu’est-ce que le machine learning ? C’est « une technologie d’intelligence artificielle permettant aux ordinateurs d’apprendre sans avoir été programmés explicitement à cet effet. »  Cette technologie permet d’effectuer des prédictions à partir de données en se basant sur des statistiques.  

Il existe de nombreux domaines d’utilisation de ces algorithmes tels que la police, les prestations  sociales, la justice ou encore le recrutement. Ceux-ci sont source de progrès notamment lorsqu’il s’agit  de trier, classer ou ordonner des informations en se débarrassant des préjugés humains, du moins, en  apparence.  

En réalité, ces algorithmes sont porteurs de risques pour les droits fondamentaux. Étant conçus par  des humains à partir de données reflétant les pratiques humaines emprises de préjugés conscientes ou  non, les algorithmes sont sujets à des biais.  

Ces biais peuvent être intégrés à toutes les étapes de l’élaboration et du déploiement des systèmes.  

Par ailleurs, certains biais intentionnels peuvent être issus de l’intégration dans un algorithme d’un  critère discriminant (comme l’état de santé pour l’assurance) si leur utilisation est jugée proportionnée  à une finalité légitime. À ce sujet, le Conseil d’État a rendu un arrêt le 30 octobre 2001. Il a pu considérer  que la référence à la nationalité comme l’un des éléments de pur fait d’un calcul automatisé du risque,  dont la mise en œuvre n’entraîne pas le rejet d’une demande sans l’examen individuel de celle-ci, ne  constitue pas une discrimination.  

De plus, la mobilisation de critères neutres en apparence peut avoir des effets discriminatoires comme  en témoigne la décision du Défenseur des droits s’agissant de la plateforme Parcoursup. D’ailleurs, le  plus souvent c’est la combinaison de plusieurs critères neutres qui peut emporter des effets  discriminatoires.  

Constat : 

Les concepteurs d’algorithmes, comme les organisations achetant et utilisant ce type de système,  n’affichent pas toujours la vigilance nécessaire pour éviter une forme d’automatisation invisible des  discriminations. Les effets discriminatoires des algorithmes ne sont souvent mesurables par les  chercheurs qu’à l’échelle de groupes et risquent de rester invisibles pour les victimes.  

Le manque de transparence des systèmes et des corrélations de données permises par les algorithmes,  souvent de manière invisible, rendent les protections offertes par le droit incertaines. 

Comment assurer le droit à la non-discrimination algorithmique ? 

Puisque le droit de la non-discrimination doit être respecté en toutes circonstances y compris quand une  décision implique le recours à un algorithme, le Défenseur des droits énonce 4 recommandations : 

  • Former et sensibiliser les professionnels des métiers techniques et d’ingénierie informatique aux risques pesant sur les droits fondamentaux liés à l’utilisation des algorithmes.
  • Soutenir la recherche pour développer les études de mesures et de prévention des biais et  approfondir la notion de « fair learning » ;  
  • Renforcer les obligations légales en matière d’information, de transparence et d’explicabilité des  algorithmes à l’égard des usagers et des personnes concernées, mais également des tiers et des  professionnels ; 
  • Réaliser des études d’impact pour anticiper les effets discriminatoires des algorithmes et contrôler  leur effet après leur déploiement ; au Canada, des audits qui incluent les enjeux de discriminations  sont obligatoires pour les institutions publiques depuis le 1er avril 2020. Selon le Défenseur des droits,  une telle obligation pourrait être introduite en France sur le modèle de l’AIPD (prévu par l’article 35  RGPD).  

Finalement, le Défenseur des droits appelle à une prise de conscience collective. Il évoque la nécessité  de se mobiliser dès maintenant pour prévenir et corriger ces discriminations, car il est fondamental de  maintenir une grande vigilance quant aux conséquences de ces évolutions technologiques, mais aussi de  les anticiper.  

Virginie COLLIGNON DUCRET

M2 Cyberjustice – Promotion 2020/2021

Webographie : 

https://juridique.defenseurdesdroits.fr/index.php?lvl=notice_display&id=27285

https://www.legifrance.gouv.fr/ceta/id/CETATEXT000008016670/

https://www.village-justice.com/articles/algorithmes-discriminations-defenseur-des-droits-prone-fair learning,35760.html 

https://www.lebigdata.fr/machine-learning-et-big-data

https://www.defenseurdesdroits.fr/fr/a-la-une/2020/05/algorithmes-discriminatoires-le-defenseur-des-droits-et-la-cnil-reunissent-les