Constatant un usage accru des outils numériques reposants sur des algorithmes dans le cadre de la crise sanitaire et ce, dans de nombreux secteurs privés comme publics, la CNIL et le Défenseur des droits, institution indépendante pour la défense des droits des citoyens, ont souhaité rappeler l’impact de certains systèmes algorithmiques sur les droits fondamentaux.
Dans cette perspective, le Défenseur des droits a publié, en partenariat avec la CNIL, ses premières recommandations « Algorithmes : prévenir l’automatisation des discriminations ». https://www.defenseurdesdroits.fr/sites/default/files/atoms/files/synth-algos-num2-29.05.20.pdf
L’objectif affiché est de « mettre en lumière les risques considérables de discrimination que peuvent faire peser sur chacun et chacune d’entre nous l’usage exponentiel des algorithmes dans toutes les sphères de notre vie. », sachant que ce sujet est resté depuis trop longtemps un angle mort du débat public.
Deux constats s’imposent :
- Les algorithmes peuvent être discriminatoires car « conçus par des humains et à partir de données reflétant des pratiques humaines », favorisant ainsi l’existence de biais à toutes les étapes de l’élaboration et du déploiement des systèmes.
Des biais peuvent survenir du fait de l’utilisation de données biaisées intégrées aux systèmes algorithmiques ou mobilisées pour entraîner un système d’apprentissage automatique mais aussi en raison de la combinaison de plusieurs critères, en apparence neutres, peut avoir des effets discriminatoires.
- Les discriminations sont invisibles et potentiellement massives. Les effets discriminatoires de l’algorithme ne sont pas forcément mesurables à l’échelle individuelle et pourtant, une fois un biais discriminatoire intégré par un algorithme apprenant, celui-ci s’applique de manière automatique et risque de systématiser les discriminations.
Pour garantir le droit à la non-discrimination, la CNIL et le Défenseur des droits recommandent de :
- Former les professionnels, que ce soient ceux des métiers de l’informatique et de l’analyse des données ou encore ceux qui achètent et utilisent de tels procédés au sein des organisations, pour « garder la main » et un regard critique sur les algorithmes.
- Soutenir la recherche pour développer les études de mesure et les méthodologies de prévention des biais.
- Renforcer les obligations en matière d’information, de transparence et d’explicabilité des algorithmes en allant plus loin que les exigences légales posées par le RGPD, à savoir :
- en ne limitant pas cette obligation aux seuls algorithmes décisionnaires et à ceux opérant des traitements de données personnelles ;
- en visant à la fois les algorithmes du secteur privé et du secteur public ;
- en s’assurant d’une réelle intervention humaine dans les traitements algorithmiques ;
- en renforçant les obligations de transparence sur les critères utilisés par l’algorithme à l’égard des tiers ;
- en fournissant une information dans un langage accessible et intelligible au public et usagers ;
- en développant la compréhension et la vigilance des professionnels intervenant dans des processus algorithmiques.
- Réaliser des études d’impact pour anticiper les effets discriminatoires des algorithmes et ainsi évaluer les effets des systèmes dès la phase d’élaboration des algorithmes ou dans le cadre de leur apprentissage.
- Réaliser un contrôle régulier des effets des algorithmes après leur déploiement afin de pouvoir être corrigés, ce qui implique notamment une plus grande transparence des systèmes.
De nombreuses questions demeurent, aussi la CNIL et le Défenseur des droits entendent continuer leurs réflexions sur ce sujet et contribueront à celles des décideurs publics.
