Le Défenseur des droits a publié le 21 juin 2022 un avis intitulé « Pour une IA européenne protectrice et garante du principe de non-discrimination ». Cet avis a été réalisé conjointement avec Equinet, réseau européen des organismes de promotion de l’égalité, dont il est membre.
Ce rapport s’inscrit en outre dans le prolongement de deux rapports, qui n’étaient pas directement consacrés à l’Intelligence Artificielle, mais qui trouvent parfaitement application dans le contexte d’automatisation croissante des processus, et donc de démultiplication des discriminations associées : Algorithmes : prévenir l’automatisation des discriminations (2020) et Technologies biométriques : l’impératif respect des droits fondamentaux (2021).
Les recommandations émises dans cet avis sont centrées sur la lutte contre les discriminations algorithmiques et insistent sur le rôle que pourraient jouer les organismes européens de promotion de l’égalité dans ce cadre.
Les systèmes d’apprentissage automatique peuvent en effet comporter des biais, présents dès leur conception ou apparaissant en cours d’utilisation. Ces biais résultent de plusieurs facteurs : manque de représentativité des données utilisées pour entrainer les systèmes, renforcement de différences de traitement existantes (historiques et/ou inconscientes) du fait de l’automatisation des processus et du nombre de données traitées. Une des principales illustrations données est la présence de biais sexistes dans les systèmes de tris de CV, résultant des pratiques discriminatoires de recrutement.
Un peu moins d’une dizaine de recommandations sont formulées, parmi lesquelles :
- l’instauration, par chaque pays européen, de mécanismes de plaintes et de recours accessibles et efficaces en cas de violation des principes d’égalité et de non-discrimination ou d’autres droits fondamentaux, lorsqu’une telle violation résulte de l’utilisation de systèmes d’Intelligence Artificielle. Le rapport plaide pour que le règlement européen contienne des dispositions claires et explicites instituant un droit de recours individuel et collectif par les organismes de promotion de l’égalité et un droit à réparation, en cas de préjudice causé par tout système d’IA, et ce, quel que soit son niveau de risque (et non uniquement en cas de systèmes à hauts risques).
- la modification de ce que comprend l’« approche par les risques », promue par le projet de règlement européen. Le projet prévoit en effet des règles différentes selon le niveau de risque associé à l’usage des systèmes d’IA, la majorité des dispositions contraignantes visant les systèmes dits à « hauts risques ». Le rapport relève que les critères d’appréciation du niveau de risques (en termes d’incidence comme de préjudice) sont flous. L’approche privilégie serait ainsi essentiellement en lien avec la sécurité des produits, et ne reflèterait pas suffisamment les risques d’atteinte des droits fondamentaux des personnes. Pour le défenseur des droits, ces deux approches devraient être cumulatives.
- l’obligation de réaliser des analyses d’impact sur l’égalité a priori et a posteriori à intervalles réguliers durant l’ensemble du cycle de vie des systèmes d’IA, en impliquant de tiers. Ces analyses ne doivent en effet pas être exclusivement menées en interne, sous peine qu’elles soient exclusivement confiées à des opérationnels (ex : développeurs). Ces analyses devraient par ailleurs tenir compte des résultats des analyse d’impacts relatives à la protection des données (AIPD).
- l’opportunité d’introduire des « obligations d’égalité » contraignantes et opposables à tous les concepteurs et utilisateurs de systèmes d’Intelligence Artificielle.
Source : ici
