Le rapport reconnait que l’IA offre de grandes possibilités dans le domaine des services répressifs et de la justice pénale, notamment pour améliorer les méthodes de travail et lutter plus efficacement contre certains types de criminalité (criminalité financière, le blanchiment de capitaux certains types de cybercriminalité, etc)
Le projet de rapport précise notamment que dans le domaine judiciaire, les outils d’IA peuvent être utilisés pour calculer les probabilités de récidive et pour déterminer la probation ou décider de la peine.
Le Parlement rappelle que l’IA comporte un certain nombre de risques potentiels, « tels que l’opacité de la prise de décision, différents types de discrimination, l’intrusion dans notre vie privée, les défis en matière de protection des données à caractère personnel, de la dignité humaine et de la liberté d’expression et d’information » et est également vulnérable aux attaques par l’intermédiaire de l’IA impliquant des dommages potentiellement encore plus importants.
Ces risques sont aggravés dans le secteur de la répression et de la justice pénale en raison d’une atteinte possible à la présomption d’innocence, aux droits fondamentaux à la liberté et à la sûreté de la personne au droit à un recours effectif et à un procès équitable.
Le projet de rapport préconise que les solutions d’IA à des fins répressives et judiciaires respectent un certain nombre de droits et principes fondamentaux. Sont pointés notamment :
- Le cadre juridique de l’Union en matière de protection des données et de la vie privée, du fait du traitement d’un volume important de données dont des données à caractère personnel ;
- Les principes tels que de non-discrimination, de liberté de circulation, de présomption d’innocence et de droits de la défense, de liberté d’expression et d’information, de liberté de réunion et d’association, d’égalité devant la loi et de droit à un recours effectif et à un procès équitable
Pour le Parlement, un outil d’IA « devrait, au minimum, être sûr, sécurisé et adapté à l’usage prévu, respecter les principes d’équité, de responsabilité, de transparence et d’explicabilité, et faire en sorte que son déploiement soit soumis à un contrôle strict de la nécessité et de la proportionnalité ; »
Le Parlement souligne notamment :
- le potentiel de parti pris et de discrimination découlant de l’utilisation de l’apprentissage automatique et des applications d’IA, notamment des biais qui peuvent être inhérents à des séries de données sous-jacentes,
- que de nombreuses technologies d’identification fondées sur des algorithmes commettent un nombre disproportionné d’erreurs d’identification sur les personnes non blanches, les enfants, les personnes âgées et les femmes,
- l’asymétrie de pouvoir entre ceux qui développent et emploient des technologies d’IA et ceux qui interagissent et y sont soumis,
- les aspects liés à la sécurité et à la sûreté des systèmes d’IA utilisés par les services répressifs doivent être soigneusement examinés et suffisamment solides et résilients pour prévenir les conséquences potentiellement catastrophiques d’attaques malveillantes contre les systèmes d’IA.
Le Parlement propose de créer un régime clair et équitable pour l’attribution de la responsabilité juridique des conséquences négatives potentielles de ces technologies numériques avancées.
Il considère également que la décision finale doit toujours être prise par un être humain, qui peut être tenu responsable des décisions prises, et comporter une possibilité de recours.
Le Parlement formule, enfin, un certain nombre de demandes :
- Que les algorithmes soient explicables et transparents,
- Que les systèmes d’IA fassent l’objet d’une traçabilité,
- Qu’une étude d’impact obligatoire sur les droits fondamentaux soit réalisée avant la mise en œuvre ou le déploiement de tout système d’IA des fins répressives ou judiciaires,
- Un audit périodique et obligatoire de tous les systèmes d’IA utilisés par les services répressifs et judiciaires,
- Un moratoire pour le déploiement des systèmes de reconnaissance faciale à des fins répressives.
