Quinze organisations non gouvernementales ont annoncé ce mercredi 16 octobre avoir saisi le Conseil d’État français concernant un algorithme de notation utilisé par la Caisse nationale des allocations familiales. Selon la CAF, ce programme IA permet de lutter contre les fraudes sociales en attribuant un score de suspicion aux allocataires. Les associations dénoncent un dispositif qui cible principalement les plus précaires, rappelant que le recours à ces systèmes de notation est illégal dans l’UE.

L’affaire de l’algorithme de notation utilisé par la Caisse nationale des allocations familiales en France a eu au moins le mérite de mettre en lumière la présence de ces programmes IA dans de nombreux services sociaux européens.

Plusieurs gouvernements des pays de l’UE invoquent diverses raisons pour les avoir mis en place. Certains justifient leur usage « pour détecter les fraudes », d’autres « pour assurer une meilleure distribution des ressources », ou encore « pour améliorer l’efficacité des systèmes administratifs ». Ces algorithmes de notation ont déjà été et sont toujours utilisés aux Pays-Bas, au Danemark ou encore en Serbie. L’Allemagne cherche aussi à les déployer dans ses administrations, afin de lutter contre la fraude aux prestations sociales.

Des outils IA vivement critiqués aux Pays-Bas

En janvier 2021, le gouvernement néerlandais avait même été contraint de démissionner après que ces algorithmes de notation ont accusé, à tort, des milliers de parents de fraudes. Au Danemark, le programme IA de l’administration des prestations publiques, qui s’est spécialisé dans le profilage ethnique des allocataires, leur attribue une mauvaise note selon leur nationalité.

« Le fonctionnement de ces dispositifs algorithmiques qui stigmatisent systématiquement des groupes de personnes déjà marginalisés est totalement opaque », dénonce Katia Roux, chargée de plaidoyer Libertés chez Amnesty International France : « De nombreuses ONG comme Amnesty International constatent que les États recourent de plus en plus aux technologies numériques dans le cadre de leur système de protection sociale, et notamment en Europe. Bien souvent, l’objectif affiché par les concepteurs de ces systèmes et les responsables des services publics qui les utilisent est généralement d’aider les gouvernements à mieux cibler les personnes ayant besoin d’aide sociale. Toutefois, il est très difficile d’avoir des informations détaillées sur le fonctionnement de ces algorithmes et le terme de “boîte noire” est tout à fait adapté pour les qualifier. La plupart du temps, ces technologies sont présentées comme étant des outils neutres, impartiaux, objectifs, efficaces, alors même qu’ils sont porteurs de discrimination qui reflètent inévitablement les préjugés et la vision du monde des personnes qui les ont conçus ».

Des algorithmes de « scoring » illégaux dans les pays de l’UE

Dans son arrêt de décembre 2023, la Cour de justice de l’Union européenne avait statué que tout type de notation automatisée était interdit en Europe, particulièrement quand un algorithme porte un préjudice de façon spécifique. Par ailleurs, le déploiement des systèmes IA, qui établissent un score de suspicion, contreviendrait à l’article 22 du RGPD. Le règlement de l’UE sur la protection des données proscrit également l’automatisation d’une prise de décision concernant un individu, qui serait basée sur le traitement de ses données personnelles, sans avoir obtenu son consentement explicite.

À lire aussiIntelligence artificielle: de quoi parle-t-on vraiment?