Prestations sociales : des allocataires contre la traque algorithmique

En Europe, services publics et administration ont recours, dans une volonté d’efficacité et de lutte contre la fraude, à des systèmes de classement automatisés. Face à ces pratiques dont les conséquences sont parfois dramatiques sur la vie des bénéficiaires, les sociétés civiles se mobilisent.

Avec

• Soizic Pénicaud, Cofondatrice de l’Observatoire des algorithmes publics (Odap) et enseignante à Sciences Po Paris
• Vincent Dubois, Sociologue et politiste, professeur à l’Institut d’Études Politiques de Strasbourg et membre du laboratoire Sage
• Félix Tréguer, Politiste, chercheur associé au Centre Internet et Société du CNRS

Que ce soit aux Pays-Bas en 2021, en Serbie et en France en 2023, ou au Danemark en 2024, des affaires similaires ont éclaté et ont révélé que, sous couvert d’efficacité, des services publics ont recouru à des systèmes automatisés pour classer les bénéficiaires des allocations et lutter contre les fraudes potentielle.

À chaque fois, les administrations sociales ont adossé leurs politiques à des algorithmes de scoring. Des critères comme la situation familiale, le sexe, le lieu de résidence, le handicap, la nationalité ont permis de réaliser des "scores de risque" pour détecter des profils suspects. En se basant sur les résultats de ces outils numériques, la Caisse nationale d’allocations familiales et France Travail, tout comme leurs homologues européens, ont ainsi réclamé des trop-perçus à des allocataires pourtant dans leur droit. Certaines familles ont plongé dans la pauvreté, des mères célibataires se sont vu enlever leurs enfants sur la base de calculs erronés.

Face à ces pratiques, journalistes, ONG, bénéficiaires mais aussi travailleurs sociaux des institutions concernées se mobilisent pour dénoncer une technologie mise au service d’objectifs politiques.

Aux Pays-Bas, le gouvernement a fini par reconnaître les erreurs et une commission spéciale est chargée depuis d’évaluer le préjudice subi. Mais le travail d’indemnisation prend du temps et toutes les erreurs ne sont pas réparables. La justice a donc été saisie pour de nombreux cas.

En France, une plainte a été déposée devant le Conseil d’État par une coalition de vingt-cinq organisations de la société civile – françaises mais aussi européennes – pour exiger l’arrêt de l’algorithme d’évaluation des risques utilisé par la CNAF. La juridiction ne s’est pas encore prononcée.

Parmi les plaignants, l’association La Quadrature du Net, qui défend les libertés fondamentales dans l’environnement numérique, vient de publier une enquête sur l’expérimentation par France Travail d’un outil d’IA générative pour le contrôle des personnes inscrites.

Comment sont justifiés les systèmes d’aide à la décision automatisée, et quels sont les effets réels observés lors de leur mise en œuvre ?

Comment l’utilisation des algorithmes de scoring a-t-elle entraîné des pratiques discriminatoires et ciblé davantage les publics les plus fragiles ?

Quels ajustements ont été faits par les États européens après les différents scandales ?

Comment l’IA générative est-elle aujourd’hui envisagée pour mieux anticiper les risques ?

Julie Gacon s’entretient avec Soizic Pénicaud et Vincent Dubois.

Focus - Aux États-Unis, la riposte contre les caméras Flock s’organise

Avec Félix Tréguer, politiste, chercheur associé au Centre Internet et Société du CNRS.

Née aux États-Unis, la « safe city » se heurte à une résistance citoyenne croissante. La mobilisation contre la vidéosurveillance algorithmique des caméras « Flock » prend ainsi de l’ampleur depuis un an et s’appuie sur les protestations contre les violences policières et les dérives de l’ICE.

Ce combat contre la « technopolice » gagne désormais le Congrès américain, où des élus réclament l’encadrement ou l’interdiction pure et simple de ces caméras déployées dans de nombreuses villes américaines.

Pour aller plus loin

• Vincent Dubois, Contrôler les assistés. Genèses et usages d’un mot d’ordre, Raisons d’agir, 2021
• Félix Tréguer, Technopolice : la surveillance policière à l’ère de l’intelligence artificielle, Divergences, 2024