Débat du 9 juin à l’amicale du Crêt de Roch à Saint-Etienne
Pour la présentation, écouter l’enregistrement :
https://halteaucontrolenumerique.fr/?p=1152
A la CAF, à Pôle emploi et ailleurs, l’Etat s’appuie sur les technologies numériques, particulièrement l’IA, pour débusquer ceux qui abuseraient des prestations sociales. Cette « bonne gestion » affichée par les doctrines libérales est l’un des alibis avancés pour privatiser des pans entiers de l’administration, sous couvert de solutionnisme technologique.
Depuis une dizaine d’années, le propos des politiques est de limiter les dépenses publiques, notamment avec l’aide de l’intelligence artificielle (1). Précédemment, les politiques sociales se fondaient sur une approche collective, fixant la norme et ce qui s’en éloigne. Désormais, d’après le sociologue Vincent Dubois (2), « l’unité de base n’est plus la population mais les comportements individuels qu’on cherche à prédire. Le risque n’est plus la maladie, la vieillesse ou la mort, mais la morale personnelle » en scrutant à la loupe le mode de vie des allocataires.
Ciblage des pauvres
Pour débusquer les fraudeurs, la Caisse d’allocations familiales (CAF) — qui verse notamment le RSA — expérimente des algorithmes depuis 2004, et a généralisé le data mining depuis 2011. C’est-à-dire l’exploration de données diverses, de l’état civil aux habitudes de consommation, compilées et croisées de façon discrétionnaire. Ces outils auraient un impact sur la vie de près de 13 millions de foyers. Trente millions de personnes en tout. Près d’un Français sur deux. Combien en sont correctement informés ?
Ces organismes peuvent s’appuyer sur quantité de bases de données qui n’ont pas grand-chose à envier à la police. Ainsi, la CAF consignerait pas moins de mille données différentes par allocataire. De quoi cartographier leur quotidien et leur entourage. Dans un tel système, plus de place pour l’erreur ou l’oubli, seulement pour la surveillance et la punition. De quoi creuser inexorablement les inégalités. « Seuls les pauvres sont placés sous le microscope de la clarté scientifique« , écrit la politologue américaine Virginia Eubanks dans Automating Inequality (3), évoquant la création d’ »hospices digitaux » qui mettent les plus démunis au ban de la société.
Dans un rapport traitant de la lutte contre la fraude aux prestations sociales (4), la députée LREM Carole Grandjean et la sénatrice Nathalie Goulet (Union centriste) plaidaient pour un élargissement des outils de data mining à Pôle emploi (qui en possède déjà plusieurs, poétiquement baptisés Sillage ou Ocapi).
Certains sont plus visés que d’autres : ainsi, une circulaire de 2012 de la CAF recommandait de cibler les personnes nées hors de l’Union européenne lors des contrôles. Pour le défenseur des droits, « Les ciblages discriminatoires, quelle que soit la technologie employée, ne font que relayer préjugés et stéréotypes, conduisant à une surreprésentation de ces populations parmi les fraudeurs.«
Vincent Dubois le confirme : « L’usage des technologies de statistique prédictive conduit à intensifier le ciblage intrusif des populations les plus précaires. L’informatisation produit non seulement un effet de déshumanisation, mais aussi de déréalisation » car « Les situations personnelles n’existent plus que sous une forme abstraite, sans tenir compte des réalités sociales ou humaines. »
La fraude sociale par les allocataires est pourtant estimée à deux milliards d’euros, donc bien inférieure à l’évasion fiscale, évaluée entre 80 et 100 milliards d’euros par an, mais aussi au non versement de cotisations par les employeurs… Mais ces derniers ne sont pas suspectés d’abuser de la générosité publique.
Combats européens contre l’algorithmisation de l’administration
Deux combats européens (gagnés !) contre l’usage abusif des outils numériques en matière de contrôle social sont à relever :
– aux Pays-Bas, une coalition d’ONG (Platform Bescherming Burgerrechten) (5) a réussi à obtenir en février 2020 le démantèlement d’un dispositif algorithme de profilage des individus nommé SyRI (System risk indication). Il permettait aux organismes sociaux de combiner des données à caractère privé sur l’emploi, les dettes, l’éducation, le logement. Pour le tribunal, SyRI viole la Convention européenne des droits de l’homme, notamment en discriminant et stigmatisant les citoyens des zones urbaines défavorisées, selon leur situation socio-économique et leur origine migratoire.
– en Pologne, au terme d’une bataille juridique conclue en 2014, la fondation Panoptykon (6), a contraint les autorités à révéler les mécanismes de l’algorithme utilisé pour profiler les demandeurs d’emploi. Le tribunal a conclu au caractère anticonstitutionnel de ce contrôle des populations pouvant conduire à des discriminations sur des individus vulnérables comme les handicapés, les femmes seules…
En France, le collectif Changer de cap mène une campagne d’ampleur (7) contre le déploiement d’un système algorithmique à la CAF au détriment des allocataires pauvres. Le site Basta ! relaie très largement leur action (et d’autres) dans une séries d’articles (8).
Numérisation pour privatiser
Les auteurs du livre La privatisation numérique. Déstabilisation et réinvention du service public (9) analysent l’usage du numérique pour privatiser progressivement les services publics (en rapport avec les théories du New Public Management, promues par les cabinets de conseil, Mc Kinsey par exemple). Cela conduit à la substitution d’algorithmes aux agents publics, à la généralisation des mécanismes de notation et au développement de l’ubérisation des tâches.
Ses effets sociaux sont considérables : ces méthodes déstabilisent les administrations, renforcent les inégalités sociales d’accès aux services publics et accélèrent la perte de souveraineté publique. Les auteurs proposent une réappropriation des communs numériques, notamment sous la forme d’un militantisme de fonctionnaires qui ainsi défendraient la souveraineté numérique nationale.
(1) Article d’Olivier Tesquet, Comment l’intelligence artificielle cible les plus précaires
(2) Vincent Dubois, sociologue à Sciences-po Strasbourg, auteur du livre Contrôler les assistés, genèses et usages d’un mot d’ordre
(3) Virginia Eubanks, Automating Inequality, How High-tech Tools Profile, Police, and Punish the Poor, St. Martin’s Press, 2018
(4) Rapport d’octobre 2019, Lutter contre les fraudes aux prestations sociales, un levier de justice sociale pour une juste prestation, par Carole Grandjean et Nathalie Goulet
(6) https://algorithmwatch.org/en/poland-government-to-scrap-controversial-unemployment-scoring-system/
(7) Changer de cap : action contre le déploiement d’un système algorithmique à la CAF https://changerdecap.net/caf-controle-social/
(8) Sur le site Basta !, https://basta.media/Quel-avenir-pour-nos-protections
(9) Gilles Jeannot et Simon Cottin-Marx, La privatisation numérique. Déstabilisation et réinvention du service public