La CAF est la première administration a avoir développé un algorithme de notation généralisé de la population. Véritable outil dystopique chargé d’analyser nos comportements en quasi-temps réel à la recherche de « comportements suspects », cet algorithme attribue un « score de suspicion » à chaque allocataire. Lorsque ce score se dégrade trop, un contrôle est alors déclenché.
A ceci s’ajoute le fait que cet algorithme vise délibérément les plus précaires. Être pauvre, bénéficier des minima sociaux, être au chômage ou vivre dans un quartier défavorisé : autant de paramètres dégradant la note d’un·e allocataire et augmentant d’autant la probabilité d’être contrôlé·e. Alertés dès 2022 sur cet algorithme par les collectifs Stop Contrôles et Changer de Cap, nous nous attachons depuis à le dénoncer tout en faisant la lumière sur son fonctionnement inique.
Faire un don à La Quadrature
32 millions de vies sous surveillance
Les notes sont mises à jour chaque premier du mois pour suivre au plus près le moindre changement dans nos vies. Elles sont calculées à partir d’une sélection de variables sélectionnées parmi les milliers de données détenues par la CAF sur chaque allocataire et ses proches (enfants, conjoint·e).
Lire la suite
Si cet algorithme évolue au cours du temps, voici un exemple des données qu’il traite pour distinguer les « bon·nes » des « mauvais·es allocataires » : structure familiale (situation des enfants, naissance, séparation, mort du conjoint ou de la conjointe…), vie professionnelle (changements de salaires, perte d’emploi, chômage de longue durée) ou encore interactions avec la CAF (rendez-vous accueil, fréquence de connexion à l’espace caf.fr…).
L’intrusion de cet algorithme dans notre vie ne connaît aucune limite. Le tout avec l’aval de la CNIL qui ne voit aucun problème à ce que la CAF nous espionne numériquement afin de mieux nous trier, nous classer. Et nous contrôler.
Un ciblage délibéré et anticipé des plus précaires
Lire la suite
Parmi les variables impactant négativement ce score, on trouve notamment le fait de disposer de revenus faibles, d’être au chômage, de dépendre des minima sociaux, d’habiter dans un quartier défavorisé, de consacrer une partie importante de ses revenus à son loyer, de ne pas disposer de travail ou de revenus stables.
Comble du cynisme, l’algorithme vise délibérément les personnes en situation de handicap. Le fait de bénéficier de l’Allocation Adulte Handicapé (AAH) tout en travaillant est un des paramètres dégradant le plus fortement la note d’un·e allocataire.
Des conséquences humaines dramatiques
Ces pratiques sont d’autant plus révoltantes que les conséquences humaines peuvent être très lourdes, comme le raconte Lucie Inland. Détresse psychologique, perte de logements, dépressions : le contrôle laisse des traces non négligeables dans la vie des contrôlé·es.
Lire la suite
Les demandes de remboursement d’indus peuvent représenter une charge intenable pour les personnes en difficulté financière, en particulier lorsqu’elles sont dues à des erreurs ou des oublis qui couvrent une longue période. À ceci s’ajoute le fait que les trop-perçus peuvent être récupérés via des retenues sur l’ensemble des prestations sociales.
Pire, les nombreux témoignages récoltés par le Défenseur des Droits et les collectifs Stop contrôle et Changer de Cap font état de nombreuses pratiques illégales de la part de la CAF (non respect du contradictoire, difficulté de recours, suspension abusive des aides, non fourniture du rapport d’enquête, non accès aux constats) et de re-qualifications abusives de situations d’erreurs involontaires en fraude.
Mais le numérique a aussi modifié en profondeur le contrôle lui-même, désormais tourné vers l’analyse des données personnelles des allocataires. Le droit d’accès donné aux contrôleurs·ses est devenu tentaculaire. Accès aux comptes bancaires, données détenues par les fournisseurs d’énergie, les opérateurs de téléphone, les employeurs·ses, les commerçant·e·s et bien sûr les autres institutions (Pôle emploi, les Impôts, les caisses nationales de la sécurité sociale…) : le contrôle s’est transformé en une véritable mise à nu numérique.
Le contrôle devient alors une séance d’humiliation où chacun.e doit accepter de justifier le moindre détail de sa vie, comme en témoigne cet allocataire : « L’entretien […] avec l’agent de la CAF a été une humiliation. Il avait sous les yeux mes comptes bancaires et épluchait chaque ligne. Avais-je vraiment besoin d’un abonnement Internet ? À quoi avais-je dépensé ces 20 euros tirés en liquide ? ».
Un alibi technique à une politique inique
Légitimé au nom de la « lutte contre la fraude », l’algorithme a en réalité été entraîné pour prédire les indus aussi appelés trop-perçus. Or, ces derniers se concentrent sur les allocataires aux minima sociaux, les personnes en situation d’instabilité ou les familles monoparentales. Cette concentration s’explique d’abord par le fait que ces prestations sont encadrées par des règles complexes — fruit des politiques successives de « lutte contre l’assistanat » — multipliant le risque d’erreurs possibles.
Lire la suite
Cet état de fait était connu des dirigeant·es de la CAF depuis toujours. Voici ce qu’écrivait, plusieurs années avant l’introduction de l’algorithme, un directeur de la lutte contre la fraude de la CAF : « En réalité, ce sont les prestations sociales elles-mêmes qui génèrent le risque. […] ceci est d’autant plus vrai pour les prestations liées à la précarité (RMI, API – allocation de parents isolés), très tributaires de la situation familiale, financière et professionnelle des bénéficiaires. ». Dès lors, nul·le ne pouvait ignorer au sein de la direction de la CAF les conséquences discriminatoires de l’utilisation de l’algorithme.
Et pourtant, depuis que la contestation monte, les dirigeant·es de la CAF se réfugient derrière une pseudo neutralité. Notons par exemple un ancien directeur allant jusqu’à écrire que l’ « algorithme est neutre » et même « l’inverse d’une discrimination » puisque « nul ne peut expliquer pourquoi un dossier est ciblé ».
Lever l’opacité : le code source et son analyse technique
Devant une telle mauvaise foi, nous avons bataillé de longs mois pour obtenir le code source – la formule – de l’algorithme utilisé par la CAF. Notre but est de lever tout doute quant à la réalité des pratiques de la CAF, afin que l’évidence s’impose à toutes et tous. Et que les dirigeant·es de la CAF assument leur responsabilité dans la mise en place d’une politique de surveillance généralisée délibérément discriminatoire.
Lire la suite
Nous publions ici le code source des deux versions de l’algorithme respectivement utilisées entre 2010-2014 et 2014-2018. Le code source est accompagné d’une analyse technique détaillée abordant notamment la construction des profils-types utilisés dans l’article le présentant, ainsi que leurs limites.
Pour aller plus loin
Voici quelques documents de référence concernant l’algorithme et son histoire politique.
Lire la suite
– Vincent Dubois, Morgane Paris et Pierre-Edouard Weil, 2016. « Politique de contrôle et lutte contre la fraude dans la branche Famille », Cnaf, Dossier d’études, n°183 disponible ici.
– Vincent Dubois, 2021. « Contrôler les assistés. Genèses et usage d’un mot d’ordre ». Sur le sur-contrôle des populations les plus précaires, voir chapitre 10. Sur l’histoire politique de la « lutte contre l’assistanat », et le rôle majeur que joua en France Nicolas Sarkozy, voir le chapitre 2. Sur l’évolution des politiques de contrôles, leur centralisation suite à l’introduction de l’algorithme et la définition des cibles, voir pages 177 et 258. Sur la contestation des plans nationaux de ciblages par les directeurs de CAF locales, voir page 250.
– Pierre Collinet, 2013. « Le datamining dans les caf : une réalité, des perspectives ». L’auteur explique notamment que l’entraînement de l’algorithme mobilise une base contenant plus de 1000 informations par allocataire. Le modèle final, après entraînement et sélection des variables les plus « intéressantes », se base sur quelques dizaines de variables. Y est aussi expliqué le fait que l’algorithme est entraîné pour détecter les indus et non les cas de fraude.
– CNIL, 2010. Voir l’avis de la CNIL décrivant l’algorithme comme un « outil permettant de détecter dans les dossiers des allocataires les corrélations existantes entre les dossiers à risque (comportements types des fraudeurs)», disponible ici. Cet avis, positif, est par ailleurs vertigineusement vide de toute critiques portant tant sur le fond du projet et les risques de discrimination qu’il porte que sur le détournement des finalités des données des allocataires collectées initialement pour les besoins de l’état social. Il se borne globalement à recommander un chiffrement de la base de données.
– Défenseur des droits, 2017. Rapport « Lutte contre la fraude au prestations sociales » disponible ici.