Dans une récente tribune pour le New York Times, l’avocate Elisabeth Mason (@elismason1), directrice du Laboratoire pauvreté et technologie qui dépend du Centre sur la pauvreté et l’inégalité de Stanford (@CenterPovlneq) soulignait que le Big data et l’intelligence artificielle étaient amenés à être des outils puissants pour lutter contre la pauvreté. Les grands ensembles de données peuvent désormais être exploités pour mieux prédire l’efficacité des programmes d’aides et les évaluer. « Le big data promet quelque chose proche d’une évaluation impartiale, sans idéologie, de l’efficacité des programmes sociaux », explique-t-elle en rêvant d’une société parfaitement méritocratique, tout entière fondée sur la « preuve de ce qui marche » (Evidence-based policymaking). Un propos qui pourrait paraître un peu naïf, si on l’éclaire par le livre que vient de publier la spécialiste de science politique, Virginia Eubanks (@poptechworks) : Automatiser les inégalités : comment les outils high-tech profilent, policent et punissent les pauvres.

Vous avez été signalés !

Les processus de décision sont de plus en plus confiés à des machines, rappelle la chercheuse. « Des systèmes d’éligibilité automatisés, des algorithmes de classements, des modèles de prédiction des risques contrôlent les quartiers qui doivent être policés, quelles familles peuvent obtenir des aides, qui peut accéder à un emploi, qui doit être contrôlé pour fraude. (…) Notre monde est parcouru de sentinelles informationnelles (…) : d’agents de sécurité numérique qui collectent de l’information sur nous, qui fabriquent des inférences à partir de nos comportements et contrôlent l’accès aux ressources ». Si certains sont visibles, la plupart sont impénétrables et invisibles. « Ces outils sont si profondément tissés dans la fabrique de la vie sociale, que la plupart du temps, nous ne remarquons même pas que nous avons été surveillés et analysés ».

Reste que bien peu de personnes s’intéressent à ce que signifie d’être signalés par ces programmes et les catastrophes individuelles que cela engendre. Se voir retirer son assurance santé au moment où vous êtes le plus vulnérable laisse ceux qui en sont victimes désespérés et acculés. Le problème, souligne très bien Virginia Eubanks est « qu’il n’y a pas de règles qui vous notifient le fait que vous avez été signalé » (ref-flagged) par un programme. La plupart des gens ne savent pas qu’ils ont été la cible de systèmes de décisions automatisés.

Eubanks souligne que ce contrôle s’exerce sur des membres de groupes sociaux plus que des individus : gens de couleurs, migrants, groupes religieux spécifiques, minorités sexuelles, pauvres et toutes populations oppressées et exploitées. Les groupes les plus marginalisés sont ceux sur lesquels le plus de données sont collectées. Et le problème, souligne Virginia Eubanks, c’est que « cette collecte de données renforce leur marginalité » en créant « une boucle de rétroaction de l’injustice » qui renforce à son tour la surveillance et le soupçon.

Des hospices… aux hospices numériques

Le propos de la chercheuse est éminemment politique : en enquêtant sur une poignée de systèmes automatisés développés pour optimiser les programmes sociaux américains, elle dénonce une politique devenue performative… c’est-à-dire qui réalise ce qu’elle énonce. Selon elle, les programmes sociaux n’ont pas pour objectif de fonctionner, mais ont pour objectif d’accumuler de la stigmatisation sur les programmes sociaux et renforcer le discours montrant que ceux qui bénéficient de l’assistance sociale sont, au choix, des criminels, des paresseux ou des profiteurs. La rationalisation des programmes d’aide publics du fait de la crise et des coupes budgétaires les contraint à toujours plus de performance et d’efficacité. Or cette performance et cette efficacité s’incarnent dans des outils numériques qui n’ont rien de neutre, pointe la chercheuse.

Le problème, c’est que ces outils de surveillance sont partout : dans les marges où nous entraîne la chercheuse, les histoires où les technologies facilitent la communication et ouvrent des opportunités sont rares. Pour les plus démunis, la révolution numérique ressemble surtout à un cauchemar. Comme elle le soulignait déjà, pour comprendre l’avenir de la surveillance, il faut regarder comment elle se développe déjà auprès des populations les plus marginalisées.

Dans la première partie de l’ouvrage, Virginia Eubanks dresse un rapide historique pour rappeler que, à la suite de Michel Foucault, les communautés les plus démunies ont toujours été les plus surveillées. Elle souligne la continuité entre les asiles, les prisons, les hospices de la fin du XVIIIe siècle aux bases de données d’aujourd’hui, rappelant que les premières bases de données ont été créées par les promoteurs de l’eugénisme pour discriminer les criminels et les faibles d’esprit.

Elle souligne aussi combien cette histoire de l’assistance publique est intimement liée, surtout aux Etats-Unis, à des vagues régulières de critiques contre l’aide sociale. Partout, l’enjeu a été de mettre en place des règles pour limiter et contrôler le nombre de bénéficiaires des aides sociales, privées comme publiques. Une histoire qui s’intrique à celle des représentations de la pauvreté, de son coût, de la fraude, de la dénonciation de l’inefficacité des aides… Les « hospices numériques » (digital poorhouse), c’est-à-dire les systèmes automatisés de contrôle des aides que reçoivent les plus pauvres, naissent dès les années 70, avec l’informatique elle-même, rappelle la chercheuse. La recherche d’outils neutres pour évaluer les dépenses publiques pour ces bénéficiaires a surtout consisté dans le développement d’outils de surveillance des récipiendaires de l’aide publique. Des programmes de détection des fraudes, des bases de données de bénéficiaires ont été créées et reliées pour tracer les dépenses et les comportements de leurs bénéficiaires dans de multiples programmes sociaux. « Le conflit entre le développement des droits pour les bénéficiaires de l’aide sociale et le faible soutien aux programmes d’assistance publique a été résolu par le développement d’outils technologiques punitifs ». Alors que le droit développait l’aide publique, la technologie était utilisée pour réduire le nombre de leurs allocataires ! Certains programmes d’aides multipliant les situations de non-conformité et les sanctions pour un retard à un rendez-vous, ou pour ne pas avoir consulté un médecin prescrit… Pour Virginia Eubanks, ces systèmes automatisés sont une continuité et une expansion des systèmes de gestion des pauvres punitifs et moralistes, des hospices de la fin du XVIIIe siècle et du début du XIXe siècle que pointait le travail de Michel Foucault. « Si ces systèmes sont présentés pour rationaliser et gérer les bénéficiaires, leur but premier reste et demeure de profiler, surveiller et punir les pauvres ».

S’intéresser aux effets des calculs sur la société

Dans son livre, Virginia Eubanks se concentre sur l’étude de 3 systèmes : un système mis en place par l’Indiana pour automatiser l’éligibilité de candidats aux programmes d’assistance publique de l’Etat ; un répertoire des SDF de Los Angeles ; et un système d’analyse du risque pour prédire les abus ou négligence sur enfants dans un comté de la Pennsylvanie. Des exemples et des systèmes assez spécifiques, par nature très Américains, qui pourraient nous laisser indifférents, nous Européens, si leur étude ne révélait pas une nature des outils numériques, un fonctionnement qu’on peut potentiellement retrouver dans chacun de ceux qui sont déployés.

La chercheuse prend le temps de les explorer en détail. Elle nous rappelle leur histoire, comment et pourquoi ils ont été mis en place. Comment ils fonctionnent. Elle nous présente quelques personnes qui les font fonctionner, d’autres qui en sont les bénéficiaires ou les victimes. Dans ce travail ethnographique, elle ne présente pas toujours en détail les systèmes, les critères, les questions, le fonctionnement des algorithmes eux-mêmes. La manière dont sont calculés les scores depuis le répertoire des SDF pour leur attribuer une priorité dans la demande de logement n’est pas par exemple ce que cherche à nous montrer Virginia Eubanks. En fait, c’est un peu comme si pour elle ces systèmes étaient par nature incapables d’optimiser le monde qu’on leur demande d’optimiser. L’important n’est pas le calcul qu’ils produisent qui seront toujours imparfait que leurs effets concrets. C’est eux qu’elle nous invite à observer. Et ce qu’elle en voit n’est pas très agréable à regarder.

Chacun des exemples qu’elle prend est édifiant. Le système automatique de gestion de l’assistance de l’Indiana, confié à un opérateur privé, montre toute l’incompétence du délégataire : durant son fonctionnement, l’aide publique a reculé de 54 %. Au moindre oubli, au moindre document manquant, les bénéficiaires étaient tout simplement éjectés du système au prétexte d’un culpabilisant « défaut de coopération » cachant surtout ses défaillances techniques et organisationnelles. Le taux de demande d’aides refusées s’est envolé. Des personnes sourdes, handicapés mentaux, malades, étaient contraintes de joindre un centre d’appel pour bénéficier d’aides… Le contrat entre l’Etat de l’Indiana et IBM a fini par être rompu. Les procès entre le maître d’oeuvre et le délégataire ont duré des années. Son coût n’a jamais été pleinement évalué, hormis pour les gens qu’il a privés des aides auxquelles ils avaient droit. « En retirant l’appréciation humaine des agents en première ligne au profit des métriques d’ingénieurs et de prestataires privés, l’expérience de l’Indiana a suralimenté la discrimination ». Les spécifications sociales pour l’automatisation se sont basées sur l’épuisement et l’usure des bénéficiaires, sur des postulats de classes et de races qui ont été encodées en métriques de performances.

Dans le comté de Los Angeles, Virginia Eubanks évoque longuement la mise en place d’une base de données centralisée des SDF créée pour améliorer l’appariement entre l’offre de logement d’urgence et la demande. L’enjeu était de pouvoir prioriser les demandes, entre sans-abris en crise et sans abris chroniques, en aidant les premiers pour éviter qu’ils ne tombent dans la seconde catégorie. Les partenaires du projet ont donc créé une base de données pour évaluer les demandeurs collectant de vastes quantités d’information personnelle avec un algorithme pour classer les demandeurs selon un score de vulnérabilité et un autre pour les apparier avec les offres de logements : le VI-SPDAT (index de vulnérabilité ou outil d’aide à la décision de priorisation des services). Tout sans-abri accueilli par un organisme doit alors répondre à un long questionnaire, particulièrement intime, posant des questions sur sa santé, sa sexualité, les violences commises à son encontre ou dont il a été l’auteur… La base de données est accessible à quelque 168 organisations différentes : services de la ville, association de secours, organisations religieuses, hôpitaux, centre d’aides et d’hébergements… et même la police de Los Angeles. Chaque sans-abri reçoit un score allant de 1 à 17, du moins au plus vulnérable. Ceux qui ont un score élevé reçoivent alors un accord d’hébergement qu’ils peuvent porter (avec les justificatifs nécessaires) aux autorités du logement de la ville qui peuvent alors leur proposer un logement ou un financement. Virginia Eubanks pointe là encore les multiples difficultés de ces questionnaires qui se présentent comme neutres, sans l’être. Selon la manière dont les SDF répondent aux questions (seuls ou accompagnés, par quelqu’un qui les connait ou pas…), leur score peut varier du tout au tout. Ainsi, un SDF sortant de prison se voit attribuer un score faible au prétexte qu’il a eu un hébergement stable durant son séjour en établissement pénitentiaire.

Elle souligne que le manque de solutions de logements pour sans-abris fait que le système sert plus à gérer les SDF qu’à résoudre le problème. Selon le service des sans-abris de Los Angeles, la ville comptait 57 794 SDF en 2017. 31 000 sont enregistrés dans la base depuis sa création en 2014. 9 627 ont été aidé pour trouver un logement. Si pour Virginia Eubanks le système n’est pas totalement inopérant, reste que sa grande disponibilité pose question. Ces enregistrements consultables par trop d’organisations sur simple requête – et notamment par les forces de l’ordre, sans avoir à justifier d’une cause, d’une suspicion ou autre -, transforment des données administratives et les services sociaux en extension des systèmes de police et de justice. L’absence d’une protection des données de ce registre, nous rappelle combien toute base de données créée pour répondre à un objectif finit toujours par être utilisée pour d’autres objectifs… Les bases de données coordonnées sont des centres de tri qui rendent ceux qui en sont l’objet « plus visibles, plus traçables, plus prévisibles ». « Les personnes ciblées émergent désormais des données » : les personnes jugées à risque sont codées pour la criminalisation. Si ces systèmes produisent certes des chiffres pour mieux orienter les budgets, les données ne construisent pas d’hébergements.

Le dernier exemple que prend Virginia Eubanks est une enquête sur le fonctionnement d’un outil de prédiction du risque de maltraitance et d’agression d’enfants, développé par le bureau de l’enfance, de la jeunesse et des familles du comté d’Allegheny (Pennsylvanie). Elle nous plonge dans le quotidien des travailleurs sociaux d’un centre d’appel à la recherche d’informations sur les dénonciations qu’ils reçoivent, là encore, via une multitude de bases de données : provenant des services du logement, de la santé, de la police, de l’enseignement… Elle explore comment le système prioritise certains critères sur d’autres, comme l’âge des enfants et surtout, le fait que les familles soient déjà sous surveillance des services sociaux. Elle détaille également longuement l’histoire de cet outil prédictif, développé par Rhema Vaithianathan (@rvaithianathan), directrice du Centre pour l’analyse de données sociales de l’université d’Auckland en Nouvelle-Zélande qui s’appuie sur plus de 130 variables pour produire un score de risque allant 1 (le plus faible) à 20… Un programme abandonné par la Nouvelle-Zélande du fait de son manque de fiabilité et de l’opposition qu’il suscita. Dans les pages qu’elle consacre à ce système, Virginia Eubanks prend le temps de nous montrer comment les travailleurs sociaux interprètent les informations dont ils disposent, comment les familles sont sommées de répondre aux enquêtes sociales que ces alertes déclenchent. Elle souligne combien les données censées être neutres cachent une succession d’appréciations personnelles. Elle souligne également combien le système peine à guider celui qui mène enquête suite à un signalement. Combien certains critères ont plus de poids que d’autres : à l’image du fait de recevoir un appel pour un enfant pour lequel le centre a déjà reçu un appel sur les deux années précédentes ou qui a déjà été placé. Elle souligne les limites du modèle prédictif construit qui produit chaque année de trop nombreux faux positifs et négatifs. Comme le soulignait la mathématicienne Cathy O’Neil @mathbabedotorg), les choix qui président aux outils que nous développons reflètent toujours les priorités et les préoccupations de leurs concepteurs. Et la prédictivité est d’autant moins assurée quand nombre de variables sont subjectives. Qu’importe, comme le soulignait une récente enquête du New York Times, l’outil, malgré ses défauts, semble prometteur. Pour ses concepteurs, il nécessite surtout d’être peaufiné et amélioré. Ce n’est pas le constat que dresse Virginia Eubanks.

Eubanks montre combien l’outil mis en place estime que plus les familles recourent à l’aide publique, plus le score de risque progresse. Le système mis en place s’intéresse d’ailleurs bien plus à la négligence dans l’éducation des enfants qu’à la maltraitance ou qu’aux abus physiques ou sexuels des enfants. Or, rappelle la chercheuse, « tous les indicateurs de la négligence sont aussi des indicateurs de pauvreté » : manque de nourriture, de vêtements, de soins de santé, habitation inadaptée… Elle pointe également la grande ambiguïté de ces programmes, à la fois juge et partie, qui ont souvent deux rôles qui devraient être distingués : l’aide aux familles et l’enquête sur les comportements. Trop souvent explique-t-elle, les familles pauvres échangent leur droit à la vie privée contre l’obtention d’aide. Pour Eubanks, on est plus là dans un profilage de la pauvreté que dans un profilage de la maltraitance : le modèle confond la parenté avec la parenté pauvre. Le système voit toujours les parents qui bénéficient d’aides publiques comme un risque pour leurs enfants. Eubanks souligne aussi l’inexistence d’un droit à l’oubli dans ces systèmes : toute information entrée dans le système est définitive, même fausse. Le système enregistre des décisions sans traces d’humanités. Pire, encore, le score de risque se renforce : quand une bénéficiaire d’aides est devenue mère, son enfant s’est vu attribuer un fort taux de risque, car sa mère avait déjà eu des interactions avec les services sociaux quand elle était elle-même enfant. La reproduction de la surveillance est bouclée.

Déconstruire la boucle de rétroaction de l’injustice

De son observation patiente, la chercheuse dresse plusieurs constats. Partout, les plus pauvres sont la cible de nouveaux outils de gestion qui ont des conséquences concrètes sur leurs vies. Les systèmes automatisés ont tendance à les décourager de réclamer les ressources dont ils ont besoin. Ces systèmes collectent des informations très personnelles sans grande garantie pour leur vie privée ou la sécurité des données, sans leur ménager les moindres contreparties (aucun SDF référencé dans le répertoire de Los Angeles par exemple n’a conscience qu’il n’est jamais ôté de cette base, même s’ils retrouvent un logement… et peut nombreux sont ceux qui ont conscience de la constellation d’organismes qui ont accès à ces informations).

Tous les systèmes caractérisent les plus démunis comme personne à risques. Tous ces systèmes rendent chacun de leur mouvement plus visible et renforcent la surveillance dont ils sont l’objet. Ils visent plus à « manager les pauvres qu’à éradiquer la pauvreté ». Enfin, ces systèmes suscitent très peu de discussion sur leurs réels impacts et leur efficacité. Or, ils font naître des « environnements aux droits faibles », où la transparence et la responsabilité politique semblent absentes.

Pourtant, rappelle-t-elle, la pauvreté n’est pas un phénomène marginal. La pauvreté en Amérique n’est pas invisible. 51 % des Américains passent une année de leur vie au moins dans une situation de pauvreté. La pauvreté n’est pas une aberration qui n’arrive qu’à une petite minorité de gens souffrants de pathologies. Si les techniques de surveillance de la pauvreté ont changé, les résultats sont les mêmes. « Les institutions de secours et leurs technologies de contrôle rationalisent un brutal retour à une forme d’asservissement en sapant les pouvoirs des plus pauvres et en produisant de l’indifférence pour les autres ».

« Quand on parle de technologies, on évoque toujours leurs qualités. Leurs promoteurs parlent de technologies disruptives, arguant combien elles secouent les relations de pouvoirs instituées, produisant une gouvernementalité plus transparente, plus responsable, plus efficace, et intrinsèquement plus démocratique. » Mais c’est oublier combien ces outils sont intégrés dans de vieux systèmes de pouvoirs et de privilèges. Ces systèmes s’inscrivent dans une histoire. Et ni les modèles statistiques ni les algorithmes de classement ne vont renverser comme par magie la culture, la politique et les institutions.

La métaphore de l’hospice numérique qu’elle utilise permet de résister à l’effacement du contexte historique, à la neutralité, que la technologie aimerait produire. L’hospice numérique produit les mêmes conséquences que les institutions de surveillance passées : elle limite le nombre de bénéficiaires des aides, entrave leur mobilité, sépare les familles, diminue les droits politiques, transforme les pauvres en sujets d’expérience, criminalise, construit des suspects et des classifications morales, créé une distance avec les autres classes sociales, reproduit les hiérarchies racistes et ségrégationnistes… Sa seule différence avec les institutions d’antan est de ne plus produire de l’enfermement physique. Certainement parce que l’enfermement dans les institutions de surveillance a pu produire des solidarités qui ont permis de les combattre… Les outils numériques produisent non seulement de la discrimination, mais aussi de l’isolement entre ceux qui partagent pourtant les mêmes souffrances.

Les problèmes sont toujours interprétés comme relevant de la faute du demandeur, jamais de l’Etat ou du prestataire. La présomption d’infaillibilité des systèmes déplace toujours la responsabilité vers l’élément humain. Elle renforce le sentiment que ces systèmes fonctionnent et que ceux qui échouent dans ces systèmes sont ingérables ou criminels. Ces systèmes produisent une « classification morale ». Ils mesurent des comportements non pas individuels, mais relatifs : chacun est impacté par les actions de ceux avec qui ils vivent, de leurs quartiers, de leurs relations… En cela, l’impact de ces modèles est exponentiel : les prédictions et les mesures reposent sur des réseaux relationnels, qui ont un potentiel contagieux pareil à des virus. Ces modèles distinguent les pauvres parmi les pauvres. La classe moyenne ne tolérerait pas qu’on applique des outils de ce type sur elle. Ils sont déployés à l’encontre de ceux qui n’ont pas le choix.

Virginia Eubanks insiste : ces hospices numériques sont difficiles à comprendre. Les logiciels et les modèles qui les font fonctionner sont complexes et souvent secrets. D’où la nécessité d’exiger l’ouverture et le libre accès au code qui les font fonctionner. Ils sont massivement extensibles et évolutifs. Ils peuvent se répandre très rapidement. Ils sont persistants et sont très difficiles à démanteler et ce d’autant qu’ils s’intègrent et s’enchevêtrent les uns avec les autres, tout comme l’infrastructure des innombrables outils de Google, rendant toujours plus difficile pour l’utilisateur de s’en passer. ‘Une fois que vous brisez les fonctions des travailleurs sociaux en activités distinctes et interchangeables, que vous installez un algorithme de classement et un système d’information que vous intégrez dans tous vos systèmes d’information, il est quasiment impossible d’en renverser le cours (…), tout comme produire un chiffre qui prédit le risque devient impossible à ignorer ». A mesure que ces technologies se développent, « elles deviennent de plus en plus difficiles à défier, à réorienter, à déraciner ». Les hospices numériques sont éternels. Alors que les enregistrements papier, du fait de leur physicalité et des contraintes de stockage qu’ils impliquaient, pouvaient permettre à ceux qui étaient enregistrés d’accéder à un droit à l’oubli, les bases de données numériques construisent des enregistrements éternels, et d’autant plus éternels qu’elles sont interreliées. Et cet enregistrement éternel est une punition supplémentaire, qui intensifie les risques de fuites de données et de divulgation.

Le risque bien sûr est que les technologies expérimentées sur les pauvres deviennent notre lot commun, soient demain utilisées sur chacun d’entre nous. Aujourd’hui, seuls les plus pauvres sont placés sous surveillance, mais ces outils sont là pour destituer demain chacun d’entre nous, prévient la chercheuse. Nous vivons dans des sociétés qui n’ont pas l’usage des plus âgés ou des invalides. « Nous mesurons la valeur humaine seulement sur la capacité à gagner sa vie ». « Nous voyons le monde comme une rivière sanglante de compétition ». Et Eubanks de dénoncer, à la suite d’Oscar Gandy, la « discrimination rationnelle », cette façon que nous avons d’ignorer les biais qui existent déjà. « Quand les outils d’aide à la décision automatisés ne sont pas construits pour démanteler explicitement les inégalités structurelles, elles les augmentent, les précipitent, les étendent, les intensifient. »

« Les ingénieurs qui construisent ces outils attirent notre attention sur les biais qui impactent leurs systèmes. Indirectement, ils font retomber leurs responsabilités sur la société, sans voir que le racisme et le comportement de classe des élites sont « mathwashés » (blanchis par les mathématiques, comme les pratiques de Greenwashing, c’est-à-dire qui se donnent une image de responsabilité par les mathématiques – NDT), c’est-à-dire neutralisés par la mystification technologique et la magie des bases de données ». Les nouveaux outils high-tech sont vus comme de simples mises à jour administratives, sans conséquence politiques. Ils ne sont montrés que comme des solutions anodines pour améliorer l’efficacité des systèmes, alors que les transformations qu’ils proposent sont bien plus radicales. Comme le soulignait Rhema Vaithianathan, la conceptrice du système prédictif de maltraitance : « d’ici 2040, le Big data devrait avoir ratatiné le secteur public jusqu’à n’être plus reconnaissable ». Comme le confesse Eubanks : « Je trouve troublant la philosophie qui voit les êtres humains comme des boites noires inconnaissables et les machines comme transparentes. Ce me semble être un point de vue qui renonce à toute tentative d’empathie et qui verrouille toute possibilité de développement éthique. L’hypothèse qui veut que la décision humaine soit opaque et inaccessible est un aveu que nous avons abandonné la responsabilité que nous avons à nous comprendre les uns les autres. »

Le problème, souligne encore la chercheuse, est que ces systèmes se développent. Les systèmes prédictifs se déploient : dans la justice, la police, les services sociaux, scolaires… Les bases de données deviennent la matrice du fonctionnement de nos sociétés.

Eubanks souligne très bien combien les garanties sont trop souvent absentes. Elle pointe les apports des principes dont nous bénéficions, en Europe ou en France, comme l’interdiction d’interconnexion des bases de données, le droit à l’oubli, les droits à la protection de la vie privée et notamment le fait que le stockage et l’exploitation des informations doivent être limités par leur finalité ou leur pertinence. Autant de garanties qui ne sont pas si fortes de l’autre côté de l’Atlantique. Pour Virginia Eubanks, face à ces technologies de l’efficacité, il est plus que nécessaire de protéger les droits humains. D’offrir des garanties, des contreparties et des contre-pouvoirs aussi puissants que le sont ces outils. Comme le souligne son travail : nous en sommes bien loin.

Pour Virginia Eubanks, il nous faut changer le discours et le regard sur la pauvreté. Il faut rendre l’assistance publique moins punitive et plus généreuse. Il est aussi nécessaire de développer des principes de conception techniques qui minimisent les dommages. Elle propose ainsi un intéressant serment d’Hippocrate pour les data-scientists, les ingénieurs et les responsables administratifs. Et esquisse un standard éthique minimum : est-ce que l’outil que je développe augmente l’autodétermination et les capacités des pauvres ? Est-ce que cet outil serait toléré si sa cible n’était pas des personnes pauvres ?

Bien sûr les observations de Virginia Eubanks ont lieu dans un autre contexte que le nôtre. On peut se rassurer en se disant que les lacunes qu’elle pointe ne nous concernent pas, que nous avons d’autres réglementations, que notre système n’est pas aussi libéral. Certainement. A la lecture du livre, je constatais surtout pour ma part, que je ne connaissais pas les équivalents français ou européens des systèmes que décrivait Eubanks. Cela ne signifie pas pour autant qu’ils n’existent pas ou que leur automatisation n’est pas en cours.

Virginia Eubanks signe une analyse radicalement différente de celles que l’on voit d’habitude autour des nouvelles technologies. C’est bien sûr un livre politique. Tant mieux : il n’en est que plus fort. Il me rappelle pour ma part la synthèse que Didier Fassin avait fait de ses travaux autour de la police, de la justice et de la prison, dans son remarquable réquisitoire Punir, une passion contemporaine, où il montrait combien la sévérité de nos systèmes pénitentiaires, policiers et judiciaires renforçait l’injustice et les inégalités, en dénonçant combien la justification morale de la punition ne produit qu’une répression sélective.

La chercheuse américaine pointe en tout cas combien la technologie est trop souvent « un mirage », comme le souligne sa consoeur danah boyd, qui nous masque les coûts réels des systèmes, leurs impacts sur les gens. Le travail ethnographique de Virginia Eubanks rend visible la politique derrière les outils. Elle nous montre que pour comprendre les systèmes, il ne faut pas seulement se plonger dans le code, mais regarder leurs effets concrets. Aller au-delà des bases de données, pour constater ce qu’elles produisent, ce qu’elles réduisent. Comme le souligne le journaliste Brian Bergstein dans une tribune pour la Technology Review, « l’instabilité déjà causée par l’inégalité économique ne fera qu’empirer si l’Intelligence artificielle est utilisée à des fins étroites ». Nous y sommes déjà !

Hubert Guillaud