Un week-end pour réfléchir Mathieu Deslandes Nous avons puisé dans notre collection de grands entretiens pour vous concocter un week-end de réflexion sur les enjeux du numérique, histoire de bien attaquer cette nouvelle année scolaire. Pour encourager les travaux sur ces sujets, Rue89 lance d'ailleurs avec le Fabernovel Institute les Prix des Talents de la recherche. Ce concours, ouvert jusqu'au 27 septembre, s'adresse aux jeunes chercheurs. A la clé : 5 000 euros de prix.

Cathy O’Neil n’est pas un « data scientiste » comme les autres. C’est une femme, aux cheveux bleus, et surtout, elle se définit elle-même comme « data sceptique ».

Cette docteur en maths de la très prestigieuse université Harvard aux Etats-Unis tire la sonnette d’alarme contre certains algorithmes opaques et discriminatoires dans un livre à paraître en septembre, « Weapons of math destruction » (math au lieu de mass, vous aurez compris), que l’on pourrait traduire par « Armes de destruction matheuses ». Elle y raconte « comment le big data augmente les inégalités et menace la démocratie ».

Cette « supernana des maths » (c’est le nom de son blog) a été analyste quantitative (on dit « quant “ dans le métier) à Wall Street dans un hedge fund, avant de militer au sein du groupe Occupy Finance. Elle a aussi travaillé dans des start-up de big data publicitaire, prédisant les achats et les clics des consommateurs.

Mais ce qui l’inquiète, c’est l’impact dévastateur de ces processus de décision automatisés et biaisés dans des domaines aussi déterminants pour un individu et une société démocratique que la justice et l’éducation.

Son ouvrage est ‘une magnifique analyse, aux conclusions perturbantes’, selon la chercheuse en sciences humaines, spécialiste de la génération numérique, danah boyd.

De passage à Paris cette semaine, Cathy O’Neil est venue lancer son cri d’alerte, étayé de nombreux exemples concrets, à la conférence technologique USI, devant un parterre d’ingénieurs et de spécialistes du numérique. Nous avons poursuivi la conversation. Entretien.

Rue89 : Des algorithmes peuvent être aussi dangereux que des armes selon vous ?



Couverture du livre à paraître en septembre - Crown Penguin Random House

Cathy O’Neil : Ce que j’appelle les armes de destruction matheuses, ce sont des algorithmes qui peuvent être mauvais pour la société, et qui se transforment en armes. Ils prennent souvent la forme de systèmes de scoring (notation) qui évaluent les individus. Ils empirent la situation au lieu de l’améliorer. Même s’ils peuvent avoir de bonnes intentions au départ.

Les gens y croient parce qu’ils sont pseudo-scientifiques. Parfois, ils sont relativement exacts mais ils sont mauvais de par leur nature opaque, leur fort impact et leur effet destructeur. Ils peuvent être ‘bons’ au sens de rentables pour les entreprises.

Je cite souvent l’exemple de la publicité prédatrice des universités privées à but lucratif [qui ciblent des individus vulnérables et s’enrichissent grâce aux aides fédérales, ce qui a donné lieu à plusieurs gros scandales aux Etats-Unis, ndlr] : cela rapporte beaucoup d’argent à ces universités et à Google, mais cela plonge plein de gens dans l’endettement sans les former vraiment. Donc c’est mauvais pour la société dans son ensemble.

Tous les algorithmes sont-ils mauvais ?

Non, ce n’est pas la majorité. Mais de nombreux algorithmes utilisés dans des lieux déterminants et menant à des décisions cruciales ne sont pas contrôlés. Tout ce qui concerne la prison, l’emploi, l’accès au crédit et, de manière générale, aux opportunités d’une vie. Tout ce qui peut avoir un impact majeur sur l’existence de quelqu’un.

Il faut s’assurer que ces algorithmes procèdent de façon équitable. Il n’y a aucune raison de penser que ce soit le cas, car il y a des opinions incrustées dans le code. Mon objectif est de mettre en lumière les exemples les pires, dans l’éducation et la justice typiquement, pour que tout le monde prête davantage attention à ce problème.



Cathy O’Neil à la conférence USI lundi 6 juin - Delphine Cuny

Un exemple qui me met en colère, c’est l’évaluation du risque de récidive. Si votre risque est élevé vous allez plus longtemps en prison. Or les noirs sont considérés comme à haut risque deux fois plus que les blancs, à passé judiciaire identique.

Le problème, c’est que ce test comporte un élément de racisme. Cela vient des questions sur lesquelles repose le modèle : par exemple, on demande si vous vivez dans un quartier à criminalité élevée. On ne peut pas vous demander si vous êtes black ou latino car ce serait anticonstitutionnel mais ça revient au même.

On demande aussi si vous avez fini le lycée, si votre père a déjà été arrêté. Ce sont des éléments qui ne seraient pas recevables au tribunal mais ils sont cachés dans le code. Cette évaluation sert aussi pour la caution et la libération conditionnelle. C’est une prophétie auto-réalisatrice, un cercle vicieux. J’aimerais qu’on fasse mieux, qu’on contrôle ce problème de rétroaction destructrice.

Quand avez-vous eu la révélation du pouvoir néfaste de certains algorithmes ?

C’était après cette histoire de l’université privée de Phoenix. J’ai constaté que cette fac était le premier annonceur sur Google ce trimestre-là, au quatrième trimestre de 2012, alors que je n’avais jamais vu de publicité de cette université. J’ai réalisé que c’est en fait un problème silencieux, que ne perçoivent que les gens qui en souffrent, ignoré de tous les autres, c’est particulièrement pernicieux. C’est là que j’ai réalisé que cela aggravait les inégalités.

Qui cherchez-vous à sensibiliser ?

Il y a en fait plusieurs niveaux. D’abord, je veux alerter les data scientistes eux-mêmes et les inciter à prendre leurs responsabilités, à reconnaître qu’ils ont un impact. Je cherche à élever le débat : ce n’est pas à eux, les data scientistes, de décider ce qui est équitable, ils devraient dire ‘attention ce n’est pas mon job !’

Ensuite, j’aimerais que l’opinion publique exige qu’on leur rende des comptes sur ces systèmes de scoring qui peuvent leur refuser des opportunités. Ce peut être les tests de personnalité à l’embauche ou les notes de performances attribuées dans certains emplois, où personne n’est capable d’expliquer comment les notes sont construites. On doit pouvoir les contester. On ne peut pas accepter aveuglément les résultats et se contenter de dire ‘c’est mathématique !’

J’espère aussi pouvoir agir auprès de ceux qui font les lois, je vais leur envoyer mon livre. Aujourd’hui, on n’entend que les chantres de la technologie. Or la technologie en soi ne va pas rendre le monde meilleur. Elle peut aussi bien créer des problèmes qu’en résoudre.

Avez-vous l’impression d’être écoutée aux Etats-Unis ?

J’ai donné trois conférences en Europe cette année et les Européens sont plus sensibles à mes arguments, plus soucieux de ces sujets, car ce ne sont pas des techno-utopistes comme nous, les Américains. Je vous dis : continuez, restez sceptiques !

Je suis toujours une data scientiste et je crois en la data science. Mais la bonne data science n’arrive pas par elle-même, il faut veiller aux effets qu’elle produit, s’assurer qu’elle ne crée pas de la souffrance pour une catégorie de population.

Vous dites que les citoyens doivent pouvoir auditer les algorithmes. Mais comment faire quand on n’y connaît rien ?

Les maths, c’est intimidant, c’est comme une autre langue, les gens en ont peur. Mais même si vous n’êtes pas mathématicien et ne savez pas coder, vous pouvez au moins poser les bonnes questions : par exemple, est-ce que cet algorithme empêche les femmes d’être embauchées ? Si une entreprise se repose sur son historique et que les femmes ingénieures ne restent pas longtemps, l’algorithme va d’emblée refuser de recruter des femmes.

Il faut simplement exiger des réponses concrètes : montrez-moi ce qu’il s’est passé pour les 100 dernières femmes candidates et les 100 derniers hommes et prouvez-moi que cet algorithme est équitable.

Comment s’assurer que les entreprises n’utilisent pas des algorithmes biaisés ? Faut-il légiférer ?

Oui je suis convaincue qu’il faut des lois. Les entreprises ne vont pas vouloir révéler tous leurs secrets mais je n’ai pas besoin du code-source d’un algorithme pour contrôler que le processus de décision est bon ou merdique. Et on se fiche des algorithmes qui permettent de gagner de l’argent en bourse : l’important ce sont tous ces systèmes de scoring qui déterminent une embauche, une peine de prison, etc.

Un décideur politique peut très bien poser le principe que l’on doit pouvoir contrôler qu’un algorithme de recrutement est équitable, comme tout processus de recrutement. En fait, il existe des lois à ce sujet qui interdisent de discriminer par genre, par origine ethnique, mais elles ne s’appliquent pas encore aux algorithmes, qui ne sont pas réglementés. Il faut mettre ces lois à jour.

Pour aller plus loin

Sur ce même sujet, voici la captation d’une intervention de Cathy O’Neil lors d’une précédente conférence.

Cathy O’Neil au Personal Democracy Forum 2015

Article initialement publié le 12 juin 2016.