Facebook analyse presque tous les messages de la plateforme pour tenter d'évaluer le risque de suicide.

Aux Etats-Unis, Facebook transmet parfois les informations aux autorités locales pour leur demander d'intervenir.

Des experts en protection de la vie privée affirment que l'échec de Facebook à obtenir le consentement des utilisateurs pour le programme présente des risques pour la vie privée, ce qui peut entraîner une exposition ou pire.

En mars 2017, Facebook a lancé un projet ambitieux de prévention des suicides grâce à l'intelligence artificielle.

Après une série de suicides qui ont été diffusés en direct sur la plateforme, l'effort visant à utiliser un algorithme pour détecter de potentiels signes d'automutilation était censé résoudre de manière proactive un problème grave.

Mais plus d'un an après, suite à une série de scandales sur la protection de la vie privée mettant en cause l'utilisation des données, Facebook a décidé de créer et de stocker des données sur la santé mentale de ses utilisateurs pouvant faire l'objet d'une action sans le consentement de ces derniers. Cette décision a incité de nombreux experts en protection de la vie privée à se demander si l'on pouvait faire confiance à Facebook pour enregistrer des conclusions sur les détails les plus intimes de sa vie.

Facebook crée de nouvelles informations sur la santé de ses utilisateurs, mais elles ne sont pas soumises aux mêmes normes de confidentialité que celles des professionnels de la santé.

Illustration photo de Ute Grabowsky/Photothek via Getty Images

L'algorithme concerne presque tous les messages et posts de Facebook, notant chaque contenu sur une échelle allant de zéro à un, l'un exprimant la probabilité la plus élevée de "dommage imminent", selon un représentant de Facebook.

Ce processus de création de données à lui seul suscite l'inquiétude de Natasha Duarte, analyste des politiques au Centre pour la Démocratie et la Technologie.

"Je pense que cela devrait être considéré comme une information sensible sur la santé", a-t-elle déclaré. "Toute personne qui collecte ce type d'informations ou qui fait ce type de déductions sur des gens devrait les considérer comme des informations sensibles sur la santé et les traiter en tant que telles."

Les lois sur la protection des données qui régissent les informations sur la santé aux États-Unis ne s'appliquent pas actuellement aux données créées par l'algorithme de reconnaissance de pensées suicidaires sur Facebook, selon Natasha Duarte. Aux États-Unis, les informations relatives à la santé d'une personne sont protégées par la loi HIPAA (Health Insurance Portability and Accountability Act), qui impose des protections spécifiques de la confidentialité, y compris des restrictions de cryptage et de partage, lors de la gestion des dossiers médicaux. Mais ces règles ne s'appliquent qu'aux organisations fournissant des services de soins de santé tels que les hôpitaux et les compagnies d'assurance.

Les entreprises comme Facebook qui déduisent l'état de santé mentale d'une personne à partir de sources de données non médicales ne sont pas soumises aux mêmes exigences de confidentialité. Et selon Facebook, elles en savent autant et ne classifient pas les informations qu'elles fournissent comme des informations dites sensibles.

Facebook n'a pas été transparent sur les protocoles de confidentialité entourant les bases de données sur le suicide que l'entreprise crée. Un représentant de Facebook a déclaré à Business Insider que les résultats de risque de suicide considérés comme trop bas pour être examinés ou indexés étaient stockés pendant 30 jours avant d'être supprimés, mais que Facebook ne se souciait pas de la question de savoir combien de temps et sous quelle forme étaient stockés les données sur des résultats de risque de suicide plus élevés et sur des interventions ultérieures,

Facebook ne préciserait pas pourquoi les données sont conservées s'il n'y aucune intensification.

La prochaine fuite massive de données de Facebook pourrait-elle inclure des données sur votre santé mentale?

ANWAR AMRO / AFP / Getty Images

Selon des experts en protection de la vie privée, les risques de stocker de telles informations sensibles sont élevés, sans véritables protection ni anticipation.

Le risque le plus évident est la sensibilité des informations à une fuite de données.

"Ce n'est pas une question de savoir si elles seront piratées, c'est de savoir quand", a déclaré Matthew Erickson du groupe de protection de la vie privée du consommateur, la Digital Privacy Alliance.

En septembre, Facebook a révélé qu'une fuite de données à grande échelle avait exposé les profils d'environ 30 millions de personnes. Pour 400 000 d'entre eux, des messages et des photos ont été ouverts. Facebook n'a pas souhaité commenté sur le fait que les données de son algorithme de reconnaissance des messages suicidaires aient déjà fait l'objet ou non d'une fuite de données.

Suite à la diffusion publique de données provenant du piratage de Ashley Madison, un site de rencontre pour personnes mariées, le risque de conserver des informations aussi sensibles est clair, selon Erickson: "Est-ce qu'on pourra consulter des informations sur votre santé mentale sur Facebook lors de votre prochain entretien d'embauche?"

Le Dr Dan Reidenberg, expert reconnu dans le domaine de la prévention des suicides, qui a aidé Facebook à lancer son programme, a reconnu les risques liés à la conservation et à la création de telles données, en déclarant: "Choisissez une entreprise qui n'a pas eu de fuite de données".

Mais Reidenberg explique que le danger réside davantage dans la stigmatisation des problèmes de santé mentale. Reidenberg soutient que la loi Americans with Disabilities interdit la discrimination à l'égard des maladies mentales, ce qui pourrait engendrer les pires conséquences devant les tribunaux.

Qui a accès aux informations sur la santé mentale sur Facebook

Une fois qu'un message est identifié comme risque de suicide potentiel, il est envoyé à l'équipe de modérateurs de contenu de Facebook. Facebook n'a pas souhaité entrer dans les détails sur la formation reçue par les modérateurs autour du suicide, mais insisterait pour que ces derniers soient formés pour contrôler de manière précise les publications visées par des risques de suicide potentiels.

Dans un article du Wall Street Journal sur les milliers de modérateurs de contenu de Facebook en 2017, ils ont été décrits comme étant principalement des contractuels ayant connu une rotation élevée et peu de formation sur la gestion des contenus perturbants. Facebook indique que la première équipe de modération reçoit une formation sur "le contenu potentiellement relatif au suicide, les mutilations et les troubles de l'alimentation" et "l'identification d'une menace potentielle de suicide crédible. imminente" mise au point par des experts du suicide.

Facebook a déclaré que pendant lors de cette première étape, les noms ne sont pas attachés aux publications examinées, mais Duarte a précisé que le fait que des publications sur les réseaux sociaux n'identifie pas les auteurs des messages pouvait s'avérer difficile.

"Il est vraiment difficile de ne pas identifier les publications liées aux gens. Il peut y avoir beaucoup de contexte dans un message posté sur les réseaux sociaux, qui révèle qui ils sont, même si leur nom n'est pas écrit", a-t-elle déclaré.

Si un message a été signalé par un premier modérateur comme contenant des informations sur un risque imminent, il est transmis à une équipe ayant un délai de réponse plus rapide, selon Facebook, qui a déclaré que les employés spécialisés avaient des antécédents allant de l'application de la loi à des expériences dans des centres d'appels sur le viol et le suicide.

Ces employés plus expérimentés ont davantage accès à des informations sur la personne dont ils examinent le message.

"J’ai encouragé Facebook à consulter leurs profils afin de voir s'ils pouvaient le situer dans son contexte", a déclaré Reidenberg, soulignant que la mise en contexte était, pour le moment, l'un des seuls moyens de déterminer le risque de manière précise. "La seule façon de l'obtenir est si nous examinons une partie de leur histoire et certaines de leurs activités."

Parfois, la police intervient

Mike Groll / AP Photo

Une fois examinées, deux actions de sensibilisation peuvent avoir lieu. Les modérateurs peuvent soit envoyer à l'utilisateur des informations sur des ressources qui s'occupent de la prévention des suicides, soit contacter les urgences.

"Au cours de cette dernière année, nous avons aidé des spécialistes de la prise en charge d'urgences à atteindre rapidement environ 3500 personnes dans le monde qui avaient besoin d'aide", a écrit le PDG de Facebook, Mark Zuckerberg, à propos de cette initiative.

Selon Duarte, la divulgation par Facebook d'informations sur des utilisateurs à la police représente le risque le plus important du programme concernant la vie privée.

"Selon moi le plus gros risque est un faux potentiel positif qui conduit à des contacts inutiles avec les forces de l'ordre", a-t-elle déclaré.

Facebook a souligné de nombreuses interventions réussies de son partenariat avec les forces de l'ordre, mais dans un article récent du New York Times, un incident documenté par la police a entraîné l'intervention d'une personne qui a déclaré ne pas être suicidaire. La police a quand même emmené la personne à l'hôpital pour évaluer sa santé mentale. Dans un autre cas, la police a publié des informations personnelles sur une personne dont le risque de comportement suicidaire avait été signalé par Facebook au New York Times.

Pourquoi l'algorithme de suicide de Facebook est interdit dans l'UE

Carl Court / Getty Images

Facebook utilise l'algorithme du suicide pour analyser les publications en anglais, espagnol, portugais et arabe, mais pas les publications de l'Union européenne.

La perspective d'utiliser l'algorithme dans l'UE a été arrêtée en raison des protections spéciales en matière de confidentialité, prévues par le règlement général sur la protection des données (GRPD), qui oblige les utilisateurs à donner aux sites internet leur consentement telles que celles relatives à leur santé mentale.

Aux États-Unis, Facebook considère son programme comme une affaire de responsabilité.

Reidenberg a décrit le sacrifice de la vie privée comme un phénomène auquel les professionnels de la santé sont régulièrement confrontés.

"Les professionnels de la santé prennent une décision professionnelle cruciale si les utilisateurs présentent un risque et initient ensuite une prise en charge", a déclaré Reidenberg. "Les entreprises de la tech, y compris Facebook, ne sont pas différentes de celles qui doivent déterminer si elles doivent ou non mobiliser les forces de l'ordre pour sauver quelqu'un."

Mais Duarte a déclaré qu'il existait une différence critique entre les professionnels de l'urgence et les entreprises de la tech.

"C’est l'une des grandes lacunes que nous avons en matière de protection de la vie privée aux États-Unis, c'est-à-dire que, secteur par secteur, il y a beaucoup de renseignements sur la santé ou de pseudo-renseignements sur la santé qui relèvent des entreprises qui ne sont pas couvertes par la loi HIPAA , et il y a aussi les renseignements sur les problèmes de santé qui sont utilisés pour faire des déductions ou des déterminations sur la santé qui ne sont pas actuellement traitées avec la sensibilité que nous souhaiterions".

Les experts en protection de la vie privée ont convenu qu'une meilleure version du programme de Facebook obligerait les utilisateurs à adhérer de manière affirmative ou, du moins, à leur fournir un moyen de se retirer du programme, mais aucune de ces options n'est actuellement disponible.

Emily Cain, une représentante de Facebook chargée de la communication, a déclaré à INSIDER: "En utilisant Facebook, vous décidez de faire analyser vos messages, vos commentaires et vos vidéos (y compris FB Live) pour déterminer s'il y a un risque de suicide".

Les experts s'accordent pour dire que l'algorithme du suicide est potentiellement positif

La plupart des experts en confidentialité et en santé publique à qui Business Insider s'est adressé dans le cadre de cet article, ont convenu que l'algorithme de Facebook était potentiellement positif.

Selon l'Organisation mondiale de la santé, près de 800 000 personnes se suicident chaque année, touchant de manière disproportionnée les adolescents et les populations vulnérables telles que les LGBT et les peuples autochtones.

Facebook a déclaré que, dans leurs calculs, le risque d'atteinte à la vie privée en valait la peine.

"En ce qui concerne les efforts de prévention des suicides, nous nous efforçons d'équilibrer la vie privée des personnes et leur sécurité", a déclaré l'entreprise dans un communiqué. "Bien que nos efforts ne soient pas parfaits, nous avons décidé de donner le plus tôt possible des ressources aux personnes qui ont besoin d'aide. Et nous comprenons que c'est une question sensible, nous avons donc mis en place un certain nombre de protections de la vie privée".

Kyle McGregor, directeur du département d'éthique de la santé mentale en pédiatrie de l'École de médecine de l'Université de New York, a déclaré: "L'envie de se suicider, en particulier chez les adolescents, est un problème qui peut être résolu et en tant qu'adultes, nous avons la responsabilité de veiller à ce que les enfants puissent surmonter cette épreuve. Si nous avons la possibilité d'empêcher un ou deux suicides supplémentaires de manière précise et efficace, ça en vaut la peine".

Si vous ou l'un de vos proches êtes aux prises à une dépression ou si vous avez eu l'idée de vous faire du mal ou de vous suicider, demandez de l'aide. N'hésitez pas à consulter les numéros et centres d'appels ici.

Version originale: Benjamin Goggin/Business Insider