In einem Vortrag erklärt die Techno-Soziologin Zeynep Tufekci, wie eine digitale Überwachungsstruktur mit riesigem Missbrauchspotential entsteht, die ursprünglich nur effektiver Werbung dienen sollte. Sie nennt Beispiele für Manipulation und spricht Dinge an, die sich dringend ändern müssen.

In ihrem TED-Talk „We’re building a dystopia just to make people click on ads“ spricht die Soziologin Zeynep Tufekci über die Risiken künstlicher Intelligenz. Diese lägen jedoch weniger in autonomen Robotern, wie Hollywood sie etwa mit dem „Terminator“ darstellt, sondern in den Algorithmen der großen Internetkonzerne, die längst real sind. Die Algorithmen, die beispielsweise Google, Facebook, Amazon oder ihre chinesischen Pendants Tencent und Alibaba entwickeln und einsetzen, seien nicht nur um einiges subtiler, sondern lenkten schon jetzt die Aufmerksamkeit der Internetnutzer und böten ein riesiges Missbrauchspotential.

Künstliche Intelligenz hat in den letzten Jahren riesige Fortschritte gemacht, beispielsweise können Algorithmen mit dem entsprechenden Datensatz Erdbeben voraussagen oder bei der Suche nach neuen medizinischen Wirkstoffen helfen. Doch vor diesem großen Potential warnt Tufekci, wenn es um den Einsatz von selbstlernenden Algorithmen in der Werbeindustrie geht, mit denen global gesehen allein auf Facebook mehr als eine Milliarde Menschen ständig in Kontakt kommen.

Besser und schneller als jede menschliche Analyse können die Algorithmen auf Grundlage der gigantischen Datenmengen – Facebook-Posts, -Likes und -Fotos, Chat-Verläufen, aufgerufenen Websites, Standorten und vielem mehr – Individuen durchleuchten und mit hoher Erfolgsquote einschätzen, ob jemand als potentieller Käufer eines Produkts in Frage kommt oder nicht.

Ein Flug nach Vegas für manische Spieler?

Problematisch hierbei sei aber vor allem die mangelnde Transparenz: Nach welchen Merkmalen die Programme Menschen sortieren, sei für die Betroffenen und selbst für die Programmierer nicht mehr ersichtlich. Zudem halten Google, Facebook und Co. ihre Algorithmen streng geheim. Auch die Kategorien, nach denen Werbung auf die Zielgruppe zugeschnitten wird, seien viel komplexer geworden. Während man in der analogen Welt noch Flyer an bestimmte Altersgruppen oder in festgelegten Wohngebieten verteilte, könnten Algorithmen bereits psychische Störungen wie Bipolarität erkennen und, wie Tufekci betont, diese Daten missbrauchen. So könnten etwa Menschen, die kurz vor einer manischen Phase stehen, als besonders zugänglich für einen Ausflug nach Las Vegas erkannt werden und entsprechende Werbebotschaften erhalten. Das mag abwegig klingen, doch australische Journalisten berichteten Anfang des Jahres auf Grundlage interner Facebook-Dokumente, dass die Plattform ihre Datenberge gezielt nach emotional verletzlichen Jugendlichen mit niedrigem Selbstwertgefühl durchsucht und so eine leicht missbrauchbare Werbezielgruppe findet.

Radikalisierung als Nebeneffekt

Doch nicht nur um die Kaufkraft, sondern vor allem um die Aufmerksamkeit würde geworben, wie die Techno-Soziologin am Beispiel von Youtube deutlich macht. Dass das Autoplay-Feature immer neue Videos vorschlägt, um die Aufmerksamkeit der Zuschauer möglichst lange zu binden, liege nahe. Perfide an der Vorgehensweise der Algorithmen sei jedoch, dass die Vorschläge tendenziell immer ein wenig extremer als das zuvor gesehene Video seien. Wer Videos über Vegetarismus sehe, würde thematisch zum Veganismus gelotst. Das Gleiche funktioniere jedoch auch im politischen Kontext: Wer bei einer Wahlveranstaltung für Donald Trump anfinge, käme nach kurzer Zeit bei rassistischen Botschaften an, wer bei Hillary Clinton beginne, würde bei linken Verschwörungstheorien landen.

Die Maxime der Algorithmen läge nun natürlich nicht darin, Menschen langsam zu radikalisieren, sondern die Nutzer möglichst lange zu unterhalten, um Zeit zur Einblendung von Werbung zu gewinnen. Zudem war es bis vor kurzem noch für Werbetreibende möglich, Gruppen wie Antisemiten exklusiv mit Werbung zu erreichen. Algorithmen hatten nicht nur selbstständig Menschen in dieser Kategorie gesammelt, sondern halfen sogar dabei, solchen Inhalten potenziell aufgeschlossene Menschen zu finden und die Zielgruppe somit zu erweitern, wie eine Recherche von ProPublica ergab. Mittlerweile hat Facebook zumindest die Kategorie mit dieser Zielgruppe entfernt, doch die über 29.000 automatisch erstellten Kategorien halten sicher noch einige Überraschungen bereit.

Facebook kann beeinflussen, wer zur Wahl geht

Sogar die Wahlen selbst können von Facebook beeinflusst werden, wie auch Jonathan Zittrain, Professor für Recht und Computerwissenschaft in Harvard, schon 2014 für die Vereinigten Staaten untersuchte. Wie? Den entscheidenden Unterschied, ob jemand wählen ging oder nicht, machte für viele eine einzelne Aufforderung auf Facebook, wie Tufekci erklärt:

Manchen Leuten wurde „Heute ist Wahltag“ gezeigt, die einfachere Variante, manchen Leuten wurde eine minimal veränderte Variante gezeigt, in der auch Profilbilder von Freunden gezeigt wurden, die bereits auf „Ich habe gewählt“ geklickt haben. Diese Bilder waren die einzige Veränderung und ein einmaliges Zeigen dieser [zweiten] Nachricht führte zu 340.000 zusätzlichen Wählern, wie eine Studie ergab und die Wählerverzeichnisse bestätigten. 2012 wurde das Experiment wiederholt und diesmal führte die gezeigte Nachricht zu 270.000 zusätzlichen Wählern. Die Präsidentschaftswahl 2016 wurde, um die Zahlen ins Verhältnis zu setzen, von ungefähr 100.000 Stimmen entschieden. Facebook kann zudem sehr einfach ableiten, welche politischen Einstellungen man hat, selbst, wenn man diese niemals auf der Seite angegeben hat. Was wäre, wenn eine Plattform mit einer so großen Macht sich entscheiden würde, die Unterstützer eines Kandidaten zum Wählen zu drängen und die eines anderen nicht? Wie, wenn überhaupt, würden wir das bemerken? (eigene Übersetzung)

Vor ähnlichen Manipulationen sind übrigens auch die Wähler in Deutschland nicht gefeit, wo Parteien zunehmend auf Microtargeting setzen. Mit sogenannten Dark Posts ist es beispielsweise möglich, (Wahl)werbung auf Facebook zu schalten, die nur für eine ausgewählte Zielgruppe sichtbar ist. So warb die bayrische CSU mit einem Porträt von Seehofer und dem Spruch „Wir wollen keine Republik, in der linke Kräfte und der Multikulturalismus die Vorherrschaft haben.“ – auf russisch, und nur für diejenigen sichtbar, die auf Facebook mit dem russischen Fernsehsender RT in Verbindung stehen.

Was also harmlos mit aufdringlicher Onlinewerbung angefangen habe, resümiert Tufekci, führe jetzt dazu, dass wir „als Öffentlichkeit und Bürger nicht länger wissen, ob wir die gleichen Informationen sehen oder was jeder andere sieht. Ohne eine gemeinsame Informationsgrundlage wird, Schritt für Schritt, jede öffentliche Debatte unmöglich.“

Der Traum jedes Autokraten

Dass die Ergebnisse der Algorithmen immer auf Wahrscheinlichkeiten beruhen, erweist sich dann als Problem, wenn autoritäre Staaten sie in der Strafverfolgung einsetzen, etwa in China oder Russland. Tufekci mutmaßt, dass „die Mächtigen kaum der Versuchung dieser Technologien widerstehen, nur weil es ein paar false positives gibt“.

In einer Welt, die zunehmend autoritärer wird, müssen die entstehenden Strukturen besonders kritisch betrachtet werden. Auch die Big-Data-Forscherin Kate Crawford wandte sich Anfang des Jahres angesichts der Wahl Donald Trumps in einem offenen Brief an die Technologiegiganten im Silicon Valley.

Die notwendigen Datenspuren, um eine Dissidentenliste zu erschaffen, bestehen bereits – öffentlich und bleibend. Getätigte Kommentare, die vergänglich erschienen, werden die Zukunft heimsuchen. Unsere Suchanfragen, Posts und Hashtags werden die brutalsten Informanten sein. Und ihr arbeitet bereits an weiteren Werkzeugen. Techniken des maschinellen Lernens werden getestet in der Verbrechensvorhersage, in der Strafjustiz und beim Nachverfolgen von Flüchtlingsbewegungen in der Welt. Was werdet ihr tun, wenn ihr aufgefordert werdet, eure Gesichtserkennungsanwendung so zu modifizieren, dass sie verwendet werden kann, um undokumentierte Personen zu identifizieren und zu inhaftieren? Oder wenn dein Community-Mapping-Tool von einer Sicherheitsfirma aufgekauft wird, die Aktivisten erfasst?

Arbeitsweise und Anreize der Plattformen überdenken

Zeynep Tufekcis Sorge geht in eine ähnliche Richtung. Die besondere Tragik liege darin, dass die entstehende Überwachungsinfrastruktur lediglich aus dem einfachen Grund aufgebaut worden wäre, weil man Leute dazu bringen wollte, auf Werbung zu klicken. Der offene Terror in Orwells 1984 sei demnach die falsche Dystopie.

„Wenn die Mächtigen diese Algorithmen nutzen, um uns still zu beobachten, uns zu beurteilen und in die eine oder andere Richtung anstoßen, die Unruhestifter und Rebellen vorherzusagen, Überzeugungsstrategien im großen Maßstab anzuwenden und jeden einzelnen mit seinen persönlichen, individuellen Schwächen und Verletzlichkeiten zu manipulieren, und wenn sie das durch unsere privaten Bildschirme tun, so dass wir gar nicht wissen, was unsere Mitbürger und Nachbarn sehen, dann wird uns der Autoritarismus wie ein Spinnennetz umschließen und wir könnten noch nicht einmal wissen, dass wir darin sind.“

Tufekcis Verbesserungsansatz ist so radikal wie berechtigt: Nicht weniger als die gesamte Arbeitsweise unserer digitalen Technologien müsse verändert werden. Über die Entwicklungsweise, (finanzielle) Anreize, mangelnde Transparenz der proprietären Algorithmen bis zu den rücksichtslos gesammelten Daten müsse sich alles ändern. „Wir brauchen eine digitale Wirtschaft, in der unsere Daten und unsere Aufmerksamkeit nicht für den höchstbietenden autoritären Machthaber oder Demagogen zum Verkauf stehen.“ Wenn man die Macht der neuen Technologien ernst nimmt, dürfe man die Diskussion über die angesprochenen Probleme nicht länger aufschieben.

Den Vortrag als Podcast findet ihr auch hier zum Download.