Deutsche Medien verbreiten eine Analyse über automatisierte Twitter-Konten, die angeblich das Stimmungsbild zum UN-Migrationspakt beeinflusst haben. Experten zweifeln jedoch an der Untersuchung. Die Debatte zeigt, wie kompliziert der Umgang mit den Social Bots ist – und wie leichtfertig sich Medien dem Thema nähern.

Eine kleine Berliner Firma sorgt gerade für eine große Diskussion. 28 Prozent der Tweets über den am Montag verabschiedeten UN-Migrationspakt stammen von Social Bots, behauptet das Unternehmen Botswatch. Knapp 800.000 Tweets zum Migrationspakt habe es dazu ausgewertet. Die Welt (Paid) berichtete als erstes über die Analyse, die daraufhin für Aufsehen sorgte.

Denn es ist ein politisch hoch relevantes Feld: Social Bots, das sind Programme, mit denen etwa Twitter-Konten automatisiert gesteuert werden. In einigen Fällen verfolgen ihre Macher eine klare Agenda. Sie wollen das Meinungsbild im Sozialen Netz zu ihren Gunsten verschieben. Der Einfluss ist zwar umstritten. Würden aber tatsächlich 28 Prozent der Tweets zum insbesondere in rechten Kreisen viel kritisierten Migrationspakt von Bots stammen – das Potenzial zur Manipulation des gesellschaftlichen Diskurses wäre enorm. Laut Botswatch waren an der Diskussion um den Migrationspakt doppelt so viele Bots im Netz beteiligt wie bei politischen Debatten üblich.

Angesichts dieser Zahlen sah sich selbst die Politik zu einer Reaktion gezwungen. Bundesjustizministerin Katarina Barley (SPD) rief Plattformbetreiber auf, entschieden gegen solche Accounts vorzugehen. Auch die stellvertretende Vorsitzende der Unionsfraktion, Nadine Schön, forderte mehr Transparenz.

Ihr Ziel hat die Botswatch-Analyse also erreicht. Nur: Wie kam sie überhaupt zu diesem Ergebnis?

„Unmöglich zu interpretieren“

Schon kurz nach der Veröffentlichung durch die Welt kritisierten Experten die Studie. “Weil weder die Studie noch die Methode veröffentlicht wurden, ist es unmöglich die Zahlen zu interpretieren”, sagte etwa der Analyst Luca Hammer gegenüber MEEDIA am Montag. Der Datenjournalist Michael Kreil forderte Botswatch in einem öffentlichen Brief auf, die Untersuchung zu erklären.

Das Problem an der Studie: Welche Kriterien Botswatch bei der Erkennung der Social Bots anlegt, ist öffentlich nicht nachvollziehbar. Botswatch deklariert das als Geschäftsgeheimnis. Dabei seien gerade die Kriterien wichtig, um Vergleichbarkeit zu schaffen und die Ergebnisse einordnen zu können, kritisiert Hammer auf Twitter. Er hat zudem Zweifel an dem Versprechen Botswatchs, dass die Bots von einem Computerprogramm automatisiert erkannt werden können. Dabei bestehe die Gefahr, dass normale Twitter-Accounts als Bots eingestuft werden oder andersherum. Das Ergebnis wäre verfälscht.

Definition nicht transparent

Das Unternehmen hielt sich trotz Nachfrage zunächst mit einer Offenlegung der Bot-Kriterien zurück – und verweist auf die Webseite. Dort heißt es, Botswatch sei „in der Lage, automatisiert und in Echtzeit Social Bots und manipulative Netzwerke in sozialen Medien und auf digitalen Plattformen zu finden“.

Weiter unten ist zu lesen: „Unsere Auswertungen sind ein Ergebnis aus der automatisierten Erkennung und den Analysen unserer Analysten“ – sprich: Die Ergebnisse der Maschine werden durch einen menschlichen Analysten geprüft. Zur Definition steht auf der Seite, man verstehe Social Bots „als Accounts, die mit einem überdurchschnittlich hohen Grad an Automation im Social Web arbeiten“.

Sieh dir diesen Beitrag auf Instagram an Ein Beitrag geteilt von MEEDIA (@meedia.de) am Dez 12, 2018 um 8:24 PST

Zumindest eines der genutzten Kriterien will Botswatch verraten. Auf MEEDIA-Nachfrage erklärt die Geschäftsführerin Tabea Wilke zur Methode: „Wenn wir Analysen zu aktuellen Ereignissen auf unserem Twitterkanal oder manchmal auch auf unserer Website veröffentlichen, lehnen wir den Botindex zugunsten der Nachvollziehbarkeit immer an die Kriterien der Oxford University an.“ Die besagen, dass ein Twitter-Account dann als Bot zählt, wenn er mehr als 50 Tweets am Tag veröffentlicht. Einige Experten halten das Oxford-Kriterium für nicht valide, da auch normale Nutzer leicht auf diesen Wert kommen können.

Das Kriterium spielt laut eigenen Angaben aber nur bei schnellen Botswatch-Analysen eine Rolle. Bei größeren, wie etwa der benannten Analyse zum Migrationspakt, nutzt Botswatch darüber hinaus den „eigenen Kriterienkatalog für das automatisierte Finden von Social Bots“, erklärt Wilke weiter. Dieser werde ständig aktualisiert.

Botswatch verteidigt sich: „Die Bot-Detektion gehört zum Kern unseres Geschäftsmodells“

Und hier kommt der strittige Punkt: Den Kriterienkatalog öffentlich machen will Botswatch aus Geschäftsgründen nicht. „Wir sind ein privatwirtschaftlich organisiertes Unternehmen“, betont sie. „Die Bot-Detektion gehört zum Kern unseres Geschäftsmodells. So wie große Unternehmen wie Marktforschungsinstitute, Plattformanbieter, Limonadenhersteller und Maschinenbauer ihre Erfindungen und ihre Geschäftsgeheimnisse schützen, halten wir es als junges Technologie-Startup auch.“

Wilke moniert, dass bei großen Unternehmen der Verweis auf das Geschäftsgeheimnis akzeptiert wird, während „uns als Startup die Frage sehr viel deutlicher gestellt“ werde. Die Geschäftsführerin vergleicht ihre Arbeit mit der eines Marktforschers: „Marktforscher legen die Art, wie sie arbeiten und die Zahlen, die sie interpretieren, auch nicht offen.“ Ähnlich wie in der Marktforschung gebe es auch in der Analyse von Social Bots unterschiedliche Datengrundlagen und unterschiedliche Berechnungen und Gewichtungen.

Komplizierte Analyse

Eine Begründung, die Kritiker kaum beruhigen dürfte. Zwar ist es das gute Recht von Botswatch, als privatwirtschaftliches Unternehmen das Geschäft zu schützen. Aus journalistischer Sicht spielt aber eine große Rolle, dass sich der Wahrheitsgehalt der Analyse weder prüfen noch nachvollziehen lässt.

Hinzu kommt die Tatsache, dass Social Bots per se schwer zu erkennen sind. Die Programme sind schon lange nicht mehr so einfach gestrickt wie man denkt. Sie können Diskussionen führen, sich vertippen und verifiziert sein. Auch halten Bots zum Teil sogar Tag- und Nachtzeiten ein. Kurzum: Sie wirken menschlicher. Das macht die Analyse kompliziert. Umso notwendiger ist es, die Analyse zu erklären.

Spiegel revidiert, Die Welt verteidigt sich

Medien haben über die Erhebung ungeachtet dieser Unschärfen berichtet – ohne Angaben zu Hintergründen und damit ohne Einordnung. Der Spiegel hat seinen Artikel nach der Kritik erweitert und einen Halbsatz ergänzt (von uns fett markiert):

Für seine Analyse hat das Unternehmen knapp 800.000 zwischen dem 24. November und dem 2. Dezember auf Twitter veröffentlichte Kurzbotschaften ausgewertet – wie genau, wird aus den Analyse-Auszügen nicht im Detail klar.

Spiegel-Autor Markus Böhm erklärt auf Twitter:



Die Autoren des Welt-Artikels, der die umstrittene Analyse zuerst publik machte, schreiben auf Nachfrage, dass sie es für „nachvollziehbar“ halten, dass „die Methodik einer Untersuchung bei Unternehmen nicht veröffentlicht wird“. Weiter heißt es: „Wir haben ein ausführliches Telefoninterview mit Botswatch über die Methodik und Ergebnisse der Analyse geführt. Es ist bekannt, dass Botswatch den Ansatz der Bot Detection der Oxford University verwendet und darüber hinaus eigene Werkzeuge und Kriterien zur Analyse von Bots entwickelt hat.“

Dass die Bot-Analyse am Tag der Verabschiedung des Migrationspakts publik wurde, mag Zufall sein oder nicht. Über den großen Widerhall zu ihrem Artikel schienen die Autoren jedenfalls überrascht. Sicher ist, dass die Studie herangezogen wird, um Kritiker des Paktes zu diskreditieren – und dass, obwohl an ihr so vieles unklar ist.