Immer häufiger wird künstliche Intelligenz zur Bekämpfung von Kriminalität eingesetzt. In Amerika soll eine Software Risikopersonen ausmachen. Doch die Vorhersagen diskriminieren mitunter die Betroffenen.

Menschen sind auch nur Informationssysteme, wenn man aus der Perspektive derjenigen auf sie blickt, die sie abschöpfen. Wir produzieren Bewegungsdaten, wir kommunizieren unentwegt, wir kaufen, was wir für nötig oder attraktiv halten. Den Datenschatz auszuwerten ist schon jahrelang ein erkleckliches Geschäft. In die Auswertungen wurden in letzter Zeit immer mehr Methoden der Künstlichen Intelligenz integriert, um die Analysen zu verfeinern und auch Vorhersagen über künftiges Verhalten anzubieten.

Solche Vorhersagen sind allerdings wegen ihrer mitunter diskriminierenden Auswirkungen ins Gerede gekommen. Die Liste der Beispiele von Verzerrungen in der Datenbasis, die zu Nachteilen für bestimmte Personen führen, wird länger. Menschen werden wegen ihrer Ethnie, ihres Geschlechts, ihrer sexuellen Orientierung, ihres Einkommens oder auch, weil die Software sie nicht ordentlich kategorisieren kann, diskriminiert.

Das empfinden viele als nicht weiter störend, weil sie davon noch nichts gehört oder bemerkt haben, weil sie vielleicht ohnehin zu den Privilegierten gehören oder weil sie versuchen, sich weitgehend von Werbung und Scoring im Internet abzukoppeln. Erst wenn das nicht mehr möglich ist, wird es unangenehm.

Diese Erfahrung machten die Bürger der Stadt New Orleans, denen ein Softwaresystem des Unternehmens Palantir Technologies zur Analyse von menschlichem Verhalten heimlich aufs Auge gedrückt wurde. Und es ging nicht um Werbung oder Stadtoptimierung, sondern um die Polizei. Etwa ein Prozent der Bürger meldete die Software als Risikopersonen, die Liste ist quasi ein Lehrbeispiel für Diskriminierung.

Das Unternehmen wahrt Geschäftsgeheimnisse

Firmen wie Palantir bewerben bei Regierungen und großen Städten ihre fortgeschrittenen Softwareprodukte mit Künstlicher Intelligenz für die Kriminalitätsbekämpfung. Oft wird der Zugang zu großen Mengen Daten, mit denen polizeiliche Informationen abgeglichen werden, gleich mitverkauft. Die dahinterliegenden Mechanismen der Künstlichen Intelligenz und die Details der Programmierung sind jedoch Geschäftsgeheimnisse des Unternehmens.

Wie die Software dazu beiträgt, jemanden als Risikoperson zu klassifizieren, oder wie sie zu dieser Schlussfolgerung kam, darf niemand in New Orleans einsehen. Nachdem der Journalist Ali Winston im Februar in einer umfangreichen Reportage für das Magazin „The Verge“ über das Polizei-Programm berichtet hatte, brach in Amerika eine Welle der Kritik los. Auch ein Betroffener wehrt sich mit Anträgen zur Herausgabe von Informationen über die Software. Nach wenigen Tagen entschloss sich der Bürgermeister von New Orleans nun, die Zusammenarbeit mit dem in Palo Alto ansässigen Unternehmen Palantir zu beenden.

Mehr zum Thema 1/

Die Stadt hatte die Analyse-Software vor Jahren von Palantir geschenkt bekommen. Der Markt für solche Produkte war noch vergleichsweise jung, da lohnte sich Generosität. Denn mit der Kooperation in New Orleans warb Palantir bei anderen Polizeien in den Vereinigten Staaten um Zusammenarbeit und buhlte um millionenschwere Aufträge. Zugleich hatte das Geschenk den Vorteil, dass öffentliche Diskussionen vor Beginn des Einsatzes vermieden werden konnten: Der geheime Vertrag mit Palantir ist nicht einmal in den zuständigen städtischen Gremien besprochen worden. Erst durch Winstons Nachfragen im Rahmen seiner Recherche war einigen Stadtverordneten überhaupt bekanntgeworden, dass ein solcher Vertrag existiert.