Kein Prognose-Algorithmus ist perfekt. 99 Prozent Sicherheit sind möglich, 100 Prozent sind bei komplexen Aufgaben unrealistisch – dazu müsste nicht nur die Software fehlerfrei arbeiten, sondern auch das zugrunde liegende Datenmaterial perfekt sein. Das bedeutet zweierlei: Erstens wird es immer wieder vorkommen, dass eine gesuchte Person nicht erkannt wird und unentdeckt bleibt. Zweitens passiert aber auch das Gegenteil: Eine eigentlich unverdächtige Person wird von der Software versehentlich als Treffer markiert. Man spricht hier von Falsch-Positiven. In der Realität, etwa an einem gewöhnlichen Bahnhof in einer deutschen Großstadt, kommen nämlich auf jede polizeilich gesuchte Person Hunderte oder Tausende völlig unverdächtige Personen.

In ihrem Feldversuch zur Gesichtserkennung gelang es der Bundespolizei, die Falschtrefferrate – also die Wahrscheinlichkeit, einen Unschuldigen irrtümlich als verdächtig einzustufen – auf unter 0,1 Prozent zu senken. Anhand dieses an sich niedrigen Wertes lässt sich nachrechnen, warum das System trotzdem zu bedenklichen Ergebnissen kommen kann. Laut Angaben der Deutschen Bahn reisen täglich 12,7 Millionen Menschen mit ihren Zügen. Wenn man davon ausgeht, dass Gesichtserkennung flächendeckend zum Einsatz kommt, könnte das System in Zukunft mehrere Millionen Fahrgäste täglich erfassen. Diesen Millionen Fahrgästen stehen ein paar Hundert gesuchte Straftäter gegenüber, die das System erkennen soll. Die Software erkennt dann zwar 80 Prozent der Straftäter, sie stuft aber eben auch täglich mehr als 12.000 unschuldige Personen als Verdächtige ein, wenn man 12 Millionen Bahnreisende und eine Falschtrefferrate von 0,1 Prozent zu Grunde legt. Das wiederum führt zu der absurden Situation, dass mehr als 99 Prozent der vermeintlichen Treffer des Systems gar keine sind.

Das ist das Problem an derartigen Systemen, die auf anlassloser Massenüberwachung fußen: Selbst bei sehr geringen Fehlerraten geraten ungleich viele Personen fälschlicherweise ins Visier der Fahnder. Solche Systeme sind zu unpräzise. Welche gesellschaftlichen Konsequenzen das haben kann, ist noch völlig unklar. Die automatische Gesichtserkennung zur Identifikation von Straftätern an Bahnhöfen ist nämlich nur ein möglicher Anwendungsbereich im Rahmen der Polizeiarbeit. Ein solches System könnte genauso gut für die Fluggastdaten zum Einsatz kommen, wodurch der fälschlicherweise verdächtigte Personenkreis weiter wächst.

Experten wie Informatik-Professor Florian Gallwitz von der Technischen Hochschule Nürnberg halten Systeme mit einer derart schlechten Falschtrefferrate deshalb für nicht einsatzfähig – auch wenn die Zahlen von Behörden als Erfolg verkauft werden. "0,1 Prozent Falschtrefferrate ist definitiv zu viel", sagt Gallwitz. Er hält es aber für realistisch, dass die Falschtreffer noch deutlich reduziert werden können, was auch im Abschlussbericht der Bundespolizei bereits angedeutet wurde.

Besser geeignet sind solche Systeme, wenn sie auf einen klar definierten Personenkreis angewendet werden können, wie das etwa bei einem HIV-Schnelltest der Fall ist. Einen solchen Test machen in der Regel nur Personen, bei denen ein konkreter Verdacht auf eine Erkrankung vorliegt. Der Personenkreis ist also von vorneherein eingeschränkt. Sollte das Testergebnis positiv sein, heißt das nicht, dass die Person tatsächlich infiziert ist. Bekanntermaßen sind gerade medizinische diagnostische Schnelltests sehr sensitiv eingestellt. Deshalb wird ein zweiter Test im Labor durchgeführt, bevor der Patient von der Diagnose erfährt. Aus dem gleichen Grund ist es auch umstritten, die Brustkrebs-Erkennung mittels Mammografie breit einzusetzen, etwa bei allen Frauen ab einem gewissen Alter. Stattdessen, so die Meinung vieler Ärzte, sollte das Verfahren nur bei einem vorliegenden Verdacht angewandt werden.