Es klingt wie der kafkaeske Plot eines Sciencefiction-Streifens: Im Februar 2013 gerät der Amerikaner Eric Loomis mit seinem Auto in eine Polizeikontrolle. Das Fahrzeug war von den Polizeibehörden registriert worden, weil jemand daraus Schüsse abgegeben hatte. Loomis, ein vorbestrafter Sexualstraftäter, flüchtet aus Angst vor Repressalien vor der Polizeistreife und wird bei der Verfolgung verhaftet. Der Verdächtige bestritt jede Beteiligung an der Schießerei und gab bei der Vernehmung an, er habe das Fahrzeug erst nach dem Vorfall gefahren. Ein Gericht in La Crosse County im US-Bundesstaat Wisconsin nahm ihm diese Erklärung nicht ab und verurteilte ihn wegen Fahrerflucht und Fahrens ohne Fahrerlaubnis zu einer Haftstrafe von sechs Jahren. Das Bemerkenswerte an diesem Urteil war, dass es nicht allein auf Grund der Straftat erging, sondern auf Grund eines algorithmisch erzeugten "Risikoscores".

Den errechnet ein Algorithmus auf Basis eines Tests mit insgesamt 127 Fragen – darunter "Hatten Ihre Eltern ein Drogen- oder Alkoholproblem?" oder: "Fühlen Sie sich von den Dingen, die Sie tun, gelangweilt?" Aus den Antworten ermittelt das Programm einen Wert, der angeben soll, mit welcher Wahrscheinlichkeit der Straftäter rückfällig wird. COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), wie der Hersteller Northpointe das statistische Werkzeug nennt, wird von mehreren Gerichten in Wisconsin eingesetzt. Richter Scott Horne sagte bei der Urteilsverkündung, dass der Angeklagte durch das COMPAS-Assessment als ein "Individuum identifiziert wurde, das ein hohes Risiko für die Gesellschaft darstellt". Gegen dieses Urteil legte Loomis Berufung wegen Verletzung des Rechtsstaatsprinzips ein.

Das Problem ist, dass dieser proprietäre Algorithmus höchst intransparent ist und keiner allgemeinen Überprüfbarkeit unterzogen werden kann. Der Angeklagte kann die Validität des Werkzeugs nicht nachvollziehen. Loomis' Anwälte argumentieren in der Klageschrift, dass das Gericht auf einen geheimen, intransparenten Prozess abstelle. Sein Anwalt Michael D. Rosenberg bringt vor, dass der Algorithmus voller Löcher sei und das Erfordernis eines individuellen Urteils verletze. Das widerspreche dem Transparenzgebot von Entscheidungsgründen. Der Anwalt verlangt Einsicht in den Softwarekode. Das wiederum lehnt die Firma ab, die ihre Formel als Betriebsgeheimnis geschützt sehen will. Das Recht auf geistiges Eigentum kollidiert hier mit der Freiheit des Beklagten.

Kann man eine Maschine verklagen, wenn sie die falschen Parameter berücksichtigt?

Loomis' Einspruch wurde höchstrichterlich vom Wisconsin Supreme Court abgewiesen. Doch kann es sein, dass ein opaker Algorithmus über Freiheit und Unfreiheit entscheidet? Julia Angwin, Reporterin beim Recherchebüro "ProPublica", die das COMPAS-System untersucht hat, schrieb, dass der Algorithmus eine Genauigkeit von 61 Prozent habe. Man könnte also genauso gut eine Münze werfen, was mit einer Wahrscheinlichkeit von 50 Prozent nicht viel ungenauer ist. Das System öffnet der Willkür Tür und Tor. "Schicksalsmaschinen" nannte der Deutschlandfunk diese vermeintlich evidenzbasierten Beurteilungssysteme.