Doch das Blackbox-Problem könnte womöglich noch kritischer sein als gedacht. Hinweise darauf entdeckte das Team um Jeff Clune schon einige Monate zuvor, im Jahr 2014. Es stellt sich heraus, dass neuronale Netze überraschend leicht hinters Licht zu führen sind.

Die Forscher entwickelten ein Verfahren, mit dem sich nicht nur die Antwort eines einzelnen Neurons der obersten Schicht, sondern auch die aller übrigen maximieren lässt. So lassen sich Bilder konstruieren, die für den Menschen wie Zufallsrauschen oder nach abstrakten Mustern aussehen. Das Netzwerk ist jedoch absolut davon überzeugt, nicht simple Wellenlinien, sondern einen Seestern vor sich zu haben. Statt schwarzen und gelben Streifen sieht es einen amerikanischen Schulbus. Sogar neuronale Netze, die mit unterschiedlichen Datensätzen trainiert worden waren, fielen auf dieselben Täuschungsbilder herein.

Deep Learning lässt sich zu einfach austricksen

Wissenschaftler haben bereits zahlreiche Verfahren vorgeschlagen, um das Problem des "foolings" in den Griff zu bekommen; bislang zeichnet sich jedoch noch keine allgemein einsetzbare Lösung ab. Das könnte sich allerdings im wirklichen Leben als gefährlich erweisen. Ein besonders beängstigendes Szenario sei, so Clune, dass böswillige Hacker sich diese Schwächen zu Nutze machten. Sie könnten dann beispielsweise ein selbstfahrendes Auto in eine für den menschlichen Betrachter völlig unverdächtige Plakatwand rasen lassen, die das Fahrzeug jedoch für eine Straße hält, oder etwa einen Retinascanner so austricksen, dass er einem Eindringling Zutritt ins Weiße Haus gewährt – in der Annahme, es handle sich um den US-Präsidenten. "Wir müssen jetzt die Ärmel hochkrempeln und echte Forschung betreiben, damit maschinelles Lernen weniger fehleranfällig und intelligenter wird", schlussfolgert Clune.

Derartige Aspekte haben einige Informatiker zu dem Schluss geführt, dass sie in der KI vielleicht nicht alles auf ein Pferd setzen sollten. So zum Beispiel Zoubin Ghahramani, der an der University of Cambridge forscht: "Wenn die KI uns nachvollziehbare Antworten liefern soll, dann gibt es ganze Klassen von Problemen, für die Deep Learning einfach nicht das Mittel der Wahl ist." Ein vergleichsweise transparentes, auch für wissenschaftliche Zwecke geeignetes Verfahren wurde 2009 von Hod Lipson zusammen mit dem Bioinformatiker Michael Schmidt, damals an der Cornell University in Ithaca in New York, erstmalig vorgestellt. Der von ihnen entwickelte Algorithmus Eureqa war in der Lage, aus der bloßen Beobachtung eines relativ einfachen mechanischen Objekts – eines Systems von Pendeln – die newtonschen Gesetze der Physik erneut abzuleiten.

Ausgehend von einer zufälligen Kombination mathematischer Grundbausteine, wie etwa plus, minus, Sinus und Cosinus, modifiziert Eureqa mit Hilfe einer in Anlehnung an die darwinsche Evolutionstheorie entwickelten Methode von Versuch und Irrtum diese Elemente so lange, bis eine Formel erreicht wird, die die Daten am besten wiedergibt. Anschließend schlägt der Algorithmus Experimente vor, um seine Modelle zu überprüfen. Einer seiner Vorteile läge in der Einfachheit, meint Lipson. "Ein von Eureqa entwickeltes Modell enthält üblicherweise ein Dutzend Parameter, ein neuronales Netz dagegen Millionen."

Die Blackbox wollte es so!

2015 veröffentlichte Ghahramani einen Algorithmus, der die Arbeit eines Daten auswertenden Wissenschaftlers automatisiert – von der Rohdatenanalyse bis zum Verfassen einer Publikation. Der "Automatic Statistician" erkennt in Datensätzen sowohl Trends als auch Anomalien, zieht daraus Schlussfolgerungen und liefert zudem noch eine ausführliche Erklärung, wie er zu seinem Ergebnis kommt. Eine solche Transparenz, so Ghahramani, sei für wissenschaftliche Anwendungen "absolut entscheidend", aber auch für viele kommerzielle Einsatzbereiche. Beispielsweise seien in vielen Ländern Banken, die eine Darlehensgewährung verweigerten, gesetzlich verpflichtet, eine Begründung ihrer Entscheidung abzugeben – wozu ein Deep-Learning-Algorithmus kaum in der Lage wäre.

Ellie Dobson, Leiterin der Abteilung Datenwissenschaften beim Big-Data-Unternehmen Arundo Analytics in Oslo, sieht ähnliche Bedenken bei einer ganzen Reihe von Institutionen. Geht die Wirtschaft Großbritanniens bergab, weil die Leitzinsen falsch festgelegt wurden, "kann sich die Bank of England nicht einfach hinstellen und sagen: 'Die Blackbox wollte es aber so.'"

Trotz dieser Befürchtungen beharren viele Informatiker darauf, dass eine transparente KI kein Ersatz, sondern nur eine Ergänzung für Deep Learning sein sollte. Einige dieser Techniken würden wohl am ehesten für Fragestellungen taugen, die sich in Form abstrakter Regeln beschreiben ließen – und weniger für Wahrnehmungsaufgaben, bei denen es darum geht, in Rohdaten die Fakten überhaupt erst einmal zu erkennen.

Ohne die komplexen Antworten des Maschinenlernens würde im wissenschaftlichen Werkzeugkasten ein wichtiges Instrument fehlen, argumentieren die Forscher. Denn die reale Welt sei nun einmal komplex: Für manche Phänomene wie das Wetter oder den Aktienmarkt existiert vielleicht nicht einmal eine reduktionistische und synthetische Beschreibung. "Manche Dinge kann man einfach nicht verbalisieren", meint Stéphane Mallat, Mathematiker an der École Polytechnique in Paris. "Frag einen Arzt, warum er dies oder das diagnostiziert, und er wird dir ein paar Gründe liefern. Aber wieso dauert es 20 Jahre, um ein guter Arzt zu werden? Weil die nötige Information eben nicht nur in Büchern steht."

Für Pierre Baldi sollten Wissenschaftler Deep Learning annehmen, ohne "allzu pedantisch" in Bezug auf die Blackbox zu sein. Schließlich hätte jeder von ihnen eine Blackbox in seinem Kopf. "Du benutzt dein Gehirn ständig, du vertraust ihm immer – und du hast keine Ahnung, wie es eigentlich funktioniert."

Dieser Artikel erschien unter dem Titel "Can we open the black box of AI?" in "Nature".