Hype-Tech Felix von Leitner

„Habt ihr schon KI in eurem Big Data?“

„Nein, wir haben selbstreparierende serverlose Echtzeit-Microservices“

Unter uns: Nichts davon brauchen Sie!

Kontext Diese Folien entstanden für einen Vortrag auf einer Messe des Innovation Hub der Sparkassen, in einer Messehalle beim FI-FORUM. Zielgruppe waren Banker und vielleicht einige ihrer Techies. Zeitrahmen war 20 Minuten, daher der Schweinsgalopp. Folien in Orange sind ein Extra in der Online-Version und ergänzen Kontext oder das gesprochene Wort.

Es gibt zwei Arten von Vorträgen Was Sie gerne hören würden Was Ihnen mal jemand sagen müsste Dies ist ein Kategorie-2-Vortrag.

Jetzt zum eigentlichen Thema Wieso stehen Banken (und andere Firmen) so auf Hypetech?

Sehen die nicht, dass solche Projekte anderswo der Reihe nach fehlschlagen?! Meine These: Doch. Das ist das Ergebnis einer Optimierung. Da wurde bloß nach dem falschen Ziel optimiert.

Anmerkung Das ist ein Muster, das ich in letzter Zeit häufiger zu erkennen glaube. Schlechte Auswirkungen sind fast nie Bösartigkeit oder Inkompetenz sondern Ergebnis einer bewussten Abwägung, eine Optimierung — aber mit dem falschen Optimierungsziel. Das ist besonders innerhalb dieses Vortrags spannend, weil das falsche Optimierungsziel bzw. die falsche Bewertungsfunktion einer der häufigsten Fehlergründe bei neuronalen Netzen sind.

Jetzt wird es ein bisschen unangenehm Softwareleute werden gesucht

Banker nicht so sehr Softwareleute sagen sich also:

Perspektivisch bleibe ich in dem Laden hier nicht lange.

Besser schonmal den Lebenslauf optimieren!

Anmerkung Das ist nicht als Anklage zu verstehen. Das Ziel ist, die Mechanismen zu verstehen. Alle Seiten handeln aus ihrer Sicht heraus rational und nachvollziehbar. Wenn man ihre Motivationen kennt, kann man möglicherweise die Dinge lenken, damit das Ergebnis besser wird.

Lebenslauf optimieren? So viele aktuelle Hype-Tech wie möglich in Projekte einbauen!

80er: Multiuser! Unix! Rechenzentrum!

90er: CORBA! Netzwerk! Verteilt! X.400! X.500!

00er: Web! Web 2.0! Web Scale! CDN! LDAP! Virtualisierung!

10er: Cloud! Apps! Blockchain! KI! Big Data! Container! NoSQL!

Gesprochenes Wort Hype-Tech ist nicht abwertend zu verstehen. Nur weil etwas gehyped wird, heißt das nicht, dass es automatisch Mist ist. Manchmal hat die Mehrheit gar nicht mitgekriegt, dass eine Hype-Technologie gewonnen hat. LDAP z.B. halten viele für tot. Sie wissen nicht, dass Active Directory LDAP ist.

Was tun, sprach Zeus? Mein Ansatz: Bildung. In einfachen Worten erklären, worüber da entschieden wird! Hinterher ist man immer schlauer.

Pro-Tipp: Vorher informieren → auch vorher schlauer.

Fallstudie 1: Blockchain.

Vorbemerkung Wenn Mathe Ihnen Angst macht: Keine Sorge! Es geht nicht darum, was auf den nächsten zwei Folien steht. Sondern dass es auf zwei Folien passt!

Krypto: Drei einfache Bausteine Symmetrische Verschlüsselung Klartext + Schlüssel = Rauschen

Rauschen - Schlüssel = Klartext Hash-Funktion Hash(beliebig viel Daten) = 256-Bit-Wert

Geht nicht: Daten zu Hash finden, 2 Daten mit gleichem Hash finden Asymmetrische Krypto Zwei Schlüsselhälften: Geheime und öffentliche

Daten * mein geheimer Schlüssel = Daten jetzt von mir signiert

Daten * dein öffentlicher Schlüssel = Daten jetzt an dich verschlüsselt

Gesprochenes Wort Wir benutzen davon jetzt Hash und Asymmetrische Krypto. Für das Verständnis wichtig: Wenn ich etwas mit einem öffentlichen Schlüssel an jemanden verschlüssele, kann nur der mit dem zugehören geheimen Schlüssel das entschlüsseln. Auch ich selbst kann das nicht mehr entschlüsseln.

Krypto-Logfile Anfang: Zufallswert auswürfeln.

Den an jemand anderen verschlüsseln, ins Log schreiben. Anfang: Zufallswert auswürfeln.Den an jemand anderen verschlüsseln, ins Log schreiben. Um X zu loggen: Schreibe X Schreibe Hash(Zufallswert, X) Das ist der neue Zufallswert (alten wegschmeißen)

Krypto-Logfile Ergebnis: Angreifer kann nur am Ende anhängen.

Nötige Zufallswerte für früher sind nicht mehr da.

Nur für den rekonstruierbar, an den wir verschlüsselt haben.

Angreifer kann ändern, aber dann passen Hashes nicht mehr.

Aber: Angreifer kann abschneiden oder alles löschen.

Gesprochenes Wort Das ist jetzt natürlich verkürzt. Man sollte z.B. alle 30 Sekunden oder so einen Zeitstempel loggen, damit man erkennen kann, wo abgeschnitten wurde.

Blockchain [Visuelle Folie: zeigt eine Hand mit einem Glückskeks-Papierstreifen. Aufschrift: "That was not chicken."]

Krypto-Logfile Überraschung: Das war nicht Blockchain! Überraschung: Das war nicht Blockchain! Das ist aber der Aspekt, den Banken von Blockchain wollten:

Manipulationsresistente Logfiles

Was ist denn dann Blockchain?! Blockchain ist ein Konsens-Findungs-Verfahren für verteilte Datenbanken

Prämisse: n Player halten Daten über den Zustand der Welt.

Trauen sich gegenseitig nicht, haben Anreiz zum Betrug.

Problem: Wie einigt man sich auf den „echten“ Zustand?

Blockchain-Idee: Proof of Work Blockchain operiert nicht auf Logzeilen sondern auf Blöcken

Ein Block beinhaltet n Elemente

Bei Bitcoin: Überweisungen Die Welt konkurriert jetzt darum, über die vergangenen und neuen Überweisungen und einen Wert X einen Hash zu bilden. Die Welt konkurriert jetzt darum, über die vergangenen und neuen Überweisungen und einen Wert X einen Hash zu bilden. X ist variabel, aber beim Hash müssen die letzten Ziffern 0 sein.

Gesprochenes Wort Es ist wichtig, dass „die Welt“ konkurriert. Das Verfahren steht und fällt damit, dass nicht aus dem Nichts jemand kommt, der kurz in der Cloud mehr CPUs als du gemietet hat, und dann deine Buchhaltung überstimmen kann. Daher die Annahme, der Markt werde das schon regeln, wenn man „die Welt“ konkurrieren lässt.

Proof of Work Zur Erinnerung: Vom Hash auf Daten schließen geht nicht!

Daher bleibt nur: Durchprobieren.

Wie viele Ziffern 0 sein müssen ist einstellbar.

Wird proportional zur CPU-Power der Ausprobierer („Miner“) eingestellt.

Je mehr konkurrieren, desto „schwerer“.

Wer als erster einen passenden Wert findet, gewinnt. Ergebnis: Massive Energieverschwendung. Ergebnis:

Gesprochenes Wort Die Überweisungen selbst sind vom Versender signiert. Die Miner können also nicht die Beträge, Empfänger oder Absender ändern. Aber sie könnten eine für dich wichtige Überweisung einfach nicht mit aufnehmen und dir damit Schaden zufügen.

Proof of Work Annahme: Niemand kontrolliert mehr als die Hälfte der Miner.

Sonst gewinnt der zu oft und kann diktieren, was im Block steht.

Aber was ist mit Kartellbildung? Zwei Miner verabreden sich?

Riesenproblem!

Schlimmer noch: „Private Blockchain“ geht nicht.

Sonst: Angreifer mietet Cloud, überstimmt Ihre Buchhaltung!

Notieren Sie sich das! Wer Ihnen „Private Blockchain“ verkaufen will, hofft, dass Sie Blockchain nicht verstanden haben! Wer Ihnen „Private Blockchain“ verkaufen will, hofft, dass Sie Blockchain nicht verstanden haben! Und dass Ihre Freunde zu feige sind, zuzugeben, dass sie es auch nicht verstanden haben.

Fallstudie 2: Smart Contracts.

Smart Contracts Idee: Maschinenlesbare Verträge

„Wenn X passiert, überweise 500 BTC von A zu B“

Spart Notargebühren!

Verträge kommen in die Blockchain, damit man sie später nicht leugnen kann. Nachteil: Das ist Code. Code ohne Bugs können wir nicht.

Siehe Patchlisten: Adobe, Apple, Microsoft, Oracle, ...

Bugs in Verträgen?! Haben wir schon jetzt bei analogen Verträgen ständig!

Und dann endlose Streitereien vor Gerichten.

Es gab auch schon die ersten Exploits für Smart Contracts! Das ist kein hypothetisches Szenario! Das ist kein hypothetisches Szenario!

Notieren Sie sich das! Wer Ihnen Smart Contracts verkaufen will, hofft, dass Sie Smart Contracts nicht verstanden haben! Wer Ihnen Smart Contracts verkaufen will, hofft, dass Sie Smart Contracts nicht verstanden haben! Und dass Ihre Freunde zu feige sind, zuzugeben, dass sie es auch nicht verstanden haben.

Fallstudie 3: Big Data.

Big Data Idee: Erstmal alles wegspeichern.

Später kann man coole Ideen entwickeln, was man damit macht Problem 1: Ist unmoralisch. Die User wollen das nicht.

(Wieso reicht das eigentlich nicht?!) Problem 1: Ist unmoralisch. Die User wollen das nicht.(Wieso reicht das eigentlich nicht?!)

Big Data Problem 1: Ist unmoralisch. Die User wollen das nicht.

Problem 2: Illegal (DSGVO erzwingt zweckgebundene Speicherung)

Problem 3: Wo ein Trog ist, kommen die Schweine.

Problem 4: Alle sammeln Daten. Niemand hat damit coole Dinge getan.

Problem 5: Solche Daten kommen regelmäßig weg.

Big Data Fragen Sie mal herum!

Leute, die so tun, als funktioniere Big Data für sie.

Fragen Sie die mal nach konkretem Nutzen! Da kommt dann sowas wie „wir haben ein SIEM“.

Nutzen nicht messbar. Da kommt dann sowas wie „wir haben ein SIEM“.Nutzen nicht messbar.

Notieren Sie sich das! Wer Ihnen Big Data verkaufen will, hofft, dass Sie Big Data nicht verstanden haben! Wer Ihnen Big Data verkaufen will, hofft, dass Sie Big Data nicht verstanden haben! Und dass Ihre Freunde zu feige sind, zuzugeben, dass sie es auch nicht verstanden haben.

Fallstudie 4: Machine Learning.

Machine Learning Im Gehirn gibt es doch Neuronen, oder?

Komm, das machen wir auch einfach!

Links lauter Inputs, rechts ein Output

Den Inputs geben wir Gewichte

Das Neuron hat einen Schwellwert Wenn Summe der Inputs > Schwellwert, dann Ausgabe 1. Sonst 0.

Wie programmiert man sowas? Gar nicht. Man trainiert es.

Eingabe anlegen, zu der man die gewünschte Ausgabe kennt.

Dann läuft man rückwärts und korrigiert die Gewichte.

Wer Einfluss in die richtige Richtung hatte, kriegt Bonus.

Wer Einfluss in die falsche Richtung hatte, kriegt Abzug.

Nebelwand-Jargon Feed Forward: Mehr als eine Schicht. Out(Schicht 1) = In(Schicht 2)

Recurrent: Mehr als eine Schicht, getaktet, mit State

Deep: Feed Forward + Wahrscheinlichkeiten Hoffnung: Netz lernt Vorwissen selbständig.

Noch weniger nachvollziehbar, was das Netz macht. Hoffnung: Netz lernt Vorwissen selbständig.Noch weniger nachvollziehbar, was das Netz macht.

Wichtig! Einmal trainiert verhält sich das Netz deterministisch.

„Verstehen“ oder „debuggen“ geht nicht. Nur mehr Training.

Keine Programmierfehler mehr! Niemand ist Schuld! In einer Welt, in der eh schon niemand für schlechte Software haftet, optimiert Machine Learning noch die letzten Ruinen von schlechtem Gewissen weg. In einer Welt, in der eh schon niemand für schlechte Software haftet, optimiert Machine Learning noch die letzten Ruinen von schlechtem Gewissen weg.

Gesprochenes Wort Mit Debuggen meine ich, dass man bei Software die Zeile finden kann, die den Bug hat, und dann macht man den Bug weg, und der Rest der Software ist unberührt und läuft genau wie vorher. Das geht bei neuronalen Netzen so nicht. Man trainiert nach, das fasst aber alle Gewichte an. Minimalinvasives Debugging geht nicht. „Verstehen“ geht bei einschichtigen Netzen so ein bisschen, in dem Sinne, dass man sehen kann, welches Gewicht wieviel Einfluss hatte. Aber richtiges verstehen ist das nicht, und bei mehrschichtigen Netzen haben die Gewichte dann immer Einfluss auf mehrere Ausgaben.

Haftung Bank setzt Machine Learning ein

Machine Learning macht Mist

Es gibt niemanden mehr, auf den die Bank zeigen kann

Maximales Haftungsrisiko für die Bank

Geschickt kombiniert mit „da können wir nichts machen, Chef“ Tun Sie es nicht!! Tun Sie es nicht!!

Aspekt 2: Wie konnte das passieren?

Machine Learning Typische Anwendung: Schrifterkennung

Jedes Pixel ein Input für das Neuron

Ein Neuron kann eine Variante einer Glyphe erkennen (grob)

Wir brauchen also ganz viele Neuronen

Machine Learning Haben Sie daran gedacht? Problem: Glyphe verschoben

Problem: Glyphe größer / kleiner

Problem: Glyphe schräg / gedreht Praxis heute: Netze mit Millionen bis Milliarden von Neuronen. Haben Sie daran gedacht?Praxis heute: Netze mit Millionen bis Milliarden von Neuronen.

Machine Learning Lösung: Wie bei Quacksalbern im Mittelalter.

„Wirkt nicht? Dosis zu gering!“

„Brauchen wir halt mehr Neuronen!“

Natürliches Limit: Hardwaregrenzen.

Seit dem ist die Hardware viel schneller geworden.

Quacksalber kommen mit dem Ansatz jetzt weiter :-) Es sind aber immer noch Quacksalber!

Gesprochenes Wort Die Aussage war: Vorher Quacksalber, nachher Quacksalber. Es gibt auch scharlataneriefreies Machine Learning. Das ist aber im Wesentlichen Forschung :-) Forschung ist total super. Ich mag Forschung. Mehr Geld für Forschung ist immer gut. Lassen Sie sich bloß keine angeblich wunderheilenden magischen Produkte aufschwatzen! Und klären Sie vorher die Haftung!!

Aspekt 3: Macht Machine Learning Fehler?

Macht Machine Learning Fehler? Aber ja! Aber ja! Plakatives Beispiel: Xerox-Scanner. [Illustration: Folie 15 von diesem PDF]

Macht Machine Learning Fehler? Wir haben jetzt verstanden, wie man die Gewichte trainiert

Was, wenn wir das Verfahren umdrehen?

Wir haben eine Ausgabe und ein Netz und trainieren die Eingabe? Das gibt es, und es heißt Adversarial Samples. Das gibt es, und es heißt Adversarial Samples.

Adversarial Samples Machine Learning basiert auf der Blümchenwiese-Annahme: Eingaben sind natürlich, nicht manipuliert

Niemand will uns ärgern

Wir tun unser Bestes und gucken mal

Im Fehlerfall kriegen alle eine „hat sich stets bemüht“-Urkunde. Machine Learning basiert auf der Blümchenwiese-Annahme:

Adversarial Samples [Illustration: Windows-XP-Blümchenwiese-Bildschirmhintergrund „Bliss“]

Wir wissen nicht, was der gelernt hat

Gesprochenes Wort Diese Folien sind Beispiele aus einer Google-Docs-Liste von KI, die schlechte Spezifikation oder Bewertungsfunktionen „betrügt“, um das Problem zu „lösen“.

Wir wissen nicht, was der gelernt hat An RL robot trained with three actions (turn left, turn right, move forward) that was rewarded for staying on track learned to reverse along a straight section of a path rather than following the path forward around a curve, by alternating turning left and right. https://eprints.utas.edu.au/104/

Wir wissen nicht, was der gelernt hat When repairing a sorting program, genetic debugging algorithm GenProg made it output an empty list, which was considered a sorted list by the evaluation metric.

Evaluation metric: “the output of sort is in sorted order” Solution: “always output the empty set” https://dl.acm.org/citation.cfm?id=2946713

Wir wissen nicht, was der gelernt hat [Tetris:] Agent pauses the game indefinitely to avoid losing https://www.cs.cmu.edu/~tom7/mario/mario.pdf

Kommen wir zur BaFin Studie : "Big Data trifft auf künstliche Intelligenz" Partner der BaFin, die augenscheinlich das Papier geschrieben haben: Partnerschaft Deutschland, Berater der öffentlichen Hand GmbH

The Boston Consulting Group

Fraunhofer IAIS

Gesprochenes Wort PD und BCG verdienen ihr Geld damit, dass die öffentliche Hand Technologie ausrollt, die sie nicht beherrscht. Von denen ist also wenig Kritik oder Gegenwind zu erwarten bei Studien über neue Technologie-Trends. Aber gucken wir doch mal bei diesem Fraunhofer-Institut!

Gesprochenes Wort Von denen offensichtlich auch eher nicht. Und so muss man bis Seite 180 in der „BaFin-Studie“ gehen, bis mal Bedenken geäußert werden.

Worum geht es?

Sorgen der BaFin Die von BDAI unterstützte Disaggregation von Wertschöpfungsketten und das wachsende Datenvolumen vergrößern zudem die Angriffsfläche für externe Zugriffe und verringern zugleich die Möglichkeiten eines einzelnen Anbieters, die genutzten und verteilten Daten zu kontrollieren . Ist diese Sorge gerechtfertigt? ABER HALLO!

Gesprochenes Wort Unter „Disaggregation von Wertschöpfungsketten“ versteht die BaFin, dass Fintechs sich einen kleinen Aspekt raussuchen, in dem sie profitabel sind, und den Rest der Infrastruktur an irgendwelche Dienstleister auslagern, am besten noch in der Cloud.

Sorgen der BaFin Zusätzlich kommt es neuerdings bei bestimmten BDAI-Algorithmen auch zu Angriffen durch Datenmanipulation – z.B. in Form von Adversarial oder Poison Attacks . Ist diese Sorge gerechtfertigt? Naja. Eher nicht. Der Angreifer kennt ja das Netz nicht.

Aber gut, dass sie mal von dem Begriff gehört haben!

Sorgen der BaFin Das war alles. Über die anderen Fragen hat die BaFin nicht nachgedacht.

Was sagt die BaFin denn sonst so? BDAI- und Verschlüsselungsverfahren zur Mitigation von Informationssicherheitsrisiken | Durch die Nutzung von BDAI könnten Informationssicherheitsrisiken aber nicht nur zunehmen. BDAI ließe sich auch in der Abwehr dieser Risiken nutzen, beispielsweise bei der Analyse und Entdeckung von Gefahren . Ja! Richtig gelesen!

Die verkaufen BDAI noch als Lösung oder zumindest als Chance!

Gesprochenes Wort Hier wird natürlich gar nichts mitigiert. Hier wird ein verstandenes Risiko in neue Risiken umgewandelt. Neue Risiken, die wir noch nicht verstehen oder einschätzen können.

Was schlägt BaFin vor? So könnte BDAI z.B. Unregelmäßigkeiten im Verhalten von Verbrauchern beim Online-Banking feststellen und so auf eine mögliche missbräuchliche Verwendung schließen. Das ist kein möglicher potentieller Konjunktiv.

Das ist das Heilsversprechen der ganzen Branche im Moment.

KI für Fraud Detection!

KI für Fraud Detection? Haben Sie E-Mail? Mit Spamfilter? Das ist simple Bayes-Statistik.

Spamfilter mit KI funktionieren deutlich schlechter.

M.W. ist kein einziger „mit KI“ im Einsatz, so schlecht sind die.

KI für Fraud Detection? Denken Sie mal darüber nach! Wenn das für Ihre E-Mail zu schlecht ist,

sollten wir dann damit Payment Fraud Detection machen?

Anmerkung Das ist natürlich ein unfaires Argument, weil das nicht das exakt selbe Problem ist. Mein Hauptargument gegen Fraud Detection mit KI ist, dass Fraud Detection schon ohne KI ein gelöstes Problem ist. Das Restrisiko ist um eine Größenordnung gesunken, die Gebühren nicht. Aus meiner Sicht ist es daher nicht zu rechtfertigen, irgendwelche zusätzlichen Risiken einzugehen. Zumal die Ausrichtung des Sicherheits-Theaters der Banken in den letzten Jahren zu einer weitgehenden Haftungsumkehr zu Lasten des Kunden geführt hat.

KI für Fraud Detection? Im Moment schützt Sie die Industrie vor sich selbst. Im Moment schützt Sie die Industrie vor sich selbst. Aktueller Industrie-Trend: Umbenennen!

„Predictive Analytics with Machine Learning“ → Simple Bayes.

Die Leute wollen aus Hype-Gründen Machine Learning?

Verkaufen wir ihnen Statistik und schreiben ML drauf.

Noch ein BaFin-Vorschlag Auch bestimmte Verschlüsselungsverfahren, welche die Anwendung von BDAI-Methoden direkt auf verschlüsselten Daten erlauben, könnten genutzt werden, um die Resilienz gegenüber solchen Risiken zu stärken. Nein.

Lassen Sie sich diesen Mist nicht aufschwatzen.

Das ist „homomorphe Verschlüsselung“ und ist Bullshit.

Hier wollen Akademiker ihre nächsten Papers finanziert kriegen.

Zusammenfassung Lassen Sie sich nicht von großen Begriffen verwirren

Die kochen alle nur mit Wasser

Blockchain löst keines Ihrer Probleme und schafft neue.

Big Data löst keines Ihrer Probleme und schafft neue.

Machine Learning löst keines Ihrer Probleme und schafft neue.

Horrorszenario Sie setzen KI für Fraud Detection ein.

Ihre KI weist eine Transaktion zurück.

Der Empfänger muss Insolvenz anmelden und klagt.

Sie werden als Experte vor Gericht vorgeladen.

Sie sollen jetzt erklären, wieso die KI die Transaktion abgelehnt hat. Können Sie gar nicht! Ist unmöglich! Können Sie gar nicht! Ist unmöglich!