Carl Gustav Jung sagte einmal sinngemäss, in jedem normalen Menschen schlummere ein wahnsinniger. Der Wahnsinn ist quasi ein nicht auszuschliessender Zustand unserer neuronalen Apparatur – technisch ausgedrückt: ein Defekt oder «Bug» im System. Jungs Aussage lässt sich genereller so formulieren: Jedes funktionierende System hat sein Nicht-Funktionieren, möglicherweise seinen Kollaps, eingebaut.

Auch Algorithmen. Im Fokus steht gegenwärtig der Typus des neuronalen Netzes. Es weist eine im Grunde simple Architektur auf. Verarbeitungseinheiten («Neuronen») sind netzartig miteinander verschaltet, und zwar bilden sie eine geordnete Hierarchie von Schichten.

Sie können dressiert werden, einen Input in einen geforderten Output umzuwandeln, indem das System durch einen Lernalgorithmus die Verknüpfungen («Synapsen») zwischen den «Neuronen» ständig neu justiert. Lässt man es zum Beispiel eine Zeit lang über eine riesige Pixelmenge laufen, «erkennt» es Katzenbilder oder kategorisiert Menschen.

Schon an dieser Stelle seien zwei Punkte hervorgehoben. Erstens erkennt das System nichts, sondern zeigt ein Verhalten, das wir unter Menschen als Erkennen bezeichnen. Und zweitens funktioniert unser Hirn nicht auf diese Weise, weshalb der Begriff des neuronalen Netzes eine Irreführung ist.

Aber abgesehen davon kann man sich trotzdem fragen, ob künstliche Systeme ab einem bestimmten Komplexitätsgrad einen Zustand der «Gestörtheit» riskieren. Dass Programme Zeichen der «Anomalität» manifestieren, erfuhr man zum Beispiel beim Computerprogramm AlphaGo, das 2016 den Grossmeister Lee Sedol schlug.

AlphaGo «lernte» aus einer Unzahl von Positionen und Zügen selber Strategien zu entwickeln, die Go-Spieler und Computerwissenschafter gleichermassen verblüfften. Das Agieren von AlphaGo war zum Teil kaum nachvollziehbar, machte einen geradezu «gestörten» Eindruck.

Das heisst, der Computer führte Züge durch, die man unter Menschen als sehr unorthodox taxiert. Nun mag es als voreiliger Anthropomorphismus erscheinen, der Maschine aufgrund eines ungewöhnlichen Verhaltens gleich «Gestörtheit» zu unterstellen, dennoch lohnt es sich, die Tendenz, die sich darin abzeichnet, etwas weiter zu verfolgen.

Rassistisch, sexistisch, gemein

Erstens gibt es Probleme, die aus der Struktur der Trainingsdaten erwachsen. Füttern wir künstliche Systeme mit menschlichen Daten, dann sind solche Daten «kontaminiert» mit menschlichen Gestörtheiten – Vorurteilen und kognitiven Bias. Das zeigt eine Studie in der Zeitschrift «Science» aus dem Jahr 2017: Algorithmen lernen aus entsprechenden News Feeds fast über Nacht rassistische oder sexistische Voreingenommenheiten und andere Gemeinheiten.

Wie die Leiterin der Studie, die Statistikerin Aylin Caliskan von der Princeton University, schreibt: «Viele Leute glauben, Maschinen seien nicht voreingenommen. Aber Maschinen werden auf menschlichen Daten trainiert. Und Menschen sind immer voreingenommen.»

Die wohl grösste Kloake des Vorurteils, Hasses, Bullshits, Extremismus sind die sozialen Medien. Lässt man Algorithmen darin «fischen», nehmen sie schnell hässliche Untugenden an. Der Twitter-Chatbot Tay wurde 2016 konzipiert, Menschen zu unterhalten und zu beschäftigen. Tay lernte schnell, wie das zu erreichen war – durch rassistische Bemerkungen.

Algorithmen kennen keinen Anstand, keine Moral, sie potenzieren in dieser Hinsicht die negativen Seiten des Menschen. Sie neigen zu Klischees, Beleidigungen, ungeprüften Meinungen, sie verkörpern das schlimmste intellektuelle Defizit des Menschen: Inkompetenz in der Erkennung eigener Inkompetenz.

Zweitens gibt es Probleme, die in die Architektur der Algorithmen eingebaut sind. Man muss sich dies bei neuronalen Netzwerken so vorstellen, dass der Designer mit zunehmender Schichttiefe immer weniger Einblick hat in das, was «drinnen» im Einzelnen vor sich geht. Er kann Schwachstellen nicht direkt angehen, sondern das System quasi nur noch «von aussen», über sein Verhalten kontrollieren.

Defekte in traditionellen Programmen liessen und lassen sich zumindest im Prinzip «von innen» beheben, dadurch, dass man auf den Quellcode zugreift und in ihm nach dem entsprechenden Bug sucht. Bei einem neuronalen Netz ist das kaum noch möglich. Wenn es also eine «Gestörtheit» zeigt, dann muss man versuchen, es zum Beispiel durch neues Datenmaterial zu «therapieren».

Zwei solche Defekte sind «katastrophisches Vergessen» und Überanpassung. Neuronale Netze können alte Informationen vergessen, wenn sie neue «lernen». Das Problem sähe beim Menschen so aus: Ich lerne den Namen eines neuen Kollegen, im gleichen Zug vergesse ich aber, wo ich wohne. Dieses Vergessen stellt eine ernsthafte Quelle des Fehlverhaltens von Algorithmen dar. Im Extremfall ist das System völlig paralysiert.

Überanpassung liegt dann vor, wenn der Algorithmus zu viel Unzusammenhängendes korreliert, was bei den immensen Datenmengen nicht selten der Fall ist. Ein spektakulärer Fall ist jener von Google Flu, einem algorithmischen Frühwarnsystem für die zeitliche und örtliche Ausbreitung von Epidemien. Die Datenbasis bilden Suchanfragen von Googlenutzern, in denen das Wort «Grippe» («flu») vorkommt. Wo und wann erfolgten diese Anfragen?

Der Algorithmus suchte das Vorkommen des Wortes «flu» mit Orten und Zeiten der Anfragen zu korrelieren, um daraus ein schnelles Bild der Verbreitung zu erstellen. Anfänglich klappte dies erstaunlich gut. Aber dann häufte sich immer mehr irrelevantes Datenmaterial und die Prognosen wurden unzuverlässiger. Datenmist erzeugt mehr Datenmist. Algorithmen können Weltbilder ohne kausale Kohärenz fabrizieren. Menschen, die so etwas tun, nennt man Paranoiker.

Ein drittes Problem liegt darin, dass alltagstaugliche Algorithmen auch mit den normalen Unwägbarkeiten des Alltags zurande kommen sollten – also quasi einen «gesunden» Maschinenverstand entwickeln müssen.

Ein selbstfahrendes Auto hat mit zahlreichen Eventualitäten zu rechnen – vom pünktlichen Abliefern der Passagiere an der richtigen Destination, über das Befolgen der Verkehrsregeln, das Berücksichtigen von Wetter, Lichtverhältnissen, Strassenzuständen bis zu unerlaubten Strassenüberquerungen von Fussgängern, Staus oder Unfällen.

Der Alltag macht Probleme

Der Algorithmus eines selbstfahrenden Autos muss also im Laufe seines Trainings eine Fülle von solchen Eventualitäten lernen, aber damit wird er noch nicht alltagstauglich. Das grosse Hindernis liegt darin, dass Alltagssituationen ein Gestrüpp von Normalitäten und Abweichungen sind.

Die Robustheit des menschlichen Commonsense zeigt sich gerade an der flexiblen Reaktion auf Abweichungen von der Normalität. Mit einer solchen Robustheit dürfte es bei selbstfahrenden Autos nicht weit her sein. Wie sich zeigt, genügen oft ganz kleine Störungen des gelernten Musters, um den Algorithmus zu einer totalen Fehlklassifikation zu verleiten. Er «halluziniert» dann. Man stelle sich vor, ein selbstfahrendes Auto «halluziniere» ein Rotsignal unter ungewöhnlichen Lichtverhältnissen als grün.

Ein viertes Problem gewinnt hier Gestalt. Immer mehr Algorithmen knüpfen unser soziales Gewebe. Konsumverhalten, Kommunikation, Partnersuche, polizeiliche Überwachung von Städten, Militäroperationen, Finanztransaktionen, medizinische Diagnosen, das Kategorisieren von Banken- und Versicherungskunden oder von Straftätern – überall sind Algorithmen eingestreut und mischen sich heimlich in das Geschäft des Entscheidens ein.

Dabei werden wir in Zukunft wahrscheinlich mit immer «unbegreiflicheren» Algorithmen zu tun haben. Wenn die Algorithmen auf eine Weise agieren, die uns nicht mehr verständlich ist, dann entziehen sich logischerweise auch ihre Defekte unserem Verständnis.

Wir wären dann mit einer neuartigen Ätiologie maschineller Gestörtheiten konfrontiert. Man muss sich vorstellen, dass die Maschine selber überhaupt keinen Begriff davon hat, gestört zu sein. Sie agiert einfach. Auch über den Weltuntergang hinaus.

* Eduard Kaeser ist Physiker und promovierter Philosoph. Er ist als Lehrer, freier Publizist.