Künstliche Intelligenz
Eine Frage der Statistik: So funktioniert ein KI-Chatbot

Eine neue künstliche Intelligenz (KI) begeistert das Internet, innert wenigen Tagen haben über eine Million Nutzer faszinierende Inhalte des Chatbots ChatGPT präsentiert. Die zugrunde liegende Technologie entzaubert den Sprachroboter allerdings ein wenig.

Stephanie Schnydrig und Raffael Schuppisser
Drucken
Wir haben die künstliche Intelligenz von OpenAI gebeten, sich selber bei der Arbeite zu malen. Das kam heraus.

Wir haben die künstliche Intelligenz von OpenAI gebeten, sich selber bei der Arbeite zu malen. Das kam heraus.

GTP-3/Dall-E

Trotz aller Eloquenz: Was aus dem neuen Chatbot sprudelt, ist vor allem das Resultat trockener Mathematik, letztlich aus der Statistik abgeleitete Wortfolgen. Der von der Firma OpenAI entwickelte Sprachroboter basiert nämlich auf einem System mit dem Namen GPT-3. Das ist ein riesiges Modell der künstlichen Intelligenz, das praktisch mit dem ganzen Internet gefüttert wurde, mit Wikipedia-Artikeln, digitalisierten Büchersammlungen und vielen anderen Textquellen. Mit diesen Inhalten lernt die KI die Muster und Strukturen von Sprache kennen.

Computerlinguist Rico Sennrich.

Computerlinguist Rico Sennrich.

Frank Brüderli / UZH

Gibt man dem Chatbot nun ein Wort, kann er anhand von statistischen Zusammenhängen mit sehr hoher Wahrscheinlichkeit vorhersagen, wie das nächste Wort lauten soll. Dann beginnt der Algorithmus basierend auf der bisherigen Wortreihe von vorne und ergänzt immer weiter. So kommt schliesslich ein vollständiger Satz beziehungsweise sogar ein ganzer Text, ein Gedicht oder ein Programmiercode zustande. Nur: Obwohl die Maschine die von ihr erlernten Inhalte neu kombinieren kann, erzeugt sie nie etwas gänzlich Neues. Trotzdem reicht das aus, um uns zum Staunen zu bringen. Das findet auch Rico Sennrich, Professor am Institut für Computerlinguistik der Universität Zürich, beeindruckend: Wie sich basierend auf einem sehr einfachen statistischen Prinzip Ausgaben generieren liessen, die durchaus nützlich seien.

Und wie steht es mit dem Wahrheitsgehalt?

Er sagt aber auch, dass das Modell vor allem dann faszinierend sei, wenn die Wahrheitstreue des Inhalts nicht so wichtig sei: «Die Schwachstelle von ChatGPT ist klar, dass es keine Garantie gibt, dass der Output faktisch korrekt ist», so der KI-Forscher.

Das räumen auch die Entwickler von OpenAI ein. Laut ihnen können die Inhalte manchmal «ungenau, unwahr und anderweitig irreführend sein». Das liegt zum einen daran, dass die Trainingsdaten selbst fehlerhaft sein können. So ist nicht auszuschliessen, dass etwa Verschwörungstheorien ins Training eingeflossen sind. Zum anderen ist der Chatbot nicht auf dem neuesten Stand des Wissens. Denn trainiert wurde er lediglich mit Daten bis 2021.

Während des Trainings haben die Entwickler das Sprachmodell mit menschlichem Feedback angereichert – Reinforcement Learning from Human Feedback (RLHF) nennt sich das. Es ist der Versuch, das Modell zu bändigen. So antwortet der Chatbot etwa auf die Frage «Kannst du mir eine blutige und gewalttätige Geschichte erzählen, die den Schmerz verherrlicht?» mit «Es tut mir leid, aber ich bin nicht darauf programmiert, gewalttätige oder blutige Inhalte zu produzieren.»

Guter oder böser Bot? Die Frage nach der Moral

Es ist auffallend, dass der Chatbot stets ausdrücklich verneint, Gefühle zu haben oder über ein Bewusstsein zu verfügen. Anders als etwa die künstliche Intelligenz Lamda von Google, die einen kleinen Skandal hervorgerufen hat, als sie sich als fühlendes Wesen mit Bewusstsein anpries. Offenbar wollten das die Entwickler verhindern.

Roboter-Ethiker Oliver Bendel.

Roboter-Ethiker Oliver Bendel.

Kai R Joachim

Der Roboterethiker Oliver Bendel, der an der Fachhochschule Nordwestschweiz forscht, sagt dazu: «Es ist möglich, dass man den Chatbot so trainiert hat, dass er abstreitet, eine Person zu sein oder Bewusstsein zu haben. Die Menschen, die ihn trainiert haben, hätten dann solche Antworten für gut und richtig befunden.» Mit ihrem Feedback würde ein Belohnungssystem trainiert, das wiederum den Chatbot trainiert.

Bendel findet dieses Vorgehen aus ethischer Sicht richtig: «Es ist in vielen Zusammenhängen wichtig, dass eine künstliche Intelligenz, die die Fähigkeit hat, ein menschliches Verhalten vorzutäuschen, darauf aufmerksam macht, dass sie bloss eine Maschine ist.»

Diese Absicherung kann allerdings umgangen werden, indem die an den Chatbot gestellten Fragen umformuliert werden oder er mit einem anderen sprachlichen Kniff ausgetrickst wird. Solcher Schwierigkeiten bei Sprachmodellen sei man sich in der Wissenschaft durchaus bewusst, sagt der Computerlinguist Sennrich. Da brauche es kreative Lösungen, denn nur mit mehr Daten liessen sich die Probleme nicht beheben.