kontertext: Eile mit Weile oder Ein Lob dem Common Sense

Sprachmodelle wie der GPT sind «stochastische Papageien». So sieht es die Linguistin und KI-Entwicklerin Emilie Bender. Ein Sprachmodell ist ein System, schreibt sie, das aus umfangreichen Trainingsdaten komplexe Textsequenzen zusammenfügt, dies aber allein aufgrund von Wahrscheinlichkeiten und «without any reference to meaning» tut. In dem Sinn sind Sprachmodelle «dumm», sie verstehen nichts, sie machen bloss statistische Vorhersagen, die uns als Information erscheinen. Wenn sie wissen, dann ohne zu wissen, ob dieses Wissen tatsächlich oder erfunden ist. Auch wenn die Antworten, die Sprachmodelle zurückgeben, oft erstaunlich gut und fast immer überzeugend formuliert sind, ist Vorsicht geboten.

Die Probe aufs Exempel

Ich bitte den GPT der Firma OpenAI um eine «Eheszene für die Bühne». Innert Sekunden erhalte ich eine romantische Gartenszenerie im Kerzenlicht. Maria trägt ein weisses Brautkleid, Thomas einen schicken Anzug. Die beiden feiern Verlobung. Formal entspricht die Szene allen theatralischen Regeln. Das ist bewundernswert. Doch beantwortet das die Anfrage? Die Ehe ist eine Verbindung, die nach Verlobung und Heirat gültig wird. Insofern ist die Antwort des GPT im Kern falsch. Eine Verlobung ist keine Eheszene, auch wenn das alles irgendwie miteinander zusammenhängt. Das erinnert stark an Harry Frankfurts philosophischen Begriff des «Bullshit», wonach es nicht darauf ankommt, ob etwas wahr oder falsch ist, sondern nur, dass es behauptet wird.

Zwei Effekte ergeben sich aus dieser Probe. Entweder bemerke ich die Unstimmigkeit und ergänze meine Anfrage an den GPT so, dass eine befriedigende Antwort herauskommt. Prompting, also effizientes Anfragen, ist die neue Kernkompetenz. Oder ich passe mich der äusserlich überzeugenden Antwort an und nehme das Ganze locker, weil formal ja alles korrekt ist. In diese zweite Richtung steuern wir, wenn wir uns nicht vorsehen.

Ein algorithmischer Roman

Täglich gibt es Neuigkeiten bezüglich Sprachmodellen und Künstlicher Intelligenz (KI). Eben erst hat OpenAI «Sora» vorgestellt, ein neues Text-to-Video-Tool. Alle wollen in diesem lukrativen Markt mitmischen. Dennoch bleibt der Eindruck, dass wir zurzeit in eine Stagnationsphase eintreten. Laut Studien gehen die Zugriffszahlen für den GPT zurück, die Sprachmodelle erzeugen teilweise schlechtere Resultate als vor Monaten, und obendrein entspinnt sich ein Urheberrechtsstreit darüber, welche Daten für das Training der Sprachmodelle verwendet werden dürfen. Die New York Times hat OpenAI auf Milliarden verklagt, weil der GPT ihre Artikel ungefragt benutzt.

Selbstlernende KI-Systeme entwickeln sich immer mehr zu einer Blackbox, die alles verschluckt und verarbeitet, ohne dass selbst die Programmierer noch Einsicht nehmen können. Der Medienwissenschaftler Felix Stalder nennt es «das tiefste Schwarz». Diese Blackbox veranschaulicht ein literarisches Experiment, das der Medienphilosoph und Autor Hannes Bajohr vorgenommen hat. Er trainierte eine open-source-Version des GPT so, dass sie algorithmisch einen Roman von 250 Seiten generierte: «(Berlin, Miami)». Bajohr beschränkte sich dabei auf minimale Eingaben und griff weiter kaum in die Textgenese ein. Umso mehr erstaunte es ihn selbst, wie schwungvoll «sein» Text loslegt. Mit überzeugender Anschaulichkeit wird uns eine Welt vorgeführt, die ebenso schillernd wie fremd anmutet. Schnell indes werden Schwächen in der Erzähllogik sichtbar. «Die Worte schlurften ein, ein Bühnenläufer vermochte mir die Hand zu führen; ich hielt den ersten Satz, der kommunizierte, vor mich hin, um zu schauen, wie er reagierte». Die Passage klingt mysteriös, die Sätze verknoten sich, das Geschehen ist kaum mehr nachvollziehbar.

Der Roman überzeugt weniger durch sein erzählerisches Potenzial als durch seine überschiessende Bildhaftigkeit – und dadurch, dass er die Schwachstellen von Sprachmodellen demonstriert. Simpel gesagt funktioniert der GPT ähnlich wie die einfache Wortergänzung bei WhatsApp: Ein Wort ergibt das nächste. Nur greift die «next token prediction» beim GPT auf eine ungeheure Menge an Textmaterial zurück. Der stochastische Papagei kann so Sätze aneinanderreihen und miteinander verknüpfen, doch er kann keine kausalen Beziehungen zwischen den Dingen herstellen. Genau davon aber hängt eine Erzählung ab. Was geschieht warum und wie in welchem Beziehungsgeflecht? Das interessiert uns bei der Lektüre von Geschichten.

Zum Erzählen gehört schliesslich auch ein guter Abschluss, wofür Bajohr wegen der algorithmischen Erzählschwäche zu einem Trick greifen musste. Er fütterte sein Sprachmodell mit dessen eigenem Text, bis es nur noch sinnlos stotterte und schliesslich in Schweigen versank: «__©\ To nut und lik tf Produktes Schoby Erzi-/ angift Sartrisch Grandios <|endoftext|>». «Model collapse» heisst dieser Effekt, der seit einiger Zeit diskutiert wird. «Es gehört zu den verstörenderen Einsichten der jüngsten KI-Forschung», schreibt Bajohr, «dass Sprachmodelle, die auf ihren eigenen Output trainiert werden, zu degenerieren beginnen.» Damit diese sich laufend verbessern können, benötigen sie von Menschen verfasste Texte als Trainingsdaten, beispielsweise aus der New York Times. Genau solches Material aber wird knapp, weil die Sprachmodelle fast alles schon kennen, was frei im Netz zirkuliert. Ein Streit um die Nutzung urheberrechtlich geschützter Texte ist daher vorprogrammiert.

Intelligenz vom Kinderspielplatz

Bajohrs Experiment weist eindrücklich darauf hin, dass moderne KI-Systeme über eine recht eingeschränkte Form von Intelligenz verfügen. Das statistische Verfahren erzeugt Mittelmass, aus dem alle besonderen Merkmale eliminiert werden. Letztere aber, die mehr oder minder ausgeprägten Ausläufer («tails») der Gauss’schen Glockenkurve, sind menschliches Terrain: humane Kompetenz. Sie stehen für das Abweichende, Intuitive, Kreative, Fehlerhafte. Hier ist unser alltägliches Wissen zuhause: unser Common Sense, mit dem sich KI-Modelle ausgesprochen schwer tun. Im Buch «Der elektronische Spiegel», das der menschlichen Intelligenz differenziert und lesenswert nachspürt, gibt Manuela Lenzen Beispiele für diese Schwierigkeiten. Common Sense beispielsweise heisst zu verstehen, «dass man aufgeblähte Plastiktüten mit dem Auto überfahren kann, Steine in gleicher Grösse jedoch nicht», oder dass der Schirm geöffnet wird, wenn es regnet, dass es aber nicht zu regnen aufhört, wenn der Schirm geschlossen wird. «Gesunder Menschenverstand lässt uns einschätzen, was realistisch und was unmöglich oder unwahrscheinlich ist.» Dafür reichen uns auch unvollständige Informationen, die wir intuitiv bewerten. Der KI fehlt dieses Erfahrungswissen und Weltverständnis.

Computer sind Rechner. Die Resultate, die KI-Systeme rechnerisch erzielen, sind erstaunlich und in vielen Bereichen hilfreich. Im Schach oder im Go ist selbstlernende KI inzwischen unschlagbar. Sie kalkuliert schneller und tiefer. Intelligenz aber ist weit mehr als Statistik und Quantität. Deshalb betont Manuela Lenzen, dass der Begriff «Künstliche Intelligenz» kaum zu einem besseren Verständnis beiträgt. Der Begriff ist eine untaugliche Krücke. Mit Hinweis auf den Kognitions­forscher Gary Marcus schlägt sie deshalb vor, die KI nicht länger als intelligenten «universellen Problemlöser» zu betrachten. Zielführender sei es, den Fokus auf «alternative intelligente Systeme» zu legen, die konkrete Aufgaben erfüllen und die entsprechend darauf verzichten, die menschliche Intelligenz imitieren zu wollen. Letztere findet sich nicht in den Algorithmen, sondern auf Spielplätzen, wo Kinder miteinander die Welt entdecken.

Die Hauptgefahr durch KI-Systeme droht indes von anderer Seite. Das elaborierte Mittelmass der Sprachmodelle wie dem GPT führt uns in die Versuchung, diesem Vorbild zu folgen, uns ihm anzupassen und uns für unsere Fehler zu genieren. Genau dies wäre eine Sackgasse. Wir benötigen nicht kalkulierte Perfektion und statistischen Durchschnitt, sondern mehr Spontaneität, Non-Konformismus, Common sense, Fehler auch und vor allem das Eingeständnis, etwas nicht zu wissen (was ChatBots generell schwer fällt). Wir benötigen mehr «heavy tails». Darin bleibt der Mensch unübertroffen. KI-Systeme müssten aufwachsen wie Kinder, so Manuela Lenzen, um wirklich intelligent zu werden.

Deshalb spiele ich lieber Eile mit Weile als Schach oder Go. KI-Systeme sind Werkzeuge. Bei aller Wertschätzung für deren praktische Effizienz ist Eile mit Weile der Weg, auf dem wir selbst dem algorithmischen Mittelmass entgehen.

Emily M. Bender et al.: On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? (PDF)
Hannes Bajohr: (Berlin, Miami). Roman. Rohstoff / Matthes & Seitz, Berlin 2023.
Manuela Lenzen: Der elektronische Spiegel. Menschliches Denken und künstliche Intelligenz. C.H. Beck, München 2023.