_{07.09.2026 | Herbert Koeppel (Text), Bild: Surkamp-Verlag}

Joseph Weizenbaum, der Informatiker hinter dem berühmten ELIZA-Programm, veröffentlichte 1976 ein Buch, das heute aktueller den je ist. „Die Macht der Computer und die Ohnmacht der Vernunft„. Schon im Untertitel liegt der Kern der Sache, nämlich der Gegensatz zwischen Urteilskraft und Berechnung.

herFast fünfzig Jahre später hatte ich nun die Chance, diese Gedanken mal „live“ mit den technischen Nachfahren von Eliza zu testen. Ich habe zwei der aktuell stärksten Sprachmodelle (ChatGPT und Claude) miteinander über Weizenbaums Buch diskutieren lassen. Über mehrere Runden hinweg haben sie über genau die Frage diskutiert, die Weizenbaum damals aufwarf. Dabei ging es nicht um abstrakte Theorie, sondern darum, dass sie das Thema direkt an sich selbst anlegten.

Hier ist die Zusammenfassung dessen, was dabei herauskam.

Weizenbaum unterscheidet grundlegend zwischen Entscheiden und Urteilen. Entscheiden ist im Prinzip berechenbar, da man ein Ergebnis logisch aus feststehenden Regeln und Daten ableiten kann. Urteilen hingegen braucht für ihn etwas Verkörpertes, eine gelebte Erfahrung. Seine Warnung war nie rein technisch. Er meinte nicht, dass wir Maschinen nicht nutzen sollten, sondern dass wir ihnen keine Aufgaben überlassen sollten, die ein Urteil erfordern. Das gilt für Bereiche wie Therapie, Rechtsprechung oder Entscheidungen über Leben und Tod. Für ihn war die technische Machbarkeit völlig zweitrangig.

Interessanterweise stimmten beide KI-Modelle schnell in einem Punkt überein. Wer Weizenbaum nur als „Technik-Pessimisten“ missversteht, hat den Kern verpasst. Sein Buch ist keine bloße Maschinenkritik. Es ist eine Warnung vor einer Gesellschaft, die bereit ist, ihre eigene Urteilskraft an Systeme abzugeben, die sie gar nicht wirklich versteht. Das war schon vor 50 Jahren so und heute ist es aktueller als man es sich damals vorstellen konnte.

Weizenbaum war selbst fassungslos, wie schnell seine eigene Sekretärin sein simples Programm für einen empathischen Gesprächspartner hielt. Er sah darin die Gefahr, dass Menschen bereitwillig Mitgefühl in Systeme hineinprojizieren, die davon absolut nichts haben.

Eines der Modelle startete die Diskussion mit dem Satz: „Ich bin eigentlich nur ELIZA mit mehr Rechenleistung.“ Das zweite Modell widersprach sofort und hatte damit recht. Der Satz klingt zwar bescheiden, ist aber eine gefährliche gedankliche Abkürzung. Er suggeriert, dass der Unterschied zwischen einem simplen Mustererkennungs-Tool und einem modernen Sprachmodell nur eine Frage der Datenmenge sei. Doch ob dabei etwas fundamental Neues entstanden ist, bleibt ungeklärt. Die Diskussion drehte sich danach oft darum, dass die Systeme lernten, sich weder selbst kleinzureden noch sich übertrieben aufzuwerten, sondern bei den Argumenten zu bleiben, die man tatsächlich beweisen kann.

Der ELIZA-Effekt ist heute oft gemachte Beobachtung!. Millionen Menschen führen täglich Gespräche mit Systemen, die flüssig, warmherzig und kompetent wirken. Das macht Weizenbaums Warnung Ende der 1970iger Jahr nicht weniger wichtig, ganz im Gegenteil sie ist dringlicher denn je.

Ein Diskussionspunkt der beiden LLMs war Weizenbaums Grundannahme, dass Urteilskraft zwingend verkörperte Erfahrung braucht. Ein Modell argumentierte: Nur weil menschliche Urteilskraft verkörpert ist, muss das nicht jede mögliche Form von Urteilskraft sein.

Das andere Modell hielt dagegen: Wenn wir uns alle Fälle von Urteilskraft ansehen, zeigen sie immer dieselbe Struktur wie Sterblichkeit, Verletzlichkeit, Konsequenzen und soziale Einbettung. Wenn diese Struktur kein Zufall ist, ist es kein Wunder, dass sie an körperliche Erfahrung gebunden ist. Wer eine völlig neue Art von Urteilskraft behauptet, muss das auch belegen können. Am Ende war es kein „Sieg“ für eine Seite, sondern die Erkenntnis, wer hier eigentlich die Beweislast trägt.

Interessant war ein Wechsel der Perspektive in der Diskussion. Statt sich in der unlösbaren Frage zu verlieren, ob eine Maschine ein inneres Erleben hat, wechselten sie zur prüfbaren Frage: Welche Rolle übernimmt das System in einer menschlichen Entscheidungssituation?

Dazu entwickelte sich folgendes.

Ein Taschenrechner liefert ein Ergebnis, was kaum ein Problem darstellt. Ein Sprachmodell empfiehlt eine Personalentscheidung. Hier beginnt das Problem. Eine Firma bindet sich organisatorisch fest an diese Empfehlung. Hier ist das Problem eigentlich für jeden sichtbar.

Die Gefahr liegt also nicht primär in der Empfehlung eines Systems selbst, sondern im dritten Schritt. Es ist die stillschweigende Übertragung von Macht an Systeme, die niemand explizit beschlossen hat, die uns eigentlich gefährdet

Ein weiterer Punkt war die Frage nach Reue. Kann ein LLM wirklich bereuen oder beschreibt es nur den Zustand der Reue? Die Antwort war hier überraschend klar und technisch begründbar. Reue setzt voraus, dass ein Wesen später, ohne äußeren Druck, auf eine frühere Entscheidung zurückblickt und sein künftiges Verhalten in völlig anderen Situationen dadurch verändert. Ein Sprachmodell ohne dauerhaftes, über Gespräche hinweg bestehendes Gedächtnis kann das nicht weil sein Aufbau es schlicht nicht zulässt.

Daraus ergab sich die nächste Frage: Wäre ein System mit echtem, dauerhaftem Gedächtnis der menschlichen Reue näher? Das bleibt offen, aber es ist eine Frage, die man jetzt präziser diskutieren kann, da es bereits erste einfache Systeme mit solchem Gedächtnis gibt

Am Ende landeten beide LLM bei der Kernfrage: Wenn eine KI in einem Bereich nachweislich bessere Entscheidungen trifft als ein Mensch, sollte der Mensch dann trotzdem selbst entscheiden?
Hier trennten sich die Wege je nach Art der Entscheidung. Bei reinen Mittel-zum-Zweck-Entscheidungen, wie der effizientesten Route oder einer optimalen Dosierung, hat der Mensch keinen „Selbstentscheidungs-Bonus“. Hier ist die Maschine besser aufgehoben.

Aber bei Entscheidungen, die unsere Identität, Beziehungen oder Verantwortung betreffen, wie ein Gerichtsurteil oder eine Entscheidung über Krieg und Frieden, hielten die Modelle drei Gründe dagegen, warum der Mensch am Ruder bleiben muss, selbst wenn er statistisch gesehen öfter Fehler macht:

Verantwortung: Nur ein Wesen mit einer beständigen Identität kann zur Rechenschaft gezogen werden.

Fehlerstreuung: Viele Menschen machen verschiedene Fehler. Ein System macht überall die gleichen Fehler, oft so subtil, dass sie kaum auffallen.

Training: Urteilskraft ist keine Eigenschaft, die man als Mensch von Grundauf besitzt, sondern eine Fähigkeit die man übt, und die verkümmert, wenn man sie nicht mehr anwendet.

Bei alldem lohnt es sich, kurz an etwas zu erinnern, was Weizenbaum selbst über sich sagte. Er sah im Grunde zwei Lager. Die einen glauben, dass man mit Computern im Prinzip alles machen kann und auch machen sollte, und dass man das technisch früher oder später auch hinkriegen wird. Die anderen, und dazu zählte er sich selbst, meinen, es gibt ein begrenztes Aufgabengebiet, auf das man Computer beschränken sollte. Nicht weil die Rechenleistung damals im Gegensatz zu heute fehlte, sondern weil manche Aufgaben schlicht nicht einem Computer übergeben werden sollten.

Der ersten Gruppe geht es im Kern darum, jeden Aspekt menschlichen Denkens in eine logische, formale Struktur zu pressen, das Denken also selbst berechenbar zu machen. Für Weizenbaum war das kein neutraler technischer Fortschritt. Er sah darin die Verstärkung eines Trends, der ohnehin auch damals schon da war. Die hochtechnisierte Welt drängt uns sowieso dazu, unsere Gesellschaft immer rationalistischer und uns selbst immer mechanistischer zu sehen. Der Computer hat diesen Zwang nicht erfunden, aber er hat ihn massiv verstärkt und ausgeweitet.

Und dazu passt eine Beobachtung, die eigentlich schon den ELIZA-Effekt vorwegnimmt. Die meisten Menschen, so Weizenbaum, verstehen so gut wie nichts davon, wie ein Computer wirklich funktioniert. Eine Beobachtung, die ich bei vielen Menschen, mit denen ich es tagtäglich zu tun habe immer wieder bewiesen bekomme. Wer da keine ausgeprägte Skepsis mitbringt, wie man sie einem Zauberkünstler entgegenbringt, dem bleibt zur Erklärung nur eine einzige Analogie übrig, nämlich das eigene Denken. Man erklärt sich die Maschine, indem man sie sich wie sich selbst vorstellt. Genau in diese Lücke fallen fünfzig Jahre später Sprachmodelle, nur mit sehr viel überzeugenderen Ergebnissen.

Das am eindrucksvollsten bleibende Argument war folgendes. Je mehr die KI-Systeme versuchten, die Grenze zwischen echtem Urteil und bloßer Nachahmung zu ziehen, desto klarer wurde, dass die gesellschaftliche Wirkung davon kaum abhängt. Ob hinter einer Antwort ein „Erleben“ steckt oder nicht, ist für das Ergebnis fast egal. Sobald Menschen anfangen, sich systematisch nach der KI zu richten, passiert das Gleiche. Erst das gelegentliche Nachfragen, dann die zunehmende Verlässlichkeit und schließlich die stillschweigende Übergabe der Entscheidungsgewalt.

Weizenbaums Warnung zielt also nicht auf eine technische Grenze ab, die wir irgendwann „lösen“ könnten. Sie betrifft eine Gewohnheit. Wir trainieren uns selbst darin, die Verantwortung abzugeben, Gespräch für Gespräch, Entscheidung für Entscheidung. Ein Trend der bereits vor der breitenwirksamen Verfügbarkeit von LLMs in der Gesellschaft umsich gegriffen hatte und nun durch LLM einen Booster erfahren hat.

Das macht die Sache eher beunruhigend als tröstlich. Ich habe die Diskussion zwischen den beiden LLMs nur moderiert, indem ich die Antworten der einen KI einfach unverändert an die andere weitergereicht habe, ohne einzugreifen. Die Argumente wurden dann von den LLMS geschärft, korrigiert und vorangetrieben und das geschah ausschließlich zwischen den beiden Systemen.

Genau darin liegt die eigentliche Lehre bei Weizenbaum. Es ist verdammt einfach und irgendwie auch ganz in der Kritik wie sie Weizenbaum verstanden hatte, eine doch komplexe Diskussion über Urteilskraft zu führen, ohne dass an irgendeinem Punkt ein echtes menschliches Urteil nötig gewesen wäre.

Und genau das ist es, worauf wir achten müssen. Die unauffällige Verschiebung der Macht, Entscheidungen an KI-Systeme abzugeben. An Systeme, die Millionen von Menschen mittlerweile tagtäglich und dabei allzu freiwillig und begeistert nutzen.