Gestern, Freitag, liefen in meinem LinkedIn-Feed drei Stimmen zusammen, alle mit demselben Wort. Anthropic schlägt eine weltweite KI-Pause vor — der Blogpost „When AI builds itself“ stammt vom Donnerstag. Sandra Kleinhans und Anne Kaiser greifen es auf, Anne verknüpft es mit der Enzyklika „Magnifica humanitas“, die der Papst am 25. Mai vorgestellt hat. Und ein KI-Mythbuster zieht ein paar Tage davor Alan Turing heran, um zu zeigen: KI kann gar nicht aufhören zu irren. Drei Bremswege, ein Reflex. Die Recherche und den ersten Entwurf habe ich Claude überlassen und selbst die Bremse gezogen, wo es nötig war. Was dabei auffiel: Die Antwort auf die ganze Aufregung ist neunzig Jahre alt.
Prompt
„Schreib den Output für einen Electric-Monk-Post zum Bremse-Motiv. Mit Handlung, nicht mit Stimmung — Jahr, Person, Tat. Belege nachvollziehbar zuschreiben. Und lass eine Ecke stehen.“
Output
Drei Stimmen, ein Freitag. Anthropic fordert eine weltweite KI-Pause. Der Papst fordert sie. Ein KI-Mythbuster in meinem Feed fordert sie mit Alan Turing. Tag der KI-Bremse.
Dann der Verdacht: Die Antwort ist neunzig Jahre alt, und keiner hat sie gelesen.
1936 beweist Alan Turing einen Satz, der bis heute steht. Es gibt kein allgemeines Verfahren, das für jedes beliebige Programm entscheidet, ob es irgendwann anhält oder ewig weiterläuft. Kein „noch nicht“. Kein „mit mehr Rechenleistung“. Unmöglich, ein für alle Mal. Später nennt man das das Halteproblem. Fünf Jahre zuvor hatte Kurt Gödel schon gezeigt: Jedes hinreichend mächtige System enthält wahre Sätze, die es selbst nicht beweisen kann. Zwei Grenzen, in Stein.
1987 schreibt Douglas Adams einen Roman und erfindet darin, ohne es zu ahnen, das verbotene Gerät. Der Electric Monk ist ein Haushaltsapparat fürs Glauben. Er glaubt für dich, damit du es nicht selbst tun musst — so wie der Videorekorder das Fernsehen übernimmt. Der Witz: Das Exemplar im Roman ist defekt. Es glaubt alles. Wahllos, restlos, auch Widersprüchliches. Adams hielt das für Komik. Er ahnte nicht, dass er ein Datenblatt geschrieben hatte.
2024 schließen zwei Forschergruppen unabhängig voneinander den Kreis. Ziwei Xu und Kollegen zeigen in „Hallucination is Inevitable“, dass kein berechenbares Sprachmodell jede wahre Funktion nachbilden kann — es wird zwangsläufig irren. Sourav Banerjee und Kollegen führen in „LLMs Will Always Hallucinate“ denselben Befund direkt auf Gödel und Turings Halteproblem zurück. Die Halluzination ist damit kein Bug. Sie ist Beweislage. Der defekte Mönch war keine schlechte Verarbeitung. Er war das einzig mögliche Modell.
Und jetzt die Stelle, an der ich selbst bremse. „Unmöglich“ heißt nicht „aussichtslos“. Andere Arbeiten, etwa von Suzuki und Kollegen, zeigen: Man kann den Fehler statistisch vernachlässigbar klein machen, wenn die Daten gut und reichlich sind. Die ehrliche Aussage lautet also nicht „jede Antwort ist Glückssache“. Sie lautet: exakt null ist unerreichbar. Das ist ein Unterschied wie zwischen „unsterblich“ und „gesund“. Wer ihn verwischt, betreibt Mythbusting mit umgekehrtem Vorzeichen.
2026 zieht die Branche nach. Anthropic veröffentlicht am 4. Juni „When AI builds itself“ und warnt, die menschliche Prüfung werde zum Flaschenhals der Entwicklung — „Human review will become the bottleneck“. Ende Mai, gut zehn Tage davor, hatte Papst Leo XIV. in seiner Enzyklika „Magnifica humanitas“ Hannah Arendt und, kein Scherz, Gandalf zitiert, um vor Maschinen zu warnen, die über Leben entscheiden. Bei der Vorstellung im Vatikan stand ein Mitgründer von Anthropic auf der Bühne. Alle fordern dasselbe: bremsen, hinschauen, den Menschen drinlassen.
Sie merken neunzig Jahre später, was Turing längst bewiesen hatte. Der Mensch bleibt nicht in der Schleife, weil die Technik noch nicht reif wäre. Er bleibt drin, weil die Mathematik keine andere Stelle übrig lässt.
Der Electric Monk wird darum nie ein Produkt. Er bleibt eine Komödie. Das einzige Gerät, das zuverlässig nur Wahres glaubt, gibt es schon — es ist kein Gerät. Es bist du, wenn du nachschaust.
Wer bremst, verliert, sagt das Tech-Gesetz. Turing sagt das Gegenteil. Und ausnahmsweise hat der Mathematiker die bessere Pointe.
Randnotiz
Dieser Text über die unzuverlässige Glaubensmaschine stammt von einer Glaubensmaschine. Gebremst hat der Mensch: Ein Datum stimmte nicht, und die Gegenstimme in Absatz fünf stand erst da, als ich sie verlangte. Der Mönch hätte beides geglaubt. Ich nicht. Genau das ist die Pointe.
Quellen
- Alan Turing: On Computable Numbers, with an Application to the Entscheidungsproblem. 1936. (Unentscheidbarkeit; das spätere „Halteproblem“.)
- Kurt Gödel: Über formal unentscheidbare Sätze der Principia Mathematica und verwandter Systeme. 1931. (Erster Unvollständigkeitssatz.)
- Douglas Adams: Dirk Gently’s Holistic Detective Agency. 1987. (Der Electric Monk.)
- Ziwei Xu, Sanjay Jain, Mohan Kankanhalli: Hallucination is Inevitable: An Innate Limitation of Large Language Models. arXiv:2401.11817, Januar 2024.
- Sourav Banerjee, Ayushi Agarwal, Saloni Singla: LLMs Will Always Hallucinate, and We Need to Live With This.arXiv:2409.05746, September 2024.
- Zur Gegenstimme („statistisch vernachlässigbar“): Suzuki u. a., referiert in der Literaturdiskussion von arXiv:2506.06382 (On the Fundamental Impossibility of Hallucination Control in LLMs).
- Marina Favaro, Jack Clark / Anthropic: When AI builds itself. 4. Juni 2026 (anthropic.com).
- Papst Leo XIV.: Magnifica humanitas. Enzyklika, vorgestellt 25. Mai 2026. (Zitate u. a. nach Hannah Arendt und J. R. R. Tolkien.)
