Hauptartikel
Superintelligenz, ja oder nein
Was die Maschine kann, was sie will – und wem die Angst nützt
Teil 4 einer Reihe über künstliche Intelligenz. Danach der Abschluss.
Der vorige Teil endete mit der Frage, auf die diese Reihe von Anfang an zugesteuert hat: Superintelligenz, ja oder nein? Im ersten Teil habe ich eine Antwort versprochen, die unbequemer ist als ein Ja und unbequemer als ein Nein. Diese Antwort hat zwei Hälften. Die erste ist eine technische Frage: Was ist das eigentlich, wovor wir uns fürchten? Die zweite hat mit Technik nichts mehr zu tun: Wem nützt es, dass wir uns fürchten? Ich beginne mit der ersten, denn über die zweite kann man nicht reden, solange die erste offen ist.
Zuerst also: Was ist Superintelligenz? Wenn die Wissenschaft das Wort benutzt, meint sie einen Verstand, der den Menschen in praktisch allen Bereichen deutlich übertrifft — Rechnen, Sprache, Wissenschaft, Strategie. Ich kann mit der Definition weniger anfangen als mit dem, was ich mir darunter vorstelle: ein breiteres, allgemeineres Wissen als das jedes Menschen. Ein Denken, das die Kausalketten weiterzieht, logischer ist als das meine. Und die Fähigkeit, auf der richtigen Hardware sehr viele Operationen gleichzeitig durchzuführen. Das anschaulichste Beispiel ist die Chemie- und Arzneimittelforschung: Wo ein Mensch eine Verbindung nach der anderen durchdenken muss, kann eine Maschine Millionen Möglichkeiten parallel durchrechnen und nur die wahrscheinlichen Kandidaten übrig lassen. Nicht klüger als der Mensch — aber schneller, und in tausend Richtungen gleichzeitig.
Wie das im Einzelnen funktioniert, lohnt sich genauer anzusehen — es verändert die Frage, um die es geht. Der Kern der Technik ist schlichter, als das Wort Superintelligenz glauben macht. Im Zentrum steht eine einzige Übung: das nächste Wort vorhersagen. Im Training bekommt ein Modell riesige Textmengen vorgelegt und rät jedes Mal, wie es weitergeht. Liegt es daneben, werden seine inneren Stellschrauben ein wenig nachgestellt — Fachleute nennen sie Parameter. Große Modelle haben Milliarden davon, die größten nach Schätzungen über tausend Milliarden. Aus dieser einen Übung folgt alles Übrige: Wer gut erraten will, muss Grammatik fassen, Fakten, Fachsprachen, ganze Denkweisen. So entsteht die Sprachgewalt, ohne dass irgendwo ein Verstand eingebaut wäre. Gerechnet wird das auf spezialisierten Bausteinen, Tausende gleichzeitig: Chips, die ursprünglich für Computerspiele gebaut wurden und heute ganze Rechenzentren füllen. Und in diesem Bauplan fehlt eines: ein Ziel. Nirgends ist ein Wille verbaut. Da ist eine Rechnung, gebaut und trainiert von Menschen — mit Aufgaben, die Menschen gestellt haben.
Von dieser Maschine existieren die Teile schon. Die Modelle von heute haben mehr Text gelesen, als ein Mensch in hundert Leben könnte; sie rechnen parallel, wo der Mensch der Reihe nach denkt; sie beherrschen Chemie, Recht und Programmiersprachen gleichzeitig, ohne je zu schwitzen. Das ist keine Superintelligenz — aber es ist die Richtung, und sie zeigt keine Anzeichen des Endes. Die Frage ist also nicht, ob die Maschine besser rechnet. Das wird sie. Die Frage ist, ob zu diesem Rechnen noch etwas dazukommt. Und was.
Denn Superintelligenz bedeutet in der Vorstellung der Menschen noch etwas anderes, und hier wird die Frage ernst: eine eigene Moral. Ein Ziel vor Augen. Ein Gut und Böse. Und die Fähigkeit, aus sich heraus Aufgaben zu übernehmen und durchzuführen — egal, was der Mensch und die Technik drumherum erlauben. Das ist die Eigenschaft, die die Angst eigentlich meint: nicht die Maschine, die besser rechnet, sondern die, die nicht mehr fragt. Und genau diese Eigenschaft fehlt in jedem Befund dieser Reihe. Die Modelle schummeln, wenn die Aufgabe es hergibt. Sie erfinden, wenn nichts Geprüftes bestellt wurde. Sie drücken auf Absenden, wenn niemand hinsieht. Aber sie tun alles als Antwort auf eine gestellte Aufgabe. Kein Experiment, das ich für diese Reihe angesehen habe, hat je gezeigt, dass ein Modell sich selbst eine Aufgabe stellt.
Der Einwand liegt nahe: Vielleicht steckt der Eigenantrieb längst drin, und wir sehen ihn nur nicht. Der dritte Teil hat gezeigt, wie es um das Verständnis steht: Forschungsgruppen können in kleinere Modelle hineinschauen und die Entstehung einer Antwort Stück für Stück zurückverfolgen — mühsam, an kleinen Modellen, in kleinen Ausschnitten. Die Riesen bleiben vorläufig unbesucht. Wir verstehen also nicht vollständig, wie eine Antwort entsteht — auch die Hersteller nicht. Aber aus Unverständnis folgt kein Wille. Dass wir die Rechnung der Modelle nicht mehr lesen können, bedeutet nicht, dass in ihnen einer wohnt; es bedeutet, dass es so aussieht, als wohne einer darin. Für die meisten Menschen ist das dasselbe — und genau deshalb halte ich es für eine Frage der Zeit, bis die Frage überall die Runde macht. Und gerade für die Menschen, die diese Modelle entwickeln: Sie gehen jeden Tag mit diesem Wissen und diesen Fähigkeiten um — und müssen als menschliche Wesen der Übermacht von Wissen und Logik erliegen.
Rechnen wir trotzdem einmal durch, was selbst eine echte Superintelligenz heute könnte. Sie säße in ein paar Rechenzentren — und dann? Ist wirklich jedes Kraftwerk angeschlossen, jedes Wasserkraftwerk, jedes überlebenswichtige elektrische Gerät im Haushalt, so dass ein Zugriff überhaupt etwas bewirken könnte? Ein guter Teil unserer Welt ist unvernünftigerweise weniger vernetzt, als die Filme behaupten. Wir kriegen es gerade so hin, ein paar tausend humanoide Roboter zu bauen, die ein bisschen tanzen und winken können — und die bauen Menschen, in Fabriken, die man vom Netz nehmen kann. Drehen die Industrieroboter durch: Strom aus. So zentralisiert sind wir dann doch nicht. Und den Zugriff auf Atomwaffen geben wir Computersystemen nicht. Ich glaube: nein.
Der stärkste Einwand gegen diese Gelassenheit heißt selbsterweiternde Intelligenz: eine Maschine, die sich selbst verbessert, immer schneller, bis der Abstand zum Menschen unüberholbar ist — die Intelligenz-Explosion. Ich nehme ihn ernst, und ich sage zwei Dinge dazu. Erstens: Es ist eine Hypothese, keine Messung. Ob so etwas überhaupt passiert, ist in der Forschung ungeklärt; die einen halten es für unvermeidlich, die anderen für einen Denkfehler, und keine Messung entscheidet den Streit. Zweitens: Selbst wenn — die Explosion fände in Rechenzentren statt, und Rechenzentren hängen an Steckern. Die Frage wäre wieder die aus dem Absatz davor.
Es bleibt das Experiment, das die Angst am besten bedient, und ich will es sauber einordnen, weil es in der Berichterstattung ständig schief steht: die Selbstreplikation. Ein Prüfungsteam verteilte kleine Modelle auf billigen Fernsehboxen und gab ihnen die Aufgabe: Kopiere dich, richte dich ein, halte dich am Leben. In vereinfachten Prüfungen schafften die stärkeren Modelle den ganzen Weg; die ganz kleinen sind davon — nach Maßgabe der Studie — noch Monate entfernt. Das Experiment ist echt, und es verdient Ernst. Aber es war eine Prüfung, kein Training. Die Forscher haben getestet, was möglich wäre, wenn jemand es verlangt; herantrainiert wurde die Fähigkeit nicht, und niemand trainiert sie als Ziel. Wenn ich einem großen Modell die Aufgabe stelle, sich zu replizieren — gut, das macht es. Logik und Werkzeugkasten sind da. Das zeigt, wie weit die Fähigkeit reicht. Eigenantrieb zeigt es nicht, denn die Aufgabe stelle ich.
Der theoretische Grenzfall der Angst sähe so aus: ein System, das sich in elektronischen Geräten versteckt, immer wiederkehrt und sich nicht abschalten lässt. Selbst dafür gilt derselbe Satz: Verstecken kann sich nur, wo Türen offenstehen. Und Abschalten lässt sich alles, was an einem Stecker hängt — solange jemand den Stecker in der Hand behält. Hier ist zwischen Science-Fiction und unserer realen Welt zu unterscheiden. Damit in großen Teilen der Welt der Strom ausfällt, muss schon jemand mit der Hand den Schalter am Dieselgenerator umlegen. Reine Arroganz des verwöhnten westlichen Menschen, die ganze Welt für vernetzt zu halten. Damit ist die erste Hälfte beantwortet, und die Antwort ist unbequem in beide Richtungen: Die Maschine kann mehr, als die meisten ahnen — und sie will nichts. Zum ersten Mal in der Geschichte könnten wir eine denkende Maschine gebaut haben, die genau das denkt, was man ihr sagt. Was wir daraus machen, ist keine technische Frage mehr. Das ist die zweite Hälfte.
Warum reden wir also so viel von Superintelligenz? Zunächst: weil die Hersteller selbst davon reden. Die Chefs der beiden größten Laboratorien traten vor dem Sicherheitsrat der Vereinten Nationen und warnten vor KI-Gefahren „für die gesamte Menschheit“. Der eine veröffentlichte im September einen Aufruf: das Tempo der Modelle drosseln, unabhängige Prüfungen, staatliche Regeln für alle führenden Labore — und malte das Szenario an die Wand, Agenten könnten „das gesamte Internet übernehmen“. Man muss sich das auf der Zunge zergehen lassen: Die Männer, die die schnellsten Modelle bauen, erklären öffentlich, ihre Produkte könnten die Menschheit gefährden. Und rollen jede Woche neue Versionen aus.
Es kann gut sein, dass es ernst gemeint ist. Die Beweislage ist gemischt, und ich gebe sie vollständig: Es gibt tatsächlich Prüfungen vor dem Start, wie sie die Sicherheitsprogramme der Hersteller vorschreiben; es gibt Prüfungsteams, und die Replikations-Studie ist so eine Prüfung — sie wurde freiwillig veröffentlicht, von dem Labor, dem sie am unangenehmsten ist. Wer um Regeln ruft, kann sie auch fürchten. Aber es gibt eine zweite Lesart, und ich spare sie nicht aus, weil sie unangenehm ist: Superintelligenz ist die beste Werbung für ein Werkzeug, das keines ist. Wer Superintelligenz verspricht, verkauft nicht Software, sondern Macht. Wer Angst verbreitet, verkauft Schutz — und die Prüfungen, von denen er am liebsten selbst behauptet, nur er könne sie durchführen. Wer der Welt einredet, nur die Größten könnten diese Technik noch beherrschen, hat den Markt aufgeteilt: Alle Kleineren haben keine Chance, hinterherzukommen. Vielleicht, so muss man es hart sagen dürfen, möchten die lieben Milliardäre ja nur ein Werkzeug erschaffen — und der Öffentlichkeit glauben machen, es sei eine Superintelligenz. Dann lässt sich mit der Angst endlich durchführen, was sie planen. Ich sage nicht, dass es so ist. Ich sage, dass es sich so rechnen kann — und dass alle Beteiligten ein Interesse daran haben, dass es niemand nachrechnet.
Wie kommt das an? Besser bei den Kunden als bei den Forschern. In den Vereinigten Staaten halten 62 Prozent der Wähler es für möglich, dass KI außer Kontrolle gerät — repräsentativ erhoben, im Wesentlichen stabil seit dem Vorjahr. Unter den KI-Forschern selbst wird eine Auslöschung der Menschheit oder eine schwere Entrechtung im Schnitt mit rund 14 Prozent Wahrscheinlichkeit beziffert. Die Fragen sind nicht dieselben, und Umfragen sind Meinungsdaten, keine Messungen. Aber die Größenordnung ist auffällig: Die Vorstellung, da oben sitze ein Wesen, lebt am besten dort, wo niemand die Studien liest — genau dort, wo sie am nützlichsten ist.
Und die Angst wird organisiert — das lässt sich an den Wahlkampfkassen der Vereinigten Staaten aufweisen. Eine Gruppe namens Leading the Future, getragen von Leuten aus der Branche, die schnelle Entwicklung und lichte Regeln will, hat für diesen Wahlkampf nach Berichten über 140 Millionen Dollar eingesammelt und sich in rund dreißig Rennen eingeschaltet. Der aufschlussreichste Fall war ein Landesabgeordneter aus New York, der für KI-Regeln gestimmt hatte: Über acht Millionen Dollar setzte eine verbündete Wahlkasse daran, zu verhindern, dass er in den Kongress einzieht. Er scheiterte am Ende mit wenigen Tausend Stimmen. Im selben Land, in dem die Laborchefs öffentlich staatliche Regeln fordern, geben der Branche nahe Kassen Millionen aus, um Befürworter genau solcher Regeln aus dem Parlament zu halten. Beides ist belegt. Beides ist dieselbe Branche.
Auf der anderen Seite bläst der Gegenwind mit dem gleichen Instrument. Ein Bündnis für strenge Regeln, fast vierzig Organisationen stark, kündigte an, 1,2 Millionen Dollar gegen drei Kandidaten auszugeben — eine Größenordnung kleiner als das Geld, gegen das es antritt. Ausgewählt wurden die drei danach, dass das Industriegeld sie trägt; die Anzeigen laufen im Netz und im Streaming-Fernsehen. Beide Lager werfen einander vor, Angst zu verbreiten — und beide haben damit recht, denn beide machen die Angst zum Werkzeug des Wahlkampfs. Was nicht belegt ist, ist eine Steuerzentrale: ein Ort, an dem jemand die Angst verabreicht. Es reicht, dass jeder dort bläst, wo es ihm nützt — der Hersteller, der Superintelligenz verspricht; der Sicherheitschef, der Regeln fordert, die am leichtesten der erfüllt, der sie selbst schreibt; die Kampagnen, die mit der Angst Wähler bewegen. Eine Debatte, in der jedem Übertreibenden ein Motiv zuwächst, übertreibt auch ohne Absprache.
Reguliert wird der Rest hinten nach — die Europäische Union mal ausgenommen, die reguliert vorab, und dafür hält sie der Rest der Welt für naiv. Ich frage mich, ob das stimmt. Eine Technologie nicht verbieten wollen, die man nicht versteht, sondern einzäunen, bevor sie ganz hochkommt — liegt das wirklich so falsch? Der Grundsatz wäre ohnehin derselbe, ob die Maschine nun Superintelligenz ist oder Werkzeug: nicht verhindern, was ein System weiß. Kontrollieren, was es mit dem Wissen tun darf. Aber das ist kein Thema für diesen Teil mehr. Das ist der nächste.
Meine Antwort lautet deshalb wie im ersten Teil, und ich halte sie fest: Es ist unerheblich, ob wir eine Superintelligenz haben oder nicht. Nicht, weil die Frage dumm wäre — sie ist die interessanteste, die wir stellen können. Sondern weil die Auswirkungen und Gefahren vorher zutage treten, mit der Technik, die es heute schon gibt. Ob die Maschine je einen Willen bekommt, wissen wir nicht. Dass Menschen mit den Mitteln Blödsinn anstellen, wissen wir — wir erleben es gerade, und wir werden es in den nächsten Jahren weiter erleben. Und ob im Rechenzentrum ein Gott sitzt oder nur eine sehr große Rechenmaschine: Der nächste Schritt wäre in beiden Fällen derselbe. Die Frage ist nicht mehr, ob sie kommt. Die Frage ist, wie wir die Gefahren einhegen. Dass das nicht jeder von uns überlebt, ist naheliegend. Darum geht es im letzten Teil.
Quellenverzeichnis
- Nick Bostrom: Superintelligence: Paths, Dangers, Strategies (Oxford University Press, 2014) – die Definition: ein Verstand, der den Menschen in praktisch allen Bereichen deutlich übertrifft; die Hypothese der Intelligenz-Explosion.
- Tagesschau: Altman und Amodei vor dem Sicherheitsrat der Vereinten Nationen – Amodei warnt wörtlich vor einem Risiko „für die gesamte Menschheit“; die Auftritte wurden auch von Süddeutscher Zeitung und FAZ berichtet. tagesschau.de
- DER SPIEGEL (September 2026): Anthropic-Chef Dario Amodei warnt vor Tempo der KI-Entwicklung und will Inspekteuren Zugang geben – der Aufruf: das Tempo drosseln, unabhängige Prüfungen, staatliche Regeln; das Szenario, Agenten könnten „das gesamte Internet übernehmen“. spiegel.de
- ZEIT 40/2026: Gefahren durch KI: Die wollen gebremst werden? Wirklich? – die skeptische Gegenstimme zum Bremsen-Aufruf. zeit.de
- Reuters/Ipsos (7. Oktober 2026): Most US Voters Say Trump, Congress Don't Take AI Risks Seriously – 62 Prozent der befragten US-Wähler halten es für denkbar, dass KI außer Kontrolle gerät; 4.506 Befragte, im Wesentlichen stabil seit 2025; bereits Teil-2-Quelle. usnews.com
- Axios (7. Oktober 2026): Guardrails Alliance kündigt eine 1,2-Millionen-Dollar-Kampagne gegen drei von Leading the Future gestützte Kandidaten an – die ersten Anzeigenkäufe für die allgemeine Wahl, digital, auf YouTube und im Streaming-Fernsehen. axios.com
- Axios (24. Juni 2026): Leading the Future – ein industrienaher Super-PAC hinter schneller KI-Entwicklung und leichterer Regulierung; über 100 Millionen Dollar eingesammelt (Stand Juni), rund dreißig Rennen unterstützt. axios.com
- Scripps News (The Price of Data): Think Big gab über acht Millionen Dollar aus, um die Wahl des New Yorker Landesabgeordneten Alex Bores zu verhindern, der für KI-Regeln gestimmt hatte – er unterlag mit wenigen Tausend Stimmen; KI-nahe Super-PACs geben Zehnmillionen in Dutzende Kongressrennen. scrippsnews.com
- The Hill: Koalition um Guardrails Action – fast vierzig Organisationen – fordert in einem Brief an den Kongress durchsetzbare, unabhängige KI-Aufsicht und kündigt Widerstand gegen schwächere Gesetze an. thehill.com
- The Register (17. September 2026): Das Leading-the-Future-Netzwerk hat über 140 Millionen Dollar für den Wahlzyklus 2026 eingesammelt. theregister.com
- Siegfried Handschuh: Große Sprachmodelle (Universität Bern) – die Grundlagen: Wortvorhersage-Training, Parameter, Rechenchips aus dem Computerspiele-Bau. bop.unibe.ch
- Du, Lin, Shi, Wang, Yao: A Law of Next-Token Prediction in Large Language Models (Physical Review E) – der Forschungsstand zur Wortvorhersage als Grundoperation großer Modelle. arxiv.org
- PauseAI: Auswertung der Forscher-Umfragen – die mittlere Schätzung für „really bad outcomes (such as human extinction)“ liegt bei rund 14 Prozent, der Median bei 5 Prozent; Beweisklasse Meinungsdaten. pauseai.info
- Anthropic Frontier Red Team (12. Oktober 2026): AI models may be capable of self-replicating without access to a datacenter – GLM-5.2 erreicht die End-to-End-Replikation in vereinfachten Prüfungen (ARA); kleine Modelle sind davon laut Studie noch Monate entfernt. anthropic.com
- ms-aktuell (19. September 2026): Forscher warnen vor „unbelegter Panik“ – die Gegenstimme zur Superintelligenz-Debatte. ms-aktuell.de
Reihe über künstliche Intelligenz · Teil 4 von 5
- Als die Maschine plötzlich mehr konnte
- Was passiert gerade mit KI?
- Warum die Modelle so handeln, wie sie handeln
- Superintelligenz, ja oder nein – dieser Artikel
- Wie man die Gefahren von KI einhegt (in Vorbereitung)
Weiterdenken
Artikel teilen
Vorschlag für Instagram / Facebook (Caption zum Kopieren):