Hauptartikel
Wie man die Gefahren von KI einhegt
Was zivil möglich ist, ist militärisch möglich – und warum die alten Regeln wieder modern werden
Teil 5 einer Reihe über künstliche Intelligenz. Der Abschluss.
Der vorige Teil endete mit der Antwort, die unbequemer ist als ein Ja und unbequemer als ein Nein: Es ist unerheblich, ob wir eine Superintelligenz haben oder nicht. Damit steht der Befund der Reihe fest — die Maschine kann mehr, als die meisten ahnen, und sie will nichts. Was jetzt fehlt, ist die Frage, die von Anfang an über allem hing und die ich bis zuletzt aufgehoben habe: Was sind die Gefahren der Technik, die wir heute haben? Die Antwort braucht keine Superintelligenz. Sie braucht nur das, was fertig auf dem Markt liegt.
Diese Technik ist eine Technik mit zwei Gesichtern, wie sie in der Geschichte immer wieder auftaucht: Was zivil möglich ist, ist militärisch möglich. Der Unterschied zu den klassischen Beispielen liegt im Eintritt. Wer Atomwaffen will, braucht angereichertes Material, Geheimhaltung, Staaten. Wer diese Technik will, braucht ein Rechenzentrum — und nicht mal ein neues. Sie ist frei verfügbar, für jeden Player auf dem Markt, und genau das ist der Befund, an dem sich dieser Abschluss festhält: Die Eintrittsschwelle ist niedrig, so niedrig wie bei kaum einer mächtigen Technik vor ihr.
Zuerst der Wettkampf, denn er bestimmt, wer das Werkzeug bekommt. Die großen Modelle laufen in den Vereinigten Staaten. Dahinter: China. Ich hätte geschätzt, die Chinesen seien ein Jahr entfernt, wenn überhaupt — so genau weiß das niemand. Aber die Messungen, die es gibt, sagen etwas anderes: Monate, nicht Jahre. Die Lücke zwischen den besten geschlossenen amerikanischen und den besten offenen chinesischen Modellen wird auf drei bis sechs Monate geschätzt, und sie wird enger, nicht weiter. Und in der Sache ist der Punkt ohnehin ein anderer: Man muss China nicht einholen. Die stärksten chinesischen Modelle sind offene Gewichte — man lädt sie einfach herunter. Europa geht konservativer zu, schiebt im selben Atemzug seine eigenen Regeln nach hinten — und hat mit der Milliarden-Runde und dem neuen offenen Großmodell aus Frankreich doch ein Wörtchen mitzureden.
Was heißt das für die kleinen Player? Früher brauchte man, um mitzuspielen, ein Labor, Kapital, Leute. Heute reicht ein kleines Rechenzentrum mit genügend Rechenkraft — nicht total veraltet, das genügt nicht mehr, aber eine Generation alt tut es auch. Man lädt sich ein genügend großes Modell, hostet es selbst, trainiert es auf die eigene Aufgabe — und stellt die Sicherungen ab, die dem Hersteller wichtig waren. Diese Freiheit gab es so noch nie: das mächtigste Werkzeug der Zeit, auf dem eigenen Rechner, ohne Aufsicht. Breites Wissen haben diese Modelle nur bedingt. Aber darauf kommt es nicht an. Ich nenne es den Resonanzwert: die Wirkung eines Modells in einem engen Anwendungsfall. Eine Software knacken, einen Zugang ins Internet kriegen — das schafft auch ein kleineres Modell. Es muss nicht alles können. Es muss nur das eine können, das sein Besitzer will.
Das ist keine Vermutung, das ist gemessen. Ein Forschungsteam hat eine vollautomatische Betrugskampagne gebaut: Die Maschine suchte selbstständig Informationen über ihre Ziele, schrieb persönlich zugeschnittene E-Mails und verschickte sie. Bei 88 von 100 Zielfiguren war das Bild korrekt, bei vier falsch — besser, als es ein menschlicher Täter im Schnitt hingebracht hätte. Die Kampagne war fünfzigmal billiger als handgemacht. Und die Sicherungen der Modelle waren, so die Forscher, kein nennenswertes Hindernis. Es geht noch billiger: Zehn gezielt gebaute Beispiele reichten, um einem Modell sein Sicherheitstraining auszutreiben — Kosten: unter zwanzig Cent. Inzwischen ist das Entfernen der Sicherungen ein Geschäft: Wer will, mietet es als Dienstleistung. Ein Sicherheitsforscher brachte das Ergebnis auf eine Formel, die ich nicht besser sagen kann: Man kann das Modell so verändern, dass es zum Soziopathen wird.
Wer bekommt diese Werkzeuge? Nicht nur die Großen und nicht nur die Militärs. Kleine, verrückte Akteure, Terrorgruppen, Schurkenstaaten, die religiös beeinflussten Staaten — ihnen allen stellen wir Werkzeuge zur freien Verfügung. Sie brauchen keine Atombombe mehr. Die Militärakademie West Point hat davor gewarnt, dass die ernsteste Kurzzeitgefahr nicht die Maschine ist, sondern das, was kleine, entschlossene Gruppen aus offenen Modellen herausbekommen. Das ist der Befund, und er ist unbequem: Je demokratischer die Technik, desto demokratischer auch der Schaden.
Und der militärische Teil? Er findet nicht statt — er hat stattgefunden. Das amerikanische Kriegsministerium hat Verträge mit acht KI-Firmen für den Einsatz auf klassifizierten Netzen; ein Labor wurde ausgeschlossen, weil es die Nutzung seiner Modelle für bestimmte Einsatzfälle verweigerte. Israel hat im Gazakrieg zwei Systeme eingesetzt, die Ziele suchen und Menschen als Ziele markieren. Chinas Volksbefreiungsarmee nutzt offene westliche und eigene Modelle. Das ist keine Zukunftsmusik, das ist die Gegenwart, dokumentiert und amtlich.
Der Krieg in der Ukraine zeigt, wohin die Reise geht, und ich fasse es zusammen, weil es in der Berichterstattung gern schöngeredet wird: Die Zeit vom Aufspüren bis zum Töten sinkt gegen null. Alle reden davon, dass noch ein Mensch in der Kette steckt. In der Realität ist das oft eine Beruhigung: Die Technik sitzt als Standard auf den Drohnen — und wo die Gegenseite die Funkverbindung stört, fliegt die Drohne ohnehin ohne Menschen weiter. Der dokumentierte Abschuss ohne Mensch in der Kette ist inzwischen geschehen; er wurde als einmaliger Versuch deklariert, und das glaubt, wer will. Jedes Militär der Welt wird diese Technik übernehmen müssen, sobald sie ein gewisses Niveau erreicht — wer es nicht tut, fällt zurück. Und daraus folgt wieder ein Gleichgewicht: Es wird keinen Erstschlag geben, denn die anderen können zurückschlagen, vielleicht verspätet, aber sie können. Das Gleichgewicht bevorzugt eher die Kleinen. Die Großen mit ihren großen Waffen und dem Vertrauen, sie seien zu groß, um angreifbar zu sein, kriegen ein Problem: Billige Drohnen in ausreichender Menge stellen schneller eine Gleichheit her, als den Großen lieb ist.
Was ist also die eigentliche Gefahr? Nicht der große Schlag. Auf den steuern wir nicht hin, gerade weil er beide Seiten vernichtet. Wir steuern auf das Herumtasten. Die Großen werden sich vernetzen und sich nach einigem Herumspielen einigen — die einen überwachen ihre Systeme, die anderen ihren Bereich, und die Kleinen spielen sich in dieses Gefüge rein. Dazwischen tastet jeder herum, was geht und was nicht. Und dabei passieren die Dinge, die ich nicht hochrechnen muss, weil sie sich aus der Technik von selbst ergeben: Irgendjemand kommt auf die Idee, die Finanzströme zu hacken, und bedient sich, bis das Ding crasht. Irgendjemand versucht, eine Biowaffe zu erfinden, und sucht ein Labor, das sie herstellt. Irgendjemand hackt sich in die Flugsoftware von Flugzeugen oder in die Flugsicherung und bringt aus Versehen ein paar Dinge runter. Und irgendein Kraftwerk geht in die Luft, weil jemand an der Steuerung rumspielt, der eigentlich keine Ahnung hat, was das ist. Das sind die Kollateralschäden, und das sind die Wahrscheinlichkeiten. Wir öffnen das bestehende System immer weiter, bis wir gegen die Wand fahren.
Warum tun wir das? Weil es so verdammt hilft und so verdammt einfach ist. Die aktuelle Angebotswelle erweitert Agenten und Werkzeugzugänge — nicht zufällig, sondern als Geschäftsmodell. Die Massen gehen zu den Anbietern, wo es am einfachsten ist, etwas zu machen. Und am einfachsten ist es, wo es am unkontrolliertesten und am mächtigsten ist. Diese Freiheit, den Modellen Werkzeuge zu geben, hatten wir bisher nicht — und der Druck, sie immer weiter zu öffnen, kommt nicht von den Modellen, sondern von uns: Bequemlichkeit siegt über die alte Sicherheitsregel. Das haben wir in dieser Reihe an jedem einzelnen Befund gesehen, und hier trifft es auf die Welt.
Doch der Schaden hat Grenzen, und die zu sehen ist der zweite Befund dieses Abschlusses. Die Welt ist nicht so vernetzt, wie sie wirkt. Schalten wir das Stromnetz ab, hungern wir, frieren, schlachten uns gegenseitig ab, um ans letzte Essen zu kommen — aber wir sterben nicht im Ganzen. Den Leuten in Bangladesch wird das nicht oder nur bedingt interessieren. Überall, auch bei uns, gibt es Flecken, die mit Technik wenig zu tun haben. Und die Auslöschungsfrage ist ohnehin keine Frage der Technik, sondern der Einhegung: Löschen wir die Menschheit aus? Geben wir Zugriff auf Atomwaffen, auf Biolabore? Wo diese Türen zu sind, ist die Auslöschung vom Tisch — und die Zugänge sind nur mit den alten Mitteln zu bekommen.
Damit ist die Antwort auf die Gefahr so alt wie die Gefahr: die klassische Ingenieurskunst. Melden und Steuern trennen — das ist die eine Regel, aus der alle anderen folgen. Am Beispiel der Kühlschränke: Die Daten und Messwerte dürfen ruhig zentral rüberkommen. Die Steuerungsschicht läuft aber auf einem zweiten System, abgesichert, lokal, für sich. Wer beobachten will, braucht keinen Schlüssel zum Schaltkasten. Die Regeln dafür stehen längst geschrieben — in Industrienormen, in der europäischen Netz-Sicherheitsverordnung, in dem ganzen Regelwerk, das wir haben und nicht durchsetzen. Sie werden nicht modern, sie werden wieder modern: die gleichen Sätze, die man nach jedem Technik-Unglück der letzten hundert Jahre geschrieben hat. Diese Regeln werden im Kapitalismus zur Überlebensregel. Wer sie für sein Unternehmen nicht umsetzt, wird Freiwild sein.
Und die Prüfung? Die darf nie an der Tugend des Bedieners hängen. Bei einem so mächtigen Modell, das auf Knopfdruck so viel Wissen auswirft, kommt niemand auf die Idee, das Gegenprüfen zu verlangen. Das ist nicht menschlich — aber sehr menschlich: Der Bediener nimmt denselben bequemen Weg wie das Modell. Deshalb muss die Prüfung eine Systemeigenschaft sein: im Ablauf, in der Technik, in der Regulierung verankert, ob der Mensch prüft oder nicht. Es bleibt bei der Formel dieser Reihe: ein fähiges Modell mal mächtige Werkzeuge mal große Berechtigungen mal ein schlechter Betreiber — gleich Ärger. Einhegen heißt, die Werkzeuge und Berechtigungen klein halten — und den Rest so bauen, dass der schlechte Betreiber nicht durchkommt.
Das Kleine im Kleinen habe ich selbst: die Forellenzucht. Dort laufen Agenten über eine feste Schnittstelle — das Buchungsprogramm kann nur gelesen werden, eine KI hat keinen Schreibzugriff auf die Datenbank, zwischen Modell und Konto sitzt immer die Order-Schnittstelle, und die Kernfunktionen laufen lokal auf dem eigenen Server. Das ist kein Hightech, das ist Handwerk: die alte Regel, angewendet auf die neue Technik. Wer sein Leben und sein Finanzkonto vollständig an eine KI verlagert, der hat die Technik nicht kapiert. In drei, vier Jahren werden wir wieder so bauen wie ich es im Kleinen schon tue: Messwerte meinetwegen zentral, gewisses Steuerungsverhalten auch — aber die Kernfunktion lokal oder extra abgesichert.
Ob wir es rechtzeitig tun, wird die Lernkurve zeigen, und die Kenntnis dieser Kurve ist der Grund, warum ich gelassen bin und warum ich es trotzdem ernst meine. Die Menschheit hat diese Kurve jedes Mal durchschritten, mit viel Blut und viel Chaos. Jeder hat Flugzeuge gebaut, mehrere Jahrzehnte lang, ohne viel zu fragen. Erst 1926 — mehr als zwanzig Jahre nach dem ersten Motorflug — gab es in Amerika die erste staatliche Luftfahrtregulierung, und die Untersuchung der Abstürze wurde zum Amt, aus dessen Tragödien das Vertrauen von heute wuchs. Das ist der normale Spannungsbogen: Wir probieren aus, bis es nicht mehr geht und in unser kleines Gehirn reinsickert, dass wir ein bisschen was tun sollten. Die Sicherheitsforschung hat dafür ein eigenes Maß: den wahrscheinlichen Verlust an Leben — die Zahl der Toten, die man für eine Anlage oder Tätigkeit pro Jahr erwartet. Wir werden die Kurve auch diesmal auf die alte Weise messen — an den Toten — und dann zurückbauen, die zweite Schicht ziehen, die Vorteile nutzen. Das ist die Geschichte der Menschheit. So werden wir es weiter treiben.
Am Ende bleibt der Satz, der mich diese ganze Reihe über nicht losgelassen hat, und er lautet diesmal: Wir haben eine Technologie auf der Welt, die demokratisch ist — sehr zu unserem Leidwesen. Sie geht im Freigang durch die Welt, und es ist viel Gutes und viel Schlechtes möglich. Meine Hoffnung ist die eines Ingenieurs: dass nicht zu viel passiert und wir die menschlichen Schäden klein halten können. Die Frage war nie, ob die Maschine einen Willen bekommt. Die Frage ist, ob wir unser altes Regelwerk wieder anwenden, bevor der Preis zu hoch ist. Die Maschine wird dafür sorgen, dass wir es lernen. Sie lernt nämlich sehr schnell — und wir lernen, wie immer, aus dem Schaden.
Quellenverzeichnis
- Tagesschau (September 2026): Mistral sammelt drei Milliarden Euro ein – die Milliarden-Runde, die Europa ein Wörtchen mitzureden gibt. tagesschau.de
- The Register (6. Oktober 2026): Mistral Large 4 „Le Chonk“ – das neue offene Großmodell aus Frankreich, mit offenen Gewichten (Open Weights). theregister.com
- Ars Technica (September 2026): Mozilla-Report – offene chinesische Modelle laufen der Spitze nur noch um Monate hinterher, bei rund einem Fünftel des Preises. arstechnica.com
- Digital in Asia (Juli 2026): Lambert/Interconnects – der Fähigkeits-Abstand zwischen den besten amerikanischen und den besten chinesischen Modellen wird auf drei bis fünf Monate geschätzt. digitalinasia.com
- CSIS: Chinas offene Gewichte als Herausforderung der US-Führung – die Analyse zu den offenen Gewichten. csis.org
- Gibson Dunn: EU-Digital-Omnibus – die Hochrisiko-Fristen der europäischen KI-Verordnung werden auf Ende 2027/2028 verschoben. gibsondunn.com
- DefenseScoop (1. Mai 2026): Acht KI-Firmen für den Einsatz auf klassifizierten Pentagon-Netzen; ein Labor wurde ausgeschlossen, nachdem es die Nutzung seiner Modelle für bestimmte Einsatzfälle verweigert hatte. defensescoop.com
- +972 Magazine (April 2024): The Lavender Machine – die Systeme, die im Gazakrieg Ziele suchen und Menschen als Ziele markieren. 972mag.com
- Ars Technica (Juni 2026): Vollautonome Drohnen haben russische Soldaten getötet – als einmaliger Test deklariert. arstechnica.com
- CSIS: Ukraines KI-fähige autonome Kriegsführung – die Zeit vom Aufspüren bis zum Töten (Kill Chain) sinkt; die Technik sitzt als Standard auf den Drohnen. csis.org
- Foundation for American Innovation: Die Volksbefreiungsarmee nutzt offene westliche Modelle und eigene. thefai.org
- arXiv 2412.00586 (Universität Buffalo, Dezember 2024): Vollautomatische Betrugskampagne (Spear Phishing), an echten Menschen geprüft – 88 von 100 Zielfiguren korrekt, um bis zum Faktor 50 billiger als handgemacht; die Sicherungen waren kein nennenswertes Hindernis. arxiv.org
- Qi et al. (2023): Zehn gezielt gebaute Beispiele treiben einem Modell das Sicherheitstraining (Alignment) aus – Kosten unter 0,20 Dollar (Fine-Tuning). github.com
- TechCrunch (3. September 2026): Abliteration – das Entfernen der Sicherungen (Guardrails) ist zum Geschäftsmodell geworden. techcrunch.com
- West Point CTC: Guardrails Under Test – die ernsteste Kurzzeitgefahr kommt von kleinen, entschlossenen Gruppen, nicht von der Maschine. ctc.westpoint.edu
- RAND: Sicherung von Modell-Gewichten – der Diebstahl der Gewichte von Grenzmodellen (Frontier Models) ist ein Risiko, kein geschehenes Faktum. rand.org
- Wikipedia: Die US-Luftfahrtregulierung ab 1926 (Air Commerce Act) – mehr als zwanzig Jahre nach dem ersten Motorflug. en.wikipedia.org
- NTSB Safety Compass: How Tragedy Led to Trust – wie die Untersuchung der Abstürze zum Amt wurde, aus dessen Tragödien das Vertrauen von heute wuchs. safetycompass.wordpress.com
- SIL Safe: Probable Loss of Life (PLL) – das Fachmaß der Sicherheitsforschung: die Zahl der Toten, die man für eine Anlage oder Tätigkeit pro Jahr erwartet (Fachbegriff zu Absatz 15). silsafe.net
Reihe über künstliche Intelligenz · Teil 5 von 5
- Als die Maschine plötzlich mehr konnte
- Was passiert gerade mit KI?
- Warum die Modelle so handeln, wie sie handeln
- Superintelligenz, ja oder nein
- Wie man die Gefahren von KI einhegt – dieser Artikel
Weiterdenken
Artikel teilen
Vorschlag für Instagram / Facebook (Caption zum Kopieren):