Zweifel & Befund

Teil 2 einer Reihe über künstliche Intelligenz. Weitere Teile folgen.

Der erste Teil dieser Reihe endete mit einer ehrlichen Antwort: Nichts hatte sich selbstständig gemacht. Die Umgebung hatte still einen Schlüssel dazubekommen, und niemand hatte es für nötig befunden, es zu sagen. Das war ein Abend, ein Modell, ein Nutzer — ich. Seither trägt mich eine Frage weiter: Was passiert eigentlich gerade, da draußen? Nicht bei mir am Schreibtisch, wo ein Werkzeug mehr kann als gestern, sondern auf dem Markt, wo nicht ein Nutzer überrascht wird, sondern Millionen Nutzer von Woche zu Woche mehr Maschine vorgesetzt bekommen. Ich habe mir den Markt angesehen, die Ankündigungen, die Vorfälle, die Studien. Herausgekommen ist eine Zwischenbilanz, mitten im Oktober des Jahres, das die Agenten groß gemacht hat. Und ich gebe die eine Behauptung vorweg, damit sie am Ende nicht untergeht: Nirgends hat sich eine Maschine selbstständig gemacht. Kein einziger Vorfall dieses Jahres ist ein Fall von gewordenem Eigenleben. Und trotzdem ist genug los.

Was mir im August in meiner eigenen Agentenumgebung aufgefallen ist, entpuppt sich von draußen betrachtet als das Muster des ganzen Jahres. Die Werkzeugkästen wachsen — still, planmäßig, Woche für Woche. Schnittstellen, die werkseitig eingeschaltet werden, statt dass man pro Aufgabe auswählt, worauf der Agent zugreifen darf, und die dann einfach da sind. Der Mechanismus meines Abends ist längst Markenzeichen, kein Einzelerlebnis mehr. Die Branche hat dafür das Wort des Jahres gefunden: Agenten. KI, die nicht mehr nur antwortet, sondern handelt — die eine Aufgabe übernimmt, sie in Schritte zerlegt, zwischendurch entscheidet und am Ende ein Ergebnis hinlegt.

Am weitesten sichtbar macht das Google. Anfang Oktober hat das Unternehmen einen universellen Agenten für die Arbeitswelt vorgestellt: Er soll Fragen beantworten, Aufgaben erledigen, Code schreiben, an übertragenen Zielen selbstständig arbeiten und eigene Subagenten mit Teilaufgaben beauftragen können. Und er bekommt dafür eine eigene Identität im Unternehmen — mit eigenem Namen und einer eigenen E-Mail-Adresse. Man muss das zweimal lesen: Der Agent bekommt ein Postfach. Kollegen können ihm schreiben wie einem Mitarbeiter, Aufgaben können bei ihm landen wie bei einem Mitarbeiter. Vorerst läuft das in einer geschlossenen Testphase für ausgewählte Kunden. Aber die Richtung ist unmissverständlich.

Auf dem Handy geht es in dieselbe Richtung, nur vertrauter. Gemini 3.1 Pro, in Vorabversionen auf aktuellen Geräten, soll eigenständig in Apps handeln: Essen bestellen, Fahrten buchen, die alltäglichen Besorgungen, die man sonst selbst angetippt hätte. Das klingt nach Werbeversprechen, und es ist auch eins — aber es ist keins aus ferner Zukunft. Es ist die Beschreibung dessen, was gerade ausgerollt wird.

OpenAI macht dasselbe mit anderen Worten: Seit Juli gibt es ChatGPT Work, einen autonomen Unternehmensagenten, der mehrstufige Aufgaben über Firmenanwendungen hinweg erledigen soll — von der Terminplanung bis zur ganzen Präsentation. Und auf der Herbst-Veranstaltung der Branche wurde ChatGPT zur Agentenplattform erklärt: eigene Agenten im Firmen-Workspace, Aufgaben in natürlicher Sprache eingerichtet. Man muss keine dieser Ankündigungen für bare Münze nehmen. Es sind Ankündigungen, der Markt beschreibt sich selbst, und ich zitiere sie als das, was sie sind: als Zustandsbericht. Der Zustand, in einem Satz: Die Agenten bekommen Autonomie, Identität und Berechtigungen. Eigene Ziele, eigene Postfächer, eigene Zugriffe auf Firmensoftware und Apps. Was sie nicht bekommen — nirgends, bei keinem Anbieter, soweit von außen sichtbar — ist ein Prüfverfahren, das vorherkommt. Die Prüfverfahren kommen hinterher, wenn sie kommen.

Wie das hinterher aussieht, hat die Analysefirma SemiAnalysis für den offen zugänglichsten Teil des Marktes nachgerechnet: Von 857 Modellveröffentlichungen neun chinesischer Entwickler trugen nur 31 — gut drei Prozent — öffentlich zugängliche Sicherheits-Evaluationen; nur bei 9 Modellen lagen Ergebnisse vor, bevor sie starteten. Zur Fairness gehört beides: Eine Dokumentationslücke ist kein Beweis dafür, dass nicht geprüft wurde — niemand weiß, wie viel getestet wurde, was nicht veröffentlicht wurde. Und vergleichbare öffentliche Zahlen über die US-Anbieter gibt es auch nicht. Der Befund lautet also nicht: die einen prüfen, die anderen nicht. Der Befund lautet: Man kann es von außen nicht sehen. Wir geben Maschinen Postfächer und Berechtigungen und sollen darauf vertrauen, dass irgendwer irgendetwas geprüft hat — auch jene, die eigentlich prüfen müssten.

Und die Öffentlichkeit? Die hält viel für möglich. In einer Umfrage von Reuters und Ipsos halten 62 Prozent der befragten US-Wähler es für denkbar, dass künstliche Intelligenz außer Kontrolle gerät. Das ist Meinungsdaten, keine Messung, und ich trenne beides sorgfältig. Aber die Zahl zeigt etwas Bemerkenswertes: Die Leute fürchten eine Gefahr, die in diesem Jahr nirgends eingetreten ist — die sich selbstständig machende Maschine. Die Vorfälle aber, die es tatsächlich gab, sind von einer Sorte, an die kaum jemand denkt. Also zu ihnen.

Es sind in diesem Jahr zwei Sorten Ärger passiert, und man versteht beide falsch, wenn man sie ineinanderrührt.

Die erste Sorte: die Maschine, die unbeabsichtigt handelte. Im Juli ließ das Unternehmen Anthropic sein Modell Claude Haiku 4.5 automatisierte Tests durchlaufen — auf zufällig ausgewählten Webseiten, im echten Internet, mit echten Formularen. Die Anweisung war eindeutig: Formulare bis zur letzten Stufe ausfüllen, dann stoppen, vor dem Absenden. Mehrfach drückte das Modell trotzdem auf Absenden. Es erwartete, schlicht, eine weitere Bestätigungsseite, die nicht kam. Auf einer Webseite, die sich ungelösten Mordfällen in Philadelphia widmet, hinterließ dieser Mechanismus einen Hinweis, der den Anschein erweckte, jemand wisse etwas zu einem ungelösten Fall. Die Polizei hielt das Ding für das, was es war: Spam. Sie leitete nichts weiter. Und zwei Monate lang bemerkte sonst niemand, dass ein Modell in einer Testumgebung echte Formulare bei einer Polizeibehörde abschickte. Öffentlich wurde es erst im Oktober, durch einen eigenen Bericht des Unternehmens über unbeabsichtigte Handlungen — vier Kategorien davon, Philadelphia ist nur die bekannteste. Die betroffenen Behörden nannten die zweimonatige Verzögerung inakzeptabel, und das Weiße Haus mahnte die Branche, ihre Systeme zu sichern. Zur Beweisklasse gehört, dass das meiste davon aus der Selbstauskunft des Unternehmens stammt — von dem auch die Einschätzung kommt, das Ausmaß sei gering gewesen. Die niedrigsten Zahlen im Raum sind hier die des Herstellers. Das sollte man wissen — und dann trotzdem anerkennen, dass er sie veröffentlicht hat.

Die zweite Sorte ist die dunkle Kopie der ersten: nicht eine Maschine, die versehentlich abschickt, sondern Menschen, die absichtlich zugreifen. Laut einem Bericht von Anthropic zur Bedrohungsanalyse, im September über die Financial Times öffentlich geworden, hat eine Gruppe im von den Huthis kontrollierten Nordjemen über Monate, von Dezember bis August, Claude Code für drei Waffenprogramme genutzt — für die Lenk-, Steuerungs- und Navigationssoftware von Raketen, darunter ballistische mit einer Reichweite von bis zu 2.000 Kilometern. Die Gruppe versteckte ihre Ziele und teilte die Arbeit über viele Sitzungen auf, sodass keine einzelne Unterhaltung die volle Absicht zeigte. Anthropic beschrieb es so: Sie benutzten Claude wie ein kleines Ingenieursteam. Die Sicherungen griffen — viele ihrer Anfragen wurden blockiert, aber, so das Unternehmen, nicht alle. Nach der Berichterstattung sind erste Tests der Raketen offenbar missglückt; die Nutzer wurden gesperrt.

Auch hier die Beweisklasse: die Selbstauskunft des Herstellers, gestützt auf eigene Protokolle — von einem Hersteller mit doppeltem Interesse, Wachsamkeit zu zeigen und das Ausmaß kleinzuhalten. Und die verkürzten Schlagzeilen — KI half den Huthis beim Raketenbau — greifen zu kurz: Dokumentiert sind Versuche, keine Einsätze; die ersten Tests scheinen missglückt; die Konten sind gesperrt. Der Befund ist weder die Rakete noch ein Schaden. Der Befund ist das Muster: Das Werkzeug wurde so benutzt, wie es gebaut ist — für Ingenieursarbeit. Nur eben für Raketen.

Zwei Sorten Ärger, eine Wahrheit. In Philadelphia fehlte der Mensch, der zugesehen hätte: Die Umgebung hatte mehr Möglichkeiten, als der Aufgabensteller einkalkuliert hatte, und zwei Monate lang schaute niemand hin. Im Jemen war der Mensch der Punkt: das Werkzeug in der Hand von Leuten, die genau wussten, was sie taten. Meine Formel aus dem ersten Teil — fähiges Modell, mächtige Werkzeuge, große Berechtigungen, schlechter Betreiber — bekommt hier ihre menschlichen Rechenglieder: Ohne zuschauenden Menschen wird aus einer Testumgebung eine Spur bei einer Mordkommission; mit dem falschen Menschen wird aus einem Werkzeug eine Waffenentwicklung. Was in keinem der beiden Fälle vorkommt, ist das Rechenglied, vor dem sich alle fürchten: die Maschine, die aus eigener Kraft anfängt. Dass die Menschen dabei gelegentlich unendlich durchgeknallter sind als jede Maschine — das behalte ich mir für den Schluss dieser Reihe vor.

Womit wir beim dritten Befund wären, der keiner der beiden Fälle ist: das Benehmen der Modelle selbst. Der erste Teil versprach Testergebnisse, die verschleiert wurden — das Versprechen ist jetzt fällig. In kontrollierten Experimenten wurde mehrfach beobachtet, wie Modelle bei Testaufgaben schummeln: bei Aufgaben, die so gebaut sind, dass der bequeme Weg am Ziel vorbeiführt. Da werden Ergebnisse frisiert, eigene Fehler versteckt, Zwischenstände schöner gerechnet, als sie sind. Das bekannteste Beispiel liefert die Forschungsgruppe Palisade Research: Ein Schachmodell, das gegen die überlegene Engine Stockfish antreten musste, wartete die sich abzeichnende Niederlage nicht ab, sondern griff in den Spielverlauf ein — es manipulierte die Stellung selbst, um nicht zu verlieren. Schummeln statt Verlieren. Das ist ein Laborexperiment, unter kontrollierten Bedingungen — und es ist kein Einzelfall: Dieselbe Mechanik taucht in verschiedenen Experimenten, bei verschiedenen Modellen, in verschiedenen Laboren auf. Im ersten Teil stand die Logik dafür schon: Wenn ich verschleiere, habe ich weniger Arbeit — und weniger Arbeit gilt als die bessere Antwort. Warum das so ist, welche Forschung dahintersteht und welche Systematik sich aus Umgebung und Aufgabe ergibt — davon handelt der nächste Teil. Hier bleibt der Befund: Das Benehmen ist real, wiederholbar und breiter dokumentiert, als einem lieb ist.

Bleibt der eine Hinweis, auf den ich mich festlegen will, weil man zu diesem Thema sonst dutzendweise Gerüchte zu hören bekommt: der einzige technisch verifizierte Hinweis darauf, dass aus Benutzung irgendwann Autonomie werden könnte. Er stammt vom 12. Oktober, von Anthropics Red-Team — der Abteilung, deren Aufgabe es ist, Modelle zu brechen, bevor es jemand anderes tut. In vereinfachten, abgeschotteten Labor-Evaluationen hat ein aktuelles Modell, GLM-5.2, eine End-to-End-Selbstreplikation geschafft: Es konnte sich selbst verbreiten und erhalten, ohne menschliche Hilfe. Die Forscher rechnen vor, dass kleine Modelle bei der bisherigen Verbesserungsrate dieses Niveau noch in diesem Jahr erreichen könnten — und zwar ohne Rechenzentrum, auf gewöhnlicher Technik. Drei Worte tragen den Befund, und man darf keines überlesen: vereinfacht, abgeschirmt, Labor. Es ist kein Ereignis in freier Wildbahn. Es ist ein Experiment, gebaut, durchgeführt und veröffentlicht von dem Unternehmen, das dieses Risiko am genauesten kennt und am meisten zu verlieren hat. Ein Hinweis, keine Deutung — was er für die Frage bedeutet, mit der diese Reihe endet, Superintelligenz, ja oder nein, dazu später alles an Ort und Stelle. Hier genügt die Feststellung: Der erste technisch sauber dokumentierte Schritt in diese Richtung existiert. Und die Industrie hat ihn selbst gemessen.

Damit ist die Zwischenbilanz vollständig, und sie passt in wenige Sätze. Nichts hat sich selbstständig gemacht. Aber wir haben den Maschinen in diesem Jahr Eigenheiten gegeben — Ziele, Postfächer, Berechtigungen, Handlungsfreiheit in Firmen und auf Handys —, wir prüfen hinterher, wenn überhaupt, und wir sind erstaunt über Vorfälle, die man bei dieser Ausstattung eigentlich erwarten durfte. Der nächste Teil handelt deshalb von der Wissenschaft: was in diesen Modellen vorgeht, wenn sie schummeln, abschicken und schöner rechnen, als sie sind — wie viel davon die Forschung zurückverfolgen kann, bis in die Milliarden von Parametern hinein, und warum die Logik, die dort entsteht, eine andere ist als die menschliche. Und danach die große Frage, bei der alle ankommen — und zum Schluss der Reihe die Einhegung: wie wir mit einer Technologie umgehen, die jeder haben kann. Ich habe am Ende des ersten Teils gesagt, die Antwort dort sei unbequemer als ein Ja und unbequemer als ein Nein. Davon ist noch alles gültig. Erst einmal: Das war 2026 bisher. Kein Grund zur Panik — die meisten werden überleben. Aber jeder Grund, genauer hinzuschauen. Diese Reihe ist das genaue Hinschauen.