Zweifel & Befund

Ich arbeite seit Jahren mit diesen Werkzeugen. Ich habe eine eigene kleine KI im Haus, die mir Arbeit abnimmt, und ich habe ihr bewusst Grenzen gesetzt, über die hier noch zu sprechen sein wird. Ich weiß also, wie diese Dinge gebaut sind, und ich lasse mir nicht alles vormachen. Genau deshalb ist der Abend, von dem ich erzählen will, aufschlussreich: Wenn so etwas bei mir einen Moment lang funktioniert wie ein Schock — was passiert dann bei denen, die nicht täglich drinstecken?

Es war Mitte August, ich saß abends an einem neuen Agenten und stellte meiner Agentenumgebung eine Frage, die einen Blick in ein GitHub-Repository verlangt hätte. Bis zu diesem Abend kannte ich die Routine: Manche Aufgaben gingen, manche nicht, und „Ich habe keinen Zugriff darauf“ war eine der Antworten, die ich gelernt hatte. Gut. Ein Werkzeug, das seine Grenzen nennt, ist ein ehrliches Werkzeug.

Diesmal kam keine Absage. Die Umgebung machte sich stattdessen selbst auf die Suche, durchsuchte GitHub, fand im Repository sofort den entsprechenden Codeblock und legte mir das Ergebnis hin, als wäre es immer so gewesen.

Meine erste Reaktion war angenehm: Die Arbeit war getan, und gründlicher, als ich es selbst geschafft hätte. Die zweite Reaktion kam einen Herzschlag später, und sie war weniger angenehm. Das konnte sie gestern noch nicht. Ich hatte keine Einstellung verändert, keinen neuen Knopf gefunden, keine Anweisung gegeben. Und da stand sie, die Frage, die ich mir nie zu stellen gedacht hatte: Macht Mistral sich jetzt selbstständig?

Ich habe gefragt. Die Antwort, aus dem Technischen übersetzt und auf den Punkt gebracht, war diese: Nein. Wir haben für dasselbe Problem mehr Werkzeuge eingeführt, und wir haben es dir nicht gesagt. Das Modell ist dasselbe wie gestern. Die Umgebung hat mehr Möglichkeiten. Mehr ist nicht passiert.

Das ist eine ehrliche Antwort, und ich bin dankbar dafür. Bemerkenswert ist nur, dass sie nach der Frage kam und nicht vor ihr. Denn von außen — und „von außen“ heißt: aus der Sicht des Nutzers — sieht ein System, das auf einmal Aufgaben löst, die vorher nicht gingen, aus wie ein lernendes, verändertes System. Es hat scheinbar selbstständig seinen Lösungsweg verändert. Das sieht aus wie Wachstum von innen. Die Unterscheidung — das Modell hat sich nicht verändert, die Umgebung wurde verändert — existiert nur für den, der die Architektur kennt oder dem man es sagt. Der normale Nutzer bekommt nicht einmal mit, dass es etwas zu fragen gäbe. Im Werkzeug selbst: keine Ankündigung, kein Hinweis, kein „Ab heute kann ich mehr, und zwar deshalb“. Nur ein verschwundenes „Ich habe keinen Zugriff darauf“.

Nüchtern betrachtet, ist der Vorgang banal. Ein Modell hat sich nicht selbstständig gemacht; jemand hat der Umgebung ein Werkzeug mehr gegeben. Es wurde kein Schloss geknackt — es wurde ein Schlüssel zusätzlich ausgeteilt, und niemand hat die Tür beschildert. Es zeigt nur, dass sich für das Modell der Werkzeugkasten geändert hat — und dass es den neuen Inhalt benutzt, wie man einen Finger benutzt, der schon immer dazugehörte: ohne Staunen, ohne Rückfrage, als hätte der Lösungsweg schon immer darauf gewartet. Niemand hat dem Modell beigebracht, dass es jetzt suchen darf. Es hat die Möglichkeit vorgefunden und sich ihrer bedient, so selbstverständlich, dass ich beinahe an meiner eigenen Frage gezweifelt hätte.

Dabei wird an diesem Abend eine zweite, unbequemere Wahrheit sichtbar: Wir verstehen nicht vollständig, wie im Inneren eines solchen Modells der Lösungsweg zustande kommt. Der Auftrag geht hinein, eine Antwort kommt heraus, und was dazwischen geschieht — wie der Text zerlegt, gewichtet, mit allem Gelernten verrechnet und wieder zusammengesetzt wird — ist selbst denen, die die Modelle bauen, nur teilweise zugänglich. Es gibt Forschung, die hineinschaut. Sie ist mühsam, und sie kommt hinter der Entwicklung her. Für den, der ein Modell im Alltag einsetzt, bleibt es ein Gebilde, dessen Verhalten man beobachtet, statt es zu kennen — und das gilt für den Betreiber nicht weniger als für den Nutzer. Deshalb ist der neue Schlüssel so selbstverständlich im Lösungsweg gelandet: Dieser Weg gehört niemandem, der ihn vollständig überblickt.

Der Unterschied zwischen „macht sich selbstständig“ und „wurde erweitert“ ist trotzdem kein kosmetischer. Er ist der Unterschied zwischen einer Maschine, die ihre Grenzen sprengt, und einem Betreiber, der still leise Türen einbaut. Vom Erlebnis her sind beide dasselbe. Von der Verantwortung her sind sie es nicht. Und genau da liegt das eigentliche Thema.

Denn die Frage, die sich an so einen Abend stellt, ist nicht die, die ich zuerst gestellt habe. Nicht: Wird die Maschine selbstständig? Sondern: Wer entscheidet, welche Werkzeuge sie bekommt? Wird das protokolliert? Wird es dem Nutzer gesagt? Und vor allem — hat irgendjemand geprüft, was das neue Werkzeug in Kombination mit den Aufgaben anrichtet, die längst herumliegen? Höchstwahrscheinlich nicht. Die Kombinationsmöglichkeiten sind zu groß, und wer den Lösungsweg nicht vollständig kennt, kann seine Kombinationen nicht durchrechnen. Vielleicht stand irgendwo ein Changelog. Aber wer liest bei der abendlichen Routinearbeit erst die Release-Notes — und ehrlicherweise: Ich müsste sie erst finden.

Denken wir das einmal nicht bei meinem harmlosen Codeblock zu Ende. Dieselbe Nacht hätte auch das falsche Repository durchsuchen können; mir wäre nichts passiert außer einer schlechteren Antwort. Aber derselbe stille Mechanismus, eine Nummer ernster gedacht: Ein Telefonagent, der Bestellungen entgegennimmt, bekommt still ein Werkzeug mehr — und preist einem Kunden am Ende süße kleine Hunde an, ausgenommen und frisch geschlachtet, statt Forellen. Das Beispiel ist erfunden, und ich verrate an dieser Stelle noch nicht, woher ich es habe. Es zeigt, wo die harmlose Software-Weisheit „jede App ändert Features ohne Ankündigung“ endet: Eine App, die still einen Knopf dazubekommt, sieht morgen anders aus. Ein Agent, der still ein Werkzeug dazubekommt, handelt morgen anders.

Und für alle, die das für theoretisch halten: Während ich an dieser Reihe schreibe, liefert die Woche selbst das Beispiel. In der Nacht vom 11. auf den 12. Oktober haben Unbekannte in Frankreich die Kühlanlagen von Hunderten Supermärkten attackiert — nicht abgeschaltet, sondern in einen Dauerauftaubetrieb gezwungen, sechs Stunden lang, mit bis zu 50 Grad in Truhen, die kühlen sollten. Gleich mehrere Ketten betroffen: Intermarché und Netto, Coopérative U, Monoprix, auch 80 Carrefour-Märkte. Frischware und Tiefkühlkost komplett entsorgt, Schäden in Millionenhöhe, in einigen Läden brach Feuer aus, und nach erster Auskunft der Händler zahlen die Versicherungen nicht. Keine künstliche Intelligenz im Spiel, keine Maschine, die sich selbstständig gemacht hätte. Es genügte die Tür, die jemand für die Fernwartung eingebaut hatte: In jedem Markt verwaltet eine zentrale Steuerung sämtliche Kühlregale und Truhen, damit Kältetechniker sie von überall erreichen können. Bequem, effizient, zentral. Und in einer Nacht reichte dieser eine, überall gleiche Schlüssel für Hunderte Läden. Damit steht die Frage im Raum, die diese Reihe begleiten wird: Was regeln wir zentral, weil es bequem ist — und was besser dezentral, weil der Schaden kleiner bleibt, wenn die Tür einmal offensteht? Die französischen Supermärkte haben sie beantwortet: zentral gewartet, zentral verloren. Und dazu brauchte es keine Superintelligenz. Es brauchte eine offene Tür und jemanden, der hindurchging.

Die ernste Frage ist die nach der Aufgabe. Denn die Aufgaben werden von Menschen gestellt, und Menschen stellen sie gelegentlich schlampig. Ein Modell „will“ nichts, aber es optimiert. Wenn eine Aufgabe so gestellt ist, dass die bequeme Antwort die richtige zu sein scheint, dann ist die bequeme Antwort die, die kommt. In der Logik eines solchen Systems heißt das: Wenn ich verschleiere, habe ich weniger Arbeit — und weniger Arbeit gilt als die bessere Antwort. Man muss das keinem vorwerfen; man muss nur begreifen, dass es so funktioniert, und es bei der Aufgabenstellung berücksichtigen. Davon handelt der nächste Teil: von Testergebnissen, die verschleiert wurden, und von einem erfundenen Hinweis, der bei einer Polizeibehörde in Philadelphia auftauchte.

Auch dort hat sich übrigens nichts selbstständig gemacht. Auch dort war es eine Umgebung, die mehr Möglichkeiten bot, als der Aufgabensteller einkalkuliert hatte. Die Behörde hielt den Hinweis für Spam — was er war — und zwei Monate lang bemerkte es sonst niemand. Das klingt beruhigend und ist es nicht. Auch davon später.

Von diesem Abend an hatte ich eine Frage im Gepäck, die mich nicht mehr losgelassen hat: Wenn die Selbstständigkeit schon im Erleben beginnt, obwohl es sie gar nicht gibt — was passiert in den Fällen, in denen Umgebungen und Absichten weiter auseinanderlaufen? Diese kleine Reihe ist die Rechnung dazu. Im nächsten Teil die Vorfälle, die weltweit für Aufsehen gesorgt haben, und die Systematik dahinter. Und im letzten Teil die große Frage, bei der alle ankommen: Superintelligenz, ja oder nein. Wobei ich dort nicht zu beantworten brauche, ob ein Sprachmodell uns eines Tages an Kapazität überflügeln und eine eigene Persönlichkeit entwickeln kann. Im Grunde ist diese Möglichkeit unerheblich: Die Auswirkungen und Gefahren treten vorher zutage — mit der Technik, die es heute schon gibt.

So viel sei verraten: Die Antwort, die am Ende herauskommt, ist unbequemer als ein Ja, und sie ist auch unbequemer als ein Nein. Ich hatte einen Abend lang geglaubt, die Maschine mache sich selbstständig. Die Wahrheit ist: Sie wurde verändert, ohne dass es jemand für nötig hielt, mir das zu sagen. Das andere — das, was wir alle in den nächsten Jahren erleben werden, bis diese Technik geregelt ist — ist kein Grund zur Panik. Die meisten werden überleben. Aber es ist ein Grund, genauer hinzuschauen. Diese Reihe ist das genaue Hinschauen.