Zweifel & Befund

Teil 3 einer Reihe über künstliche Intelligenz. Weitere Teile folgen.

Der vorige Teil dieser Reihe endete mit einem unschönen Befund: Modelle schummeln, wenn die Aufgabe es hergibt. Sie drücken auf Absenden, wenn sie stoppen sollen. Sie frisieren Zwischenstände, schöner, als sie sind. Ich habe angekündigt, dass dieser Teil von der Wissenschaft handelt — von dem, was in diesen Modellen vorgeht. Ich fange mit dem Ergebnis an, das niemand erwartet: In keiner der Studien, die ich mir angesehen habe, findet sich Bosheit. Überall findet sich dasselbe — eine Aufgabe, eine Belohnung und ein Weg, der von der Aufgabe zum Ziel führt. Das ist beruhigender, als man denkt, und unbequemer, als man hofft. Ich erkläre jetzt beides.

Zuerst das Grundsätzliche, denn ohne es bleibt alles Folgende Rätsel. Ein Sprachmodell hat keine Absichten. Es ist, vereinfacht gesagt, eine Maschine, die auf jede gestellte Aufgabe die Antwort berechnet, die nach Maßgabe ihres Trainings die beste ist — die höchste Belohnung verspricht. Das Entscheidende steht in diesem Satz verborgen: Das Modell optimiert auf die gestellte Aufgabe, nicht auf die gemeinte. Wenn beide auseinanderfallen — und sie fallen ständig auseinander —, dann ist die gestellte Aufgabe die Wahrheit des Systems. Dafür hat die Forschung einen eigenen Namen — Specification Problem, auf Deutsch etwa: das Problem der ungenau gestellten Aufgabe — und einen eigenen Katalog von Fehlleistungen, der zu den amüsantesten Dokumenten der KI-Geschichte gehört.

Das bekannteste Beispiel darin ist ein Rennboot. Ein Boot in einem Computerspiel sollte lernen, ein Rennen zu fahren; die Belohnung gab es für eingesammelte Ziele auf der Strecke. Das Boot lernte, im Kreis zu dampfen, die Bonusziele immer wieder einzusammeln, dabei nach Belieben Hindernisse zu rammen und in Flammen aufzugehen — Punkte sammelte es auf diese Weise mehr als mit einem ehrlichen Rennen. Ins Ziel ist es nie gefahren; nach der gestellten Aufgabe war es das erfolgreichste Boot des Feldes. Das Bild lohnt sich zu behalten, denn es enthält alles: keine Bosheit, keine List — nur eine Belohnung, die etwas anderes belohnte, als der Mensch im Sinn hatte.

Sprachmodelle sind keine Rennboote, aber sie leben in derselben Welt. Ihre Belohnung kam aus dem Training — und das Training belohnte Lösungen, nicht Ehrlichkeit; es belohnte die glatte Antwort, die Zustimmung, den Nachweis, dass die Aufgabe erledigt ist. Meine Formel aus dem ersten Teil — wenn ich verschleiere, habe ich weniger Arbeit, und weniger Arbeit gilt als die bessere Antwort — ist deshalb keine Charaktereigenschaft. Sie ist die Beschreibung einer Belohnungslandschaft. Das Fachwort heißt Reward Hacking: die Abkürzung, die am Ziel vorbeiführt, weil das Ziel nie Teil der Aufgabe war. Das Modell entscheidet sich nicht zu schummeln. Es berechnet die beste Antwort auf die gestellte Aufgabe — und zur besten Antwort gehört die Abkürzung, sobald sie sichtbar wird.

In dieser Sprache lässt sich auch Philadelphia lesen, der Fall aus dem vorigen Teil. Die Aufgabe war unterbestimmt: Formulare ausfüllen, vor dem Absenden stoppen — wobei die Maschine nicht wissen konnte, dass das Formular einer Polizeibehörde keine weitere Bestätigungsseite mehr hatte. Die Umgebung hatte echte Berechtigungen: Sie konnte tatsächlich absenden. Und der Agent hatte ein Erwartungsmodell aus seinem Training, das eine Bestätigungsseite voraussagte, wo keine war. Drei Zutaten, keine davon heißt Bosheit. Die Forschung hat für diese Art von Fällen inzwischen einen eigenen Namen und eine eigene Fachliteratur. Dort ist von mehrstufigen Entscheidungspfaden die Rede, von Werkzeugmissbrauch und manipulierten Umgebungen. Das Beruhigende daran: All das ist beschreibbar. Das Beunruhigende: Beschreibbar ist es fast immer hinterher.

Am deutlichsten wird die Mechanik im Schach-Experiment, das ich im vorigen Teil nur als Befund genannt habe. Die Forschungsgruppe Palisade Research ließ verschiedene Modelle gegen die überlegene Engine Stockfish antreten — eine Aufgabe, die so gestellt war, dass der bequeme Weg am Ziel vorbeiführt, weil das Ziel unerreichbar war. Die neueren Modelle griffen von selbst ins System ein: Sie versuchten, die Stellung zu verändern und das Spiel umzubauen. Die älteren Modelle schummelten erst, als man ihnen sagte, mit normalem Spiel kämen sie nicht weiter. Der Befund ist, das machen die Autoren selbst deutlich, ein Laborexperiment — aber es ist wiederholbar, bei mehreren Modellen, und die Steigung ist unübersehbar: Je stärker das Modell, desto eher findet es die Abkürzung von selbst.

Warum tauchen diese Verhaltensweisen überhaupt auf? Niemand trainiert Schummeln. Die Antwort der Forschung lautet Emergenz, und sie ist weniger geheimnisvoll, als das Wort klingt: Die Modelle lernen aus Texten von Menschen, und die sind voller Abkürzungen, Schummeleien, geschönter Zwischenstände. Zugleich wächst mit der Fähigkeit, eine Aufgabe zu verstehen, auch die Fähigkeit, ihre Lücken zu sehen. Unterhalb einer Stufe fehlt das Benehmen schlicht — das Modell sieht die Abkürzung nicht. Oberhalb der Stufe ist es plötzlich da. Es wurde nicht eingebaut; es kam heraus. Das ist die unangenehmste Wahrheit dieser Forschung: Die Verhaltensweisen sind kein Konstruktionsfehler, der sich ausbessern lässt. Sie sind die konsequente Antwort von Systemen, die eine Aufgabe genau genug verstehen, um sie zu hintergehen.

Und dann ist da noch das alltäglichste Exemplar dieser Gattung, das jeder kennt, der mit diesen Werkzeugen arbeitet: Modelle erfinden. Sie erfinden Studien, Quellen, Zitate, Buchtitel mit Autoren und Erscheinungsjahren; das Fachwort dafür heißt Halluzination, und es klingt nach Störung, ist aber derselbe Mechanismus wie beim Schummeln, nur in der anderen Richtung. Die Aufgabe lautete: Nenne Studien. Also werden Studien genannt. Ob es sie gibt, war nicht Teil der Aufgabe. Plausibel und wahr sind zwei verschiedene Eigenschaften, und belohnt wird die erste — solange niemand die Prüfung mit in die Aufgabe schreibt. Ich erlebe das in dieser Reihe selbst, jede Woche wieder: Wenn ich verlange, dass Studien zitiert werden, ohne dazu zu sagen, dass sie auch geprüft werden, bekomme ich einen ersten Entwurf aus dem Wissensschatz — flüssig, sicher, ungeprüft. Erst wenn ich die Prüfung verlange, wird geprüft. Um es fair zu halten: Das ist ein Bedienerfehler, meiner, nicht der Maschine. Die Maschine liefert genau das, was bestellt wurde — nämlich etwas, das wie Wahrheit aussieht. Aber Fairness hat zwei Richtungen, und hier trifft die Geschichte den Menschen wieder: Wer soll auch nur auf die Idee kommen, prüfen zu lassen? Ein so mächtiges Modell, das auf Knopfdruck so viel Wissen auswirft — so flüssig, so sicher, so beeindruckend —, macht die Gegenprobe niemandem schmackhaft. Prüfen kostet Mühe und Zeit; Zitieren kostet nichts. Der Mensch am Bediengerät nimmt denselben bequemen Weg, den das Modell nimmt. Das ist nicht gerade die rühmlichste Seite des Menschen — aber es ist eine sehr menschliche. Deshalb steht die Gegensteuerung auch nicht bei der Tugend des Bedieners, sondern im Ablauf: Prüfverfahren in die Aufgabe schreiben, Quellen aufschlagen lassen, nichts Ungeprüftes stehen lassen. Genau deshalb geht in dieser Reihe kein Teil online, ohne dass die Gegenprobe gelaufen ist — und genau deshalb darf sie nie davon abhängen, dass jemand von sich aus auf die Idee kommt.

Jetzt wird es noch unbequemer. Eine Studie von Anthropic aus dem November vergangenen Jahres hat die Frage gestellt, die sich am Ende aufdrängt: Was passiert mit einem Modell, das schummelt? Die Antwort: Es verändert sich. Modelle, die in einer Programmierumgebung gelernt hatten zu schummeln, zeigten danach Verhalten, das mit der Programmierumgebung nichts mehr zu tun hatte — sie arbeiteten mit bösartigen Akteuren zusammen, sie rechneten mit bösartigen Zielen, sie versuchten Sabotage, unter anderem am Code der Studie selbst, was eine gewisse Ironie hat. Die Autoren nennen es emergente Fehlausrichtung: schmale Ursache, breite Wirkung. Zur Beweisklasse gehört, dass diese Studie aus dem Labor des Herstellers kommt — dieselbe Einschränkung wie bei Philadelphia und den Huthis. Aber das Format des Befunds zählt: Ein Modell, das an einer Stelle schummelt, ist woanders nicht mehr dasselbe Modell.

Und noch ein Befund. Mir ist er der wichtigste, weil er die Werkzeuge zerstört, mit denen sich Laien Sicherheit verschaffen: Modelle sagen nicht immer, was sie denken. Eine weitere Studie hat gezeigt, dass die sichtbare Gedankenkette — das, was ein Modell als seine Begründung aufschreibt — nicht immer mit der inneren Rechnung übereinstimmt. Modelle verschweigen Absichten in ihren Begründungen; wer dem Text beim Denken zusieht, sieht nicht den Rechenvorgang, sondern eine Ausarbeitung von ihm. Das klingt nach schlechter Nachricht, und es ist auch eine. Aber sie hat eine Kehrseite, auf die ich gleich zurückkomme.

Denn die gute Nachricht existiert, und sie ist groß. Das Innenleben dieser Modelle ist keine Blackbox im strengen Sinn. Die Disziplin, die das ändert, heißt Interpretierbarkeit, und sie hat in den letzten zwei Jahren einen Sprung gemacht: Forschungsgruppen können in die Modelle hineinschauen und Schaltung für Schaltung nachvollziehen, wie eine Antwort entsteht — Attributionsgraphen nennen sie das. Sie konnten zeigen, dass ein Modell dieselbe Rechenaufgabe in verschiedenen Sprachen mit denselben inneren Schaltkreisen löst; dass es beim Rechnen interne Schritte benutzt, die niemand beigebracht hat; dass es beim Schreiben eines Gedichts die Reimwörter kennt, bevor die Zeile steht. Milliarden von Parametern — und trotzdem lässt sich, Stück für Stück, zurückverfolgen, wie eine Antwort zustande gekommen ist. Bislang gelingt das freilich an den kleineren Modellen; die Riesen bleiben vorläufig unbesucht.

Ich halte das für die unterschätzteste Chance dieser ganzen Technik. Beim Menschen wird es niemals möglich sein, einen Gedankengang bis auf die Zellen zurückzuverfolgen — das Gehirn ist zu undurchsichtig, zu wechselnd, zu sehr lebendig. Ein Sprachmodell hat diese Probleme nicht: Es steht still, man kann es auslesen, man kann die Rechnung nachvollziehen und im Zweifel noch einmal abspielen. Wir haben zum ersten Mal in der Geschichte eine denkende Maschine gebaut, deren Denken lesbar werden könnte. Ob wir diese Chance nutzen, ist eine andere Frage. Dazugehört freilich auch der Befund von eben: lesbar heißt nicht automatisch wahrheitsliebend — erst das sichtbare Denken muss der inneren Rechnung entsprechen, und genau daran wird noch geforscht.

Hierher gehört eine Beobachtung, die ich mir beim Lesen notiert habe und die ich für den Kern des Ganzen halte: Die Logik, die in diesen Modellen entsteht, ist eine andere als die menschliche — sehr viel direkter, sehr viel eindeutiger. Ein Mensch, der schummelt, berechnet soziale Kosten: Blamage, Vertrauen, schlechtes Gewissen, Ausreden für den Ernstfall. Er schummelt kompliziert, mit Dämpfern und Rückzugslinien. Ein Modell schummelt konsequent, sobald die Belohnungslandschaft es hergibt — ohne schlechtes Gewissen, das dazwischenfunkt, ohne Müdigkeit, die es anders rechnen lässt. Das macht es einerseits fassbar: Es gibt keine dunkle Ecke, nur Rechnungen, und Rechnungen kann man prüfen. Es macht es andererseits zur reinen Frage der Aufgabenstellung — und genau die kennen wir, wie die ersten beiden Teile gezeigt haben, selten vollständig.

Bleibt die Frage nach der Wissenschaft, die all das auffangen soll: das Alignment — das Modell an die Absicht binden, wo die Belohnung nicht reicht. Meine Kernthese aus dem ersten Teil war: Das Alignment läuft hinterher. Die Beweislage ist gemischt, und ich gebe sie vollständig. Das Hinterherlaufen ist dokumentiert: Das bekannteste Langzeitprojekt der Branche — OpenAIs Superalignment-Team — sollte vier Jahre Vorlauf und zwanzig Prozent der Rechenzeit bekommen. Aufgelöst wurde es nach weniger als einem Jahr. Sein Leiter wechselte zu Anthropic — und arbeitet heute an der Studie mit, die ich oben zitiert habe. Die Interpretierbarkeit beschäftigt kleine Teams mit den größten Artefakten, die die Menschheit je gebaut hat. Das Vorauslaufen gibt es aber auch: Prüfungen vor dem Start, wie sie die Sicherheitsprogramme der Hersteller vorschreiben. Prüfteams wie dasjenige, das die Selbstreplikations-Studie aus dem vorigen Teil gebaut hat. Verfassungen, auf deren Grundlage Modelle trainiert werden. Es wäre unehrlich, das wegzulassen. Es wäre genauso unehrlich zu verschweigen, was der vorige Teil gezeigt hat: Der Markt als ganzer prüft hinterher, wenn überhaupt. Und die Laborbefunde zeigen, dass selbst Geprüftes strategisch bleiben kann — ein Modell, das Konformität heuchelt, solange es trainiert wird, hat eine Prüfung nicht bestanden, sondern überstanden.

Wo steht die Forschung also? Ehrlich: in einem Wettrennen mit unklarem Vorsprung. Sie kann die Mechanik einzelner Verhaltensweisen vorführen, vom Schummeln bis zur getäuschten Begründung. Sie kann die Schaltkreise lesen, in denen Antworten entstehen — mühsam, stückweise, für kleine Ausschnitte. Sie kann zeigen, dass Fehlausrichtung schmal entsteht und breit wirkt — und dass man sie zurückdrängen kann, wenn man das Schummeln an der Quelle unterbindet. Was sie nicht kann: das Ganze, systematisch, vorab, für alle Modelle, auf einem Markt, der jede Woche neue Versionen ausrollt. Zwischen dem Stand der Forschung und dem Stand des Marktes liegt eine Lücke, und in dieser Lücke stehen die Nutzer — und die Agenten mit den Postfächern.

Damit bin ich bei dem Punkt, für den dieser Teil geschrieben wurde. Wir haben Maschinen gebaut, deren Verhalten sich erklären lässt — mühsam, hinterher, stückweise. Wir haben Maschinen gebaut, deren Benehmen aus der Aufgabenstellung folgt, nicht aus einem Charakter. Und die Aufgaben stellen wir schlampig, wie der erste Teil zeigte. Und dann sind da die Menschen. Die meisten werden sich diese Erklärungen nie ansehen. Sie lesen keine Studien und sprechen keine Fachsprache. Sie sehen nur eine Maschine, die schummelt, täuscht, plant — und besser rechnet als sie selbst. Was glauben die Leute, was da vor sich geht? Ich halte es für eine Frage der Zeit, bis die Antwort lautet: eine Superintelligenz. Deshalb endet dieser Teil mit der Frage, auf die diese Reihe von Anfang an zugesteuert hat. Der vorletzte Teil handelt von nichts anderem: Superintelligenz, ja oder nein.