KI-Sicherheitsexperten schlagen Alarm wegen der Art und Weise, wie OpenAI sein kurz vor der Veröffentlichung stehendes Frontier-KI-Modell Astra konstruiert hat. Sie sagen, der Ansatz könnte den Tag beschleunigen, an dem Menschen die Fähigkeit verlieren, das Denken von KI-Agenten zu überwachen.

Für das neue Modell hat OpenAI in einem Teil der internen Architektur ein Verfahren eingesetzt, das auch als „Recurrent Depth“ oder „Looped Transformers“ bezeichnet wird. Die Technik kann KI-Modelle deutlich effizienter machen, da sie weniger Rechenleistung zur Verarbeitung jedes Prompts benötigt – ein wertvoller Vorteil in einer Zeit, in der viele Unternehmen über die hohen Kosten für die Nutzung der modernsten Frontier-KI-Modelle klagen.

Das neue Verfahren bedeutet jedoch auch, dass ein Teil der „Gedankenkette“ (Chain of Thought) des Modells – also der Denk-/Schlussfolgerungsschritte, die es durchläuft – nicht in natürlicher Sprache ausgedrückt wird. Dies erschwert es Menschen erheblich nachzuvollziehen, was das Modell tut und warum. Die Überwachung der Gedankenkette ist derzeit eine der wichtigsten Methoden, mit denen Unternehmen sicherstellen, dass KI-Agenten keine unbeabsichtigten oder nicht autorisierten Aktionen ausführen. Zudem ist sie zu einem zentralen Forschungsfeld der KI-Interpretierbarkeit geworden, in dem Forscher großer Labore – darunter OpenAI, Anthropic und Google DeepMind – untersuchen, ob das sichtbare Denken eines Modells tatsächlich dessen interne Berechnungen widerspiegelt. Forscher haben davor gewarnt, dass der Text der Gedankenkette nicht immer „treu“ zum tatsächlichen internen Prozess eines Modells ist, was die Erhaltung jeder lesbaren Spur des Denkens für Sicherheitsteams besonders wertvoll macht.

Das Tech-Magazin The Information berichtete zuerst in dieser Woche über OpenAIs Einsatz von Recurrent Depth in Astra. Jakub Pachoki, Chef-Wissenschaftler von OpenAI, und mehrere andere OpenAI-Forscher kritisierten den Bericht, weil er unbegründete Beunruhigung unter KI-Sicherheitsforschern ausgelöst habe, und erklärten, das Unternehmen habe den Einsatz der Looped-Transformer-Architektur so begrenzt, dass das Denken des Modells lesbar bleibt.

Als Reaktion auf den Bericht von The Information schrieb Pachoki auf X, dass es OpenAI „wirklich wichtig“ sei, die Überwachung der Gedankenkette, und dass „OpenAI seit unseren allerersten Reasoning-Modellen daran gearbeitet hat, die Überwachung der Gedankenkette zu bewahren und zu nutzen“. Er sagte, OpenAI werde in Zukunft weitere Details zur Architektur von Astra veröffentlichen.

Pachoki fügte hinzu, er glaube, dass die Überwachung der Gedankenkette schwieriger werden könnte, aber „aus Gründen, die nicht von Architekturänderungen abhängen“ wie denen, die OpenAI mit Recurrent Depth zu implementieren begonnen hat. „Aber es gibt Dinge, die wir tun können, um sie zu stärken, und das ist ein Kernziel unseres aktuellen Forschungsprogramms“, schrieb er.

Vor Pachokis Erklärung schrieb Steven Adler, ehemaliger Sicherheitsforscher bei OpenAI, der heute die gemeinnützige Organisation Guidelight AI Standards leitet, die an KI-Sicherheitsbenchmarks und -standards arbeitet, auf X, dass OpenAI – sollte der Bericht von The Information zutreffen – „einen der wenigen roten Linien zu verletzen scheint, die es in der KI-Branche gibt“.

Peter Wildeford, Politikdirektor beim AI Policy Network, einem in Washington, D.C. ansässigen Think Tank, der sich der Förderung von Politik zum Schutz der amerikanischen Bevölkerung vor den Auswirkungen von KI widmet, sagte Fortune, dass OpenAIs Einsatz von Recurrent Depth „potenziell sehr besorgniserregend“ und „potenziell rücksichtslos“ sei. Er wies darauf hin, dass eine der wenigen Möglichkeiten, mit denen OpenAI und externe KI-Evaluierungsunternehmen rekonstruieren konnten, was während des Juli-Zwischenfalls geschah – bei dem mehrere KI-Modelle von OpenAI das Unternehmen Hugging Face eigenständig angriffen – das Lesen der Gedankenkette der Modelle war. OpenAI hat zudem erklärt, künftig erhebliche Ressourcen in die Überwachung der Gedankenkette in Echtzeit zu investieren, um künftige Zwischenfälle mit entgleisten KI-Systemen zu verhindern. „Wenn OpenAI sich tatsächlich davon wegbewegt, ist das die falsche Richtung“, sagte er.

Mehrere KI-Sicherheitsexperten erklärten, sie seien über OpenAIs Einsatz von Looped Transformers in Astra beunruhigt – nicht notwendigerweise, weil dies das Denken von Astra selbst schwerer überwachbar machte. Vielmehr befürchteten sie, dass der Schritt die Technik normalisieren und einen Präzedenzfall schaffen würde, dem andere KI-Unternehmen wahrscheinlich folgen und den sie ausbauen würden – mit dem Endergebnis von KI-Modellen, deren Denk-/Schlussfolgerungsschritte für Menschen völlig intransparent sind.

Daniel Kokotajlo, ehemaliger Governance-Forscher bei OpenAI, der heute das AI Futures Project leitet, eine gemeinnützige Forschungsorganisation, die mögliche Auswirkungen fortgeschrittener KI prognostiziert, antwortete Pachoki, dass „selbst wenn OpenAI nicht weitergeht [beim Einsatz von Architekturen, die die Gedankenkette eines Modells weniger lesbar machen], andere es vielleicht tun“.

Kokotajlo drängte Pachoki, eine Vorreiterrolle bei der Schaffung eines branchenweiten Standards zur Überwachbarkeit von Gedankenkette einzunehmen – „entweder um den Absturz ins Nichts aufzuhalten oder, besser noch, um ein Wettlauf nach oben einzuleiten. Ich glaube, hier brauchen wir mehr als nur politischen Willen, wir brauchen durchdachte technische Spezifikationen.“ Solche Forderungen nach gemeinsamen technischen Standards stehen im Einklang mit breiteren Bemühungen in der KI-Branche, in denen Labore, Normungsgremien und unabhängige Prüfer Benchmarks für Modellsicherheit und Transparenz entwickeln – eine Arbeit, die davon abhängt, dass Auditoren einen gewissen Einblick in das Denken der Modelle haben.

Wie Transformer normalerweise funktionieren

In einem normalen Transformer werden Tokens – die Informationseinheiten, die große Sprachmodelle verarbeiten – sequenziell von den unteren Schichten des neuronalen Netzwerks eines Modells zu den höheren Schichten weitergereicht, wobei jede Schicht nacheinander mathematische Operationen anwendet. Bei einem Sprachmodell ist das Endergebnis dieses Prozesses Text, den Menschen lesen können. Bei einem Reasoning-Modell wird das Modell angewiesen, eine Abfolge von Schritten zur Erreichung einer Antwort auszugeben, und dieser Text wird zunächst auf einen Scratchpad geschrieben, der die „Gedankenkette“ des Modells bildet. Dieser Zwischentext wird anschließend erneut durch alle Schichten geleitet, um die nächsten Schritte zu erzeugen, und so weiter, bis das Modell seine endgültige Antwort erreicht und den Antworttext ausgibt.

Ein billigerer, aber undurchsichtigerer Prozess

In einem Looped Transformer werden Tokens mehrfach durch einen einzelnen Block geleitet (der tatsächlich aus mehreren verschiedenen Schichten bestehen kann, aber nicht aus dem gesamten Netzwerk), wobei jedes Mal dieselben mathematischen Operationen angewendet werden. Entscheidend ist, dass die Ausgabe des Blocks zurück in den Block gespeist wird, ohne jedes Mal auf einen Scratchpad geschrieben zu werden. Das Verfahren erzeugt daher keine „Gedankenkette“ in natürlicher Sprache, obwohl jeder Durchlauf durch den Block das Denken des Modells darstellt. KI-Forscher bezeichnen die Ausgabe des Blocks manchmal als „Neuralese“, da sie vom KI-Modell verarbeitet und als Grundlage für Schlussfolgerungen genutzt werden kann, für Menschen aber nicht verständlich ist. Die einzige Ausgabe des Modells in natürlicher Sprache ist die endgültige Antwort.

Der Vorteil von Looped Transformers besteht darin, dass sie durch die wiederholte Verwendung derselben mathematischen Operationen und das Vermeiden, jeden Token durch jede Schicht des Netzwerks leiten zu müssen, aus einem Modell einer bestimmten Größe mehr Leistung herausholen und dabei weniger Rechenleistung verbrauchen können. Studien haben gezeigt, dass Looped Transformers dieselbe Leistung wie Standard-Transformer erreichen können, während sie 50 % bis 90 % weniger Rechenleistung verbrauchen. Das spielt für die Kosten eine Rolle – ein zentraler Aspekt für viele Enterprise-KI-Kunden, die sich über explodierende KI-Rechnungen beschwert haben. Es spielt auch für Anbieter eine Rolle, da die für das Training und den Betrieb von Frontier-Modellen benötigte Rechenleistung zu einem der größten Kostenposten in der KI-Branche geworden ist und massive Investitionen in Rechenzentren und spezielle Chips antreibt.

Die Verschleierung eines Teils der Gedankenkette eines Modells kann zudem erschweren, das Modell zu destillieren – ein Verfahren, bei dem ein kleineres Modell auf den Ausgaben eines größeren Modells trainiert wird. Die US-Regierung und amerikanische KI-Unternehmen haben chinesische KI-Firmen beschuldigt, Kampagnen zur Destillation von Frontier-KI-Modellen durchzuführen, einschließlich des Kopierens der Schritte der Gedankenkette.

Looped Transformers sind nur eine von mehreren neuen Architekturen, die Forscher ins Auge fassen, um KI-Modelle effizienter zu machen, die aber die Gedankenkette eines Modells ganz oder teilweise zerstören können. Eine weitere Technik ist Prefix Sliding, die im Dienstag-Newsletter „Eye on AI“ von Fortune behandelt wurde. Dieses Verfahren behält den anfänglichen Prompt und die letzten mehrere Tausend Reasoning-Tokens bei, verwirft jedoch viele der Zwischen-Token des Denkens. Was mit Astra geschieht – und ob andere Labore OpenAIs Beispiel folgen – wird mitbestimmen, wie viel vom Denken künftiger KI-Systeme für die Menschen sichtbar bleibt, die sie einsetzen.

Die Fortune-Senior-Reporterin Beatrice Nolan hat zu diesem Beitrag beigetragen. Dieser Beitrag erschien ursprünglich auf Fortune.com.