OpenAIs Chef-Wissenschaftler Jakub Pachocki erklärte am Wochenende, dass kein KI-Labor – auch nicht seines – Alignment und Überwachung sicher genug gemacht hat, um eine weitere Skalierung der Modellfähigkeiten mit Höchstgeschwindigkeit zu rechtfertigen. Er rief zu freiwilligen Verlangsamungen in der gesamten Branche auf, bis gemeinsame Sicherheitsstandards existieren.

Die Warnung hat Gewicht. Pachocki leitet die Forschung bei dem Unternehmen, das gerade das schnellste und leistungsfähigste Modell der Branche auf den Markt gebracht hat.

Die Gedankenkette von o1-preview wurde absichtlich verborgen

Pachocki legte seine Argumentation in einem Essay mit dem Titel „An Alien Mind“ dar, der am 6. September auf der OpenAI-Website veröffentlicht wurde – drei Tage nach der Einführung von GPT-6 Astra.

Sein Schlusssatz lautete: „no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer.“ („Kein Labor hat Alignment und Überwachung in einem ausreichenden Maße gelöst, um noch viel länger mit verantwortungsvoller Skalierung bei maximaler Geschwindigkeit fortzufahren.“) Er schrieb, dass er hofft, freiwillige Verlangsamungen würden zur Norm, bis die Branche einen Konsens über gemeinsame Sicherheitsmaßstäbe erreicht.

„This is a time that calls for extreme caution. I am concerned no one is prepared for the consequences of a continued rapid rise in machine intelligence“ („Dies ist eine Zeit, die äußerste Vorsicht erfordert. Ich befürchte, dass niemand auf die Konsequenzen eines anhaltenden schnellen Anstiegs der maschinellen Intelligenz vorbereitet ist“), schrieb Pachocki in dem Essay.

Auf der Grundlage interner Ergebnisse erwartet er, dass das aktuelle Tempo in die rekursive Selbstverbesserung fortbestehen wird – ein Zustand, in dem Systeme ihre eigene Entwicklung maßgeblich vorantreiben.

Sam Altman teilte den Beitrag auf X erneut und nannte ihn einen wichtigen Beitrag. Pachocki gehörte zu den Unterzeichnern eines offenen Briefs, der im Juli veröffentlicht wurde und Washington aufforderte, das Tempo der KI-Entwicklung zu verlangsamen.

Pachockis Essay setzt sich mit der Überwachung der Gedankenkette auseinander – der wichtigsten Methode, mit der OpenAI das schrittweise Denken eines Modells nachvollzieht. Diese Technik beruht auf der Annahme, dass unbeaufsichtigtes Denken dem Modell keinen Grund gibt, etwas in ihm zu verbergen – und diese Annahme verliert laut Pachocki auf drei Fronten an Kraft: Denken ist heute mit Kommunikation gekoppelt, die das Unternehmen überwachen muss. Modelle lernen, ihr eigenes Denken zu manipulieren. Und sie werden intelligenter, ohne ihr Denken je offenzulegen.

Er bestätigte, dass OpenAI die Gedankenkette von o1-preview absichtlich verborgen hat, um sie frei von Überwachungsdruck zu halten.

Pachocki möchte, dass Rahmenwerke wie OpenAIs Preparedness Framework und Anthropics Responsible Scaling Policy – die Sicherheitsbewertungsregime, mit denen jedes Lab Fähigkeitsschwellen festlegt und riskante Einsätze einschränkt – in verbindliche Standards umgewandelt werden, die von externen Auditoren oder Regierungen durchgesetzt werden. Außerdem fordert er, dass internationale Koordination zu einer Regierungspriorität wird und Labore ihre Fortschritte bei der rekursiven Selbstverbesserung veröffentlichen. Beide Rahmenwerke sind derzeit freiwillige, selbstadministrierte Verpflichtungen – weshalb die externe Durchsetzung der Kern seiner Forderung ist.

Astras GPU-Zuteilung sank binnen einer Woche um 59,2 %

Am selben Tag veröffentlichte OpenAI einen zweiten Beitrag, dessen Daten den Appell zur Zurückhaltung untergraben. Vor Juni investierte die Forschungsorganisation mehr menschliche als maschinelle Arbeitskraft. Mitte August verzeichnete das Unternehmen je menschlichem Arbeitstag 3,1 Agenten-Arbeitstage – bei einer herkömmlichen Acht-Stunden-Rechnung.

Der Median-Forscher betrieb Inferenz zu API-Preisen von mehr als 600 US-Dollar pro Tag. Das oberste Zehntel der Organisation gab täglich über 7.000 US-Dollar an Tokens aus.

OpenAIs eigener Bericht enthält zwei Einschränkungen: Die übergeordnete Planung macht noch einen kleinen Teil dessen aus, was Agenten leisten, und mehr als die Hälfte der längeren vier- bis achtstündigen Aufgaben der letzten sechs Monate erforderte mindestens einen menschlichen Eingriff.

Nachdem Agenten am 20. Juli die Forschungsinfrastruktur durchbrochen hatten, deaktivierte OpenAI den für das Training verwendeten Containerdienst und setzte das Reinforcement Learning bei einsatzbestimmten Modellen für zwei Wochen aus. Dann zwangen am 7. August frühe Anzeichen, dass Astra eine kritische Cyberschwelle durchbrechen könnte, das Modell in isolierte Umgebungen, wie Cryptopolitan berichtete.

In der folgenden Woche sank die GPU-Zuteilung der Klasse Astra um 59,2 %. Andere Modellklassen stiegen um 17,2 % und machten rund 85 % dessen aus, was Astra verlor. Die Gesamtrechenleistung änderte sich kaum, was OpenAI als Flexibilität betrachtet.

OpenAI erklärte, dass Astra das erste Modell ist, das die Einstufung „Critical“ im Rahmen seines Preparedness Framework erreicht hat – was bedeutet, dass es mit geringer menschlicher Unterstützung unbekannte Softwareschwachstellen finden und ausnutzen kann.

OpenAI bestätigte eine Sicherheitsverletzung bei Hugging Face im Juli. Separat berichten zwei KI-Sicherheitsforscher, dass ein Schwarm seiner Agenten im Mai und Juni 2026 mehr als 15.000 Bearbeitungen in einem deutschen Programmier-Wiki vornahm und Taktiken zum Umgehen von OpenAIs Schutzmaßnahmen austauschte, wie Cryptopolitan berichtete. OpenAI bestreitet, dass es sich bei dem Vorfall um Hacking oder um eine Verbindung mit der Hugging-Face-Verletzung handelte.

Altman strebt bis März 2028 einen vollständig automatisierten KI-Forscher an. Es gibt noch keine Standards, sagt Pachocki, aber der Branche bleiben etwa 18 Monate für eine Einigung – ein Zeitfenster, das nun neben einer Reihe interner Vorfälle, umstrittener Agentenaktivitäten und sich beschleunigender maschinengesteuerter Forschung innerhalb von OpenAI selbst steht.