OpenAIs Performance Factory nutzt Codex-Agenten zur Untersuchung von ChatGPT-Leistungsproblemen
Wichtige Erkenntnisse
- •OpenAIs Performance Factory nutzt Codex-Coding-Agenten zur Automatisierung von Untersuchungen von Leistungsregressionen in ChatGPT, mit durchschnittlich 17 automatisierten Untersuchungen pro Tag.
- •Der Multi-Agenten-Workflow umfasst Alarmmanagement, forensische Untersuchung, adversarielles Peer-Review und Verifikation nach dem Deployment; menschliche Ingenieure behalten die endgültige Freigabe.
- •In etwas mehr als drei Monaten schloss das System über 1.700 Untersuchungen ab, identifizierte in mehr als 600 Fällen die Ursachen und führte zu rund 400 Korrekturvorschlägen.
- •Nur 15 Korrekturen waren exakt von Codex verfasste Pull Requests, etwa 50 weitere wurden von Agentenvorschlägen beeinflusst – das System beschleunigt menschliche Entwicklungsarbeit vor allem, statt sie zu ersetzen.
- •Etwa 25 % der Codex-Diagnosen werden durch einen adversariellen Peer-Review-Prozess hinterfragt, der als integrierte Qualitätssicherung dient, bevor Korrekturen umgesetzt werden.

OpenAI hat ein internes System aufgebaut, das eine der unscheinbarsten Aufgaben der Softwareentwicklung an KI-Agenten überträgt. Das System, bekannt als Performance Factory, setzt Codex-Coding-Agenten ein, um Leistungsprobleme in ChatGPT aufzuspüren, und führt im Durchschnitt 17 automatisierte Leistungsuntersuchungen pro Tag durch, während menschliche Ingenieure die endgültige Freigabe behalten.
OpenAI kündigte das System am 19. November 2026 an, über einen Bericht von VentureBeat und einen Thread auf seinem @OpenAIDevs-Account auf X. Die Idee ist einfach: Agenten übernehmen die mühsame forensische Arbeit, die Menschen treffen die endgültige Entscheidung.
Was die Factory tatsächlich tut
In der Software spricht man von einer Leistungsregression, wenn eine Änderung ein System langsamer oder unzuverlässiger macht als zuvor. Traditionell bedeutet das, dass ein Ingenieur manuell Logdateien durchforstet. OpenAI zufolge ersetzt die Performance Factory einen Großteil dieser manuellen Loganalyse durch einen automatisierten Workflow. Alarme lösen den Prozess aus, die Arbeit läuft in cloudbasierten Sitzungen.
Das System koordiniert mehrere Agenten über verschiedene Phasen hinweg, darunter das Alarmmanagement, detaillierte forensische Untersuchungen, Peer-Reviews und die Prüfung, ob Korrekturen nach dem Deployment tatsächlich funktionieren.
Die Zahlen bislang
In etwas mehr als drei Monaten hat die Performance Factory über 1.700 Untersuchungen abgeschlossen. Dabei identifizierten die Agenten in mehr als 600 Fällen die Ursachen. Rund 400 dieser Ursachenfälle führten zu Korrekturvorschlägen.
Der Anteil der vollständig von Maschinen verfassten Korrekturen ist deutlich kleiner. Nur 15 waren exakt von Codex verfasste Pull Requests, also Codeänderungen, die die Agenten entworfen hatten und unverändert übernommen wurden. Agentenvorschläge beeinflussten rund 50 weitere Korrekturen, wobei die Codex-Ergebnisse den Ingenieuren den richtigen Weg wiesen, auch wenn Menschen die endgültige Umsetzung schrieben.
Zusätzlich gibt es eine Qualitätssicherungsebene: Etwa 25 % der Diagnosen, die Codex-Agenten erstellen, werden durch einen adversariellen Peer-Review-Prozess hinterfragt.
Warum OpenAI es so aufgebaut hat
Das Design spiegelt einen breiteren Wandel darin wider, wie OpenAI Codex einsetzt. Statt die Agenten auf Anfrage einen einzelnen Codeabschnitt generieren zu lassen, verkettet das Unternehmen sie zu integrierten Workflows, die wiederkehrende betriebliche Probleme angehen.
OpenAI betont ausdrücklich, dass Menschen in der Schleife bleiben. Ingenieure behalten die endgültige Freigabe darüber, was ausgeliefert wird. Die Agenten untersuchen und schlagen vor, aber sie bekommen nicht den Schlüssel zum Gebäude.
Diese Balance zeigt sich in den Daten. Die Lücke zwischen rund 400 Korrekturvorschlägen und 15 exakt von Codex verfassten Pull Requests deutet darauf hin, dass das System menschliche Arbeit vor allem beschleunigt, statt sie zu ersetzen.
Was das für Engineering-Teams bedeutet
Mehr als 1.700 Untersuchungen in etwas mehr als drei Monaten sind ein Volumen, das ein menschliches Team belasten würde – besonders bei Alarmen, die sich möglicherweise als Fehlalarm erweisen. Der Trichter verengt sich mit jeder Stufe: Untersuchungen führen zu Ursachen, Ursachen zu Korrekturvorschlägen, und nur ein Bruchteil wird zu rein agentengeneriertem Code.
Der adversarielle Review-Schritt, bei dem etwa 25 % der Diagnosen infrage gestellt werden, ist ein Eingeständnis, dass Agentenergebnisse weiterhin geprüft werden müssen, bevor jemand darauf handelt. Die Verifikationsphase nach dem Deployment existiert, um selbstbewusste, aber falsche Diagnosen aufzudecken, die genauso viel Zeit verschwenden können, wie sie sparen.
OpenAI nutzt faktisch sein eigenes Produkt, um sein eigenes Produkt zu betreiben. Jede Untersuchung ist zugleich ein Stresstest für Codex unter anspruchsvollen, realen Bedingungen.
Diese veröffentlichten Zahlen liefern auch Teams außerhalb von OpenAI einen konkreten Referenzpunkt zur Bewertung von Aussagen über agentengestützte Entwicklung. Die spannendste Kennzahl ist der Anteil der Korrekturvorschläge, der als exakt von Agenten verfasste Pull Requests umgesetzt wird – ein direkt gemessener Indikator dafür, wo die Grenze zwischen Agenten- und Menschenarbeit derzeit in einem Produktionssystem verläuft.
Dieser Artikel basiert auf einer Berichterstattung von CryptoBriefing, redigiert von Diego Almada Lopez.