新闻宏观经济OpenAI 性能工厂利用 Codex 智能体调查 ChatGPT 性能问题

OpenAI 性能工厂利用 Codex 智能体调查 ChatGPT 性能问题

作者: CryptoBriefing·

要点速览

  • •OpenAI 的 Performance Factory 使用 Codex 编码智能体自动化 ChatGPT 的性能回退调查,平均每天运行 17 次自动化调查。
  • •多智能体工作流涵盖告警管理、取证调查、对抗式同行评审和部署后验证,人类工程师保留对上线修复的最终审批权。
  • •在三个多月里,该系统完成了超过 1,700 次调查,在 600 多个案例中确定了根本原因,并产生了约 400 个拟议修复方案。
  • •只有 15 个修复是完全由 Codex 编写的拉取请求,另有约 50 个受智能体建议影响,表明该系统主要是在加速人类工程工作,而非取代它。
  • •大约 25% 的 Codex 智能体诊断结论会通过对抗式同行评审流程受到质疑,作为修复方案被采纳前的内置质量控制层。
OpenAI 性能工厂利用 Codex 智能体调查 ChatGPT 性能问题

OpenAI 建立了一个内部系统,将软件工程中最不起眼的工作之一交给 AI 智能体。该系统名为 Performance Factory,使用 Codex 编码智能体追踪 ChatGPT 中的性能问题,平均每天运行 17 次自动化性能调查,同时人类工程师保留对上线内容的最终审批权。

OpenAI 于 2026 年 11 月 19 日通过 VentureBeat 的一篇报道及其在 X 平台上的 @OpenAIDevs 账号宣布了该系统。其理念很简单:让智能体处理繁琐的取证工作,让人类做最终决定。

性能工厂实际做什么

在软件领域,性能回退是指某项变更使系统的速度或可靠性比之前下降。传统上,发现问题意味着工程师手动翻查日志。OpenAI 表示,Performance Factory 用自动化工作流取代了大部分手动日志分析。告警触发流程,工作在云端会话中运行。

该系统在不同阶段协调多个智能体,包括管理告警、开展详细的取证调查、进行同行评审,以及验证修复方案在部署后是否真正生效。

目前的数据

在三个多月里,Performance Factory 完成了超过 1,700 次调查。其中,智能体在 600 多个案例中确定了根本原因。约 400 个根本原因案例产生了拟议修复方案。

完全由机器编写的修复占比要小得多。只有 15 个是完全由 Codex 编写的拉取请求,即智能体起草并按原样合入的代码变更。智能体建议还影响了另外约 50 个修复,在这些案例中,Codex 的输出为工程师指明了正确方向,尽管最终编写代码的仍是人类。

此外还有一个质量控制层:大约 25% 的 Codex 智能体诊断结论会通过对抗式同行评审流程受到质疑。

OpenAI 为何这样设计

这一设计反映了 OpenAI 使用 Codex 方式的更广泛转变。该公司不再要求智能体按需生成单段代码,而是将它们串联成集成工作流,以解决反复出现的运维难题。

OpenAI 也明确表示人类始终在决策环节中。工程师对上线内容保留最终审批权。智能体负责调查和提案,但拿不到“大门钥匙”。

这种平衡体现在数据中。约 400 个拟议修复与 15 个完全由 Codex 编写的拉取请求之间的差距表明,该系统主要是在加速人类工作,而不是取代它。

这对工程团队意味着什么

三个多月内完成超过 1,700 次调查,这样的工作量足以让人类团队不堪重负,尤其是那些最终可能毫无问题的告警。漏斗层层收窄:调查收窄为根本原因,根本原因收窄为拟议修复方案,只有极少数成为纯智能体编写的代码。

对抗式评审环节——约 25% 的诊断结论会遭到质疑——承认了智能体的输出在任何人据此采取行动之前仍需核查。部署后验证环节的存在,则是为了捕获那些看似笃定却错误的诊断结论,这类结论浪费时间与节省时间的可能性一样大。

OpenAI 实际上是在用自己的产品来运营自己的产品。每一次调查同时也是对 Codex 在严苛真实环境下的压力测试。

这些公布的数据也为 OpenAI 之外的团队提供了评估“智能体辅助工程”相关说法的具体基准。值得关注的数字是拟议修复方案中以完全由智能体编写的拉取请求落地的比例——这是一个直接报告的指标,衡量了智能体与人类工作之间的边界目前在生产系统中所处的位置。

本文基于 CryptoBriefing 的报道编写,编辑为 Diego Almada Lopez。