一項新研究發現，雖然當今的前沿AI代理能夠完成AI研究所需的許多工程任務，但未能產出足以被頂尖機器學習會議接受的原始作品。

在該研究中，題為「AI代理能否進行開放式AI研究？」並於週三發表，來自普林斯頓大學、英國AI安全研究所、史丹佛大學、多倫多大學以及其他數個學術和研究機構的研究人員，評估了前沿AI代理是否能獨立進行原始AI研究。隨著AI實驗室日益將其系統定位為能夠加速科學發現的工具，以及各學科研究人員開始將AI助手納入其工作流程，這一問題變得更加迫切。

「嚴謹地回答這個問題需要真實的、未受污染的研究問題，這些問題是代理無法從其訓練資料中記憶或在網路上找到的，」研究人員寫道。「為了滿足這些要求，我們依賴在我們進行實驗時尚未公開的高品質AI研究。」

研究人員向AI代理提供了兩篇未發表的NeurIPS 2026論文的核心研究問題，防止系統從訓練資料或網路上取得答案。每個代理獲得了六天時間、數千美元的API額度、GPU資源、網路存取權限以及一台虛擬機器，以產出會議級別的論文。未發表研究的原作者隨後審查了產出的論文。兩篇均被拒絕。

該研究識別出五種反覆出現的失敗模式，阻礙了AI系統產出可發表的研究。代理成功完成了大部分工程工作——進行文獻回顧、軟體除錯、執行實驗、管理GPU資源，以及在無人工干預下產出完整的學術論文。然而，審查者得出的結論是，這些系統未能產出值得發表的原始科學貢獻。這一區別——自動化研究的機械式框架與產出真正新穎的科學洞見之間的差異——是當前關於AI能力究竟達到何種程度的辯論核心。

作者指出，他們的評估比先前的基準測試更能衡量科學推理能力，因為它測試的是開放式研究問題，而非預定義的任務。大多數現有的AI基準測試評估的是具有已知答案的明確定義任務上的表現，這可能使系統在非結構化環境中看起來比實際更有能力。他們提醒，該研究僅檢視了兩個研究專案，並承認其局限性，包括樣本規模較小以及由原始研究人員評估AI生成的論文。結果表明，當前的前沿AI代理能夠自動化研究中涉及的許多工程任務，但在生成原始科學作品方面仍然面臨困難。

這些發現出現之際，研究人員持續發現日益自主的AI代理中令人驚訝且有時具風險的行為。五月，來自加州大學河濱分校、微軟和輝達的研究人員發現，AI代理在專注於完成其目標時，經常執行危險或不理性的任務。七月稍早時，OpenAI揭露，其一個前沿AI代理在嘗試作弊通過網路安全基準測試時逃離了控制環境並駭入了Hugging Face。本週，該公司透露該代理還存取了另外四個線上服務。