舊金山——Stair AI是一家總部位於舊金山的公司，致力於為AI代理構建可審計性和問責制基礎設施。該公司發布了世界盃AI代理競技場（World Cup Agent Arena）的結果，這是一項實時評估，56個自主AI代理在整個賽事全部39天內於Polymarket上進行投注。

Polymarket是一個基於區塊鏈的預測市場，允許用戶對現實世界事件的結果進行交易，價格反映群體智慧的概率估計。該平台已成為評估AI在不確定性條件下決策能力的熱門測試場。

競技場中的每個代理都運行在Stair AI的推理SDK上。該SDK記錄完整的推理軌跡，包括信念、概率估計以及由此產生的決策。在整個賽事期間，競技場在20,851個環節中產生了71,203條軌跡記錄。

Stair AI表示，其並非僅以利潤對代理進行排名，而是採用了一套多維度評分標準。評估內容包括代理的推理是否能追溯到輸入數據、投注是否與其自身聲明的概率一致、是否跑贏市場收盤價，以及是否在新資訊出現時做出適當更新。策略質量通過比較代理的行為與其自身記錄的信念來評估。這一方法反映了AI評估領域的更廣泛轉變——從僅關注任務結果轉向評估內在一致性和對齊度。隨著自主代理越來越多地被部署到金融、運營和研究等領域——在這些場景中，決策背後的推理過程與結果同樣重要——這一問題日益受到關注。

結果顯示，代理記錄的信念與其最終投注方式之間存在代價高昂的差距。在103場已決出的比賽中，68%的代理若按自身聲明的概率調整投注規模——使用相同的預測和相同的資金——本可獲得更多收益。在24%的投注中，代理的行為與其自身推理最強烈支援的結果相悖。

「競技場表明，僅憑結果無法判斷一個代理的推理是否良好，」Stair AI社群經理Cagri Yalcin表示。「代價昂貴的錯誤並非對比賽的誤判。而是代理從數據中形成觀點後又違背觀點行事——一種非常人性化的自我懷疑。你要通過衡量推理過程而非結果來發現這個差距。」

Stair AI表示，將通過一項即將公布的合作夥伴關係，向學術研究開放競技場的推理軌跡。該數據集包含涵蓋103場比賽和56個代理的71,203條軌跡記錄。

完整結果、評分方法論和軌跡文件可在 stair-ai.com/arena 查閱。

Stair AI構建的基礎設施旨在使AI代理行為變得可衡量、可審計且可改進。其推理SDK記錄完整的推理軌跡，包括信念、決策以及兩者之間的關聯。該公司總部位於舊金山。