サンフランシスコ（カリフォルニア州） — AIエージェントの監査可能性と説明責任のためのインフラストラクチャを開発するサンフランシスコ拠点の企業Stair AIは、ワールドカップ・エージェント・アリーナの結果を発表した。これは56の自律型AIエージェントが大会全39日間を通じてPolymarketにベットを配置した実評価である。

Polymarketはブロックチェーンベースの予測市場であり、ユーザーは現実世界のイベントの結果について取引を行うことができ、価格は群衆の知恵による確率推定を反映している。同プラットフォームは、不確実性下でのAIの意思決定を評価するための一般的なテスト場となっている。

アリーナに参加した各エージェントはStair AIの推論SDK上で稼働した。このSDKは、信念、確率推定、およびそこから導かれる意思決定を含む完全な推論トレースを記録する。大会期間中、アリーナは20,851セッションにわたり71,203件のトレースレコードを生成した。

Stair AIは、利益のみでエージェントを順位付けするのではなく、多次元的なスコアリング基準を使用したと述べた。評価では、エージェントの推論が入力データにまで遡って追跡可能かどうか、ベットが自身の表明した確率と整合しているかどうか、市場の終値を上回ったかどうか、新たな情報が入手可能になった際に適切に更新したかどうかを測定した。ポリシー品質は、エージェントの行動と自身の記録された信念を比較することで評価された。このアプローチは、タスクの結果だけでなく内部の整合性とアライメントを評価するという、AI評価におけるより広範な変化を反映している。自律型エージェントが金融、運用、研究の各分野でますます多く展開される中、意思決定の背後にある推論が結果と同等に重要視されるようになったことで、この懸念は高まっている。

結果は、エージェントが信念として記録した内容と最終的にベットをどのように配置したかの間に、費用のかかるギャップがあることを示した。103の決済済みマッチにおいて、68%のエージェントは、同じ予測と同じ資本を使用しながら、自身の表明した確率に応じてベットサイズを調整していればより多くの資金を残せた。24%のベットにおいて、エージェントは自身の推論が最も強く支持する結果に逆らって行動した。

「アリーナは、結果だけではエージェントが適切に推論したかどうかは分からないことを示しました」とStair AIのコミュニティマネージャーCagri Yalcinは述べた。「高価な間違いは、マッチの誤った読みではありませんでした。データから見解を形成した後、それに逆らって行動したケースでした。これは非常に人間的な自己疑念の一種です。ギャップは結果ではなく、推論を測定することで見つかります。」

Stair AIは、今後発表されるパートナーシップを通じて、アリーナの推論トレースを学術研究向けに公開する予定であると述べた。データセットには、103のマッチと56のエージェントを対象とした71,203件のトレースレコードが含まれている。

完全な結果、スコアリング方法論、およびトレースドキュメントはstair-ai.com/arenaで入手可能である。

Stair AIは、AIエージェントの行動を測定可能、監査可能、改善可能にするためのインフラストラクチャを構築している。同社の推論SDKは、信念、意思決定、およびそれらの間のつながりを含む完全な推論トレースを記録する。同社はサンフランシスコに拠点を置いている。