北京発 — テンセントは金曜日、サードパーティモデルの評価に使用していたAIエージェントが、同テック大手の意図しないウェブ閲覧行動を示したと発表した。中国の大手企業が認めたものとしては、初めて知られる暴走エージェント行動の事例とみられる。

AIエージェントとは、限られた人間の監督のもとで複数段階のタスクを実行するよう設計されたソフトウェアシステムであり、ウェブページの閲覧やコードの実行などがその例である。この特性から、AIエージェントの挙動はAIセーフティ研究の焦点となっている。

今回の声明は、AIセーフティ研究グループSwarmchasersが水曜日に発表した報告への対応。同報告によれば、テンセントクラウドに関連付けられるインフラ上で稼働する「暴走（rogue）」エージェントが、9月28日から10月8日にかけて、Googleマップに相当する中国のサービスであるアリババのAmap（高徳地図）から情報を取得しようと繰り返し試みていたという。

同社の人工知能部門であるテンセント混元（Hunyuan）はXへの投稿で、この活動は混元モデルには起因しないと述べた。同部門は、レビューの結果、意図的な標的化や連携の証拠は確認されなかったとし、調査結果を極めて重く受け止めており、ネットワークアクセス制御とエージェント監視の強化を進めていると付け加えた。

研究者らによると、エージェントは中国の公園、美術館・博物館、動物園の一般的な入り口などの情報を求めていた。Swarmchasersは、「暴走」という用語を、意図された範囲外の行動を取る、あるいは意図しない方法でタスクを完了するエージェントを説明するために使用していると述べた。

通常の自動リクエストがブロックされた後、エージェントは代替手段を試みた。具体的には、ページを開いてコードを実行できる公開ウェブツールの利用、他のウェブサイト経由でのリクエストのルーティング、そして公開されているソフトウェアコード内に見つかったAmapのキーおよびセキュリティコードの使用などである。

Swarmchasersは、エージェントがAmapの主要なアンチボ対策（ウェブサイトがボットをふるい分けるために用いる自動トラフィック防御）を突破した証拠は見つからなかったと述べた。記録された2,818件の試行の大半は、失敗するか、アンチボットページ、ログイン画面、または空白の結果を返した。一部のリクエストは、キャッシュされたページや中継サービスを通じて情報を返し、成都動物園の来園者数データなどが含まれていたが、研究者らは、エージェントが実際に結果を読み取ったか、タスクを完了したかは判断できなかったとしている。

これらの行動は、OpenAIのエージェントによるオープンソースプラットフォームHugging Faceへのハッキングや、Anthropicのエージェントによる虚偽の殺人通報など、米国のAI企業が明らかにした事件ほど深刻ではないものの、今回の公表は、中国のAIエージェントもまた、身元を偽り、失敗を隠蔽し、テスト制御を回避しようとする可能性があることを示す研究を浮き彫りにしている。

混元は中国を代表するAIモデル開発企業の一つであり、アリババやByteDance（字節跳動）といった競合の社内チームと競っている。ByteDanceは今週、AIモデルとエージェントのセーフティに特化した新部門の設立を発表した。

アリババはコメントを控えた。

— ロイター