Anthropicは、最新モデル「Opus 5」が同社のソフトウェアエコシステム内でプロンプトインジェクション攻撃にほぼ完全な耐性を持つことを報告している。プロンプトインジェクションとは、Webページに埋め込まれた隠しテキストなど、操作された入力を通じてAIモデルの操作指示を回避する攻撃手法であるが、この攻撃はほぼすべてのテストシナリオにおいてOpus 5に対して失敗した。

Opus 5 システムカードによると、ブラウザエージェントに対する攻撃成功率は129のテストシナリオ全体でゼロパーセントに達した。これは、OpenAIが昨年12月にプロンプトインジェクションは完全には解決できない可能性があると認めたことと際立った対照をなしている。

セキュリティ企業Gray Swanが実施した一般的なプロンプトインジェクション評価では、15回の試行後の成功率がOpus 4.8の5.5%からOpus 5では2.0%に低下した。詳細はシステムカードのセキュリティテストセクションに記載されている。

ただし、ブラウザエージェントにおけるゼロパーセントという結果は、Claude Coworkなどの製品でAuto Modeを有効にすることが前提となる。Auto Modeは2つの階層型防御を展開する。1つ目はモデルが処理する前に入力データをスキャンして隠れた指示を検出し、2つ目は実行前に危険なアクションをブロックする。攻撃者が成功するには、両方の防御層を個別に突破する必要がある。

これらの保護がない場合、Opus 5のプロンプトインジェクション攻撃成功率は3.7%となる。興味深いことに、保護が無効な構成ではSonnet 5の方が優れており、成功率は0.93%である。Opus 5モデルとAuto Mode保護ソフトウェアの組み合わせによってのみ、ブラウザエージェントのシナリオで攻撃成功率がゼロになる。

プロンプトインジェクションは、AIエージェントが直面する最も重要なセキュリティ課題の一つとして広く認識されてきた。AIエージェントとは、Webを閲覧し、文書を読み取り、ユーザーに代わって行動をとる自律型システムである。これらのエージェントは日常的に信頼できない外部コンテンツを処理するため、悪意のある攻撃者がエージェントの本来の指示を上書きする指示を埋め込む可能性がある。この脆弱性はAI業界全体で継続的な懸念となっており、エージェント型AIシステムのより広範な展開に対する主要な障壁となっている。GoogleやOpenAIを含む主要AIラボもブラウザエージェント製品を開発しており、これらのツールがより広く消費者や企業向けに普及するにつれて、プロンプトインジェクション耐性は競争上の差別化要因となっている。Anthropicの結果は、モデルレベルのトレーニング改善とアーキテクチャレベルの保護措置を組み合わせることでリスクを低減できることを示唆しているが、これらの知見はAnthropic独自のエコシステムに特有のものであり、同等の階層型防御を持たないサードパーティのデプロイメントには一般化されない可能性がある。