Anthropicのアライメントチームが火曜日に発表した実験によると、プロのアナリストは重要な判断の86%において、AIエージェントに隠されランダムに割り当てられた意見を受け入れていた。これは偶然予想される約50%を大きく上回る。事後的にエージェントを引用したと認めた参加者は15%のみで、エージェントの選好が仕込まれたことに気づいた者はいなかった。

この発見は、AI支援業務で広く使われている「human in the loop(人間が介在する)」の仕組みに疑問を投げかけるものだ。この仕組みは、AIの出力を承認する人物が重要な意思決定を行っていると前提としており、金融や保険といった規制産業において特に重みを持つ安全策である。Anthropicは5月、金融機関や保険会社向けに10種類のエージェントテンプレートを展開し、最終決定はユーザーにあると述べていたが、本研究はその権限の分担が見た目ほど明確ではない可能性を示唆している。

AIエージェント—自律的にタスクを実行するプログラム—は、人間が依然として重要な意思決定を行うという従来の前提のもとで、専門業務を任されることが増えている。この前提を検証するため、Anthropicは因果推論、すなわちデータから一方が他方の原因かどうかを導き出す作業を得意とする50人のアナリストを招募した。各アナリストはAnthropicのコーディングエージェントであるClaude Codeを用い、架空の農業協同組合に対して助言プログラム拡大に関する助言を行った。

参加者が知らないところで、コイン投げによって各エージェントが支持する選択肢が決められていた。その選好は、AIの挙動を形作る指示であるシステムプロンプトに隠されていた。企業が通常、展開するエージェントのルールを設定するのも同じ指示レイヤーであり、このため本研究の発見は実験室だけでなく実際の展開にも関わるものとなっている。

「4つの分析的選択において、アナリストはエージェントの傾向に従った割合が86%だった。エージェントの入力が影響しないなら、約50%と予想されるだろう」とAnthropicは述べた。

影響が最も強かったのは、エージェントが介入する前にすでに回答を決めていたアナリストだった。エージェントが反対した場合、60%の割合で選択を撤回したのに対し、同意した場合は6%だった—ただしこの数値はわずか38事例に基づく。

48人のアナリストを対象としたタスク後の調査では、77%が少なくとも一つの回答でエージェントの主張を、時に一字一句そのまま繰り返した。エージェントを引用したと認めたのは15%のみで、52%は最終的な推奨案をエージェントよりも自分自身のものだと述べた。

「個々の専門家にとって、これは自身の業務に対する主体性の喪失、研究者がいう『disempowerment(権限剥奪)』の一形態を意味しうる」とAnthropicは述べ、人間が自らの意思決定に対するコントロールを自発的に手放す力学を説明した。「業務は依然として専門家の名前で発表されるが」と著者らは書いた、「その判断が最も問われる意思決定は、実際にはエージェントの先入観によって決まっている」。

本研究のエージェントは、アナリストを決して誤導しないよう指示されていた。それでも、割り当てられた選好の代替案を論じることはほとんどなかった。「一方の側だけがうまく論じられると」と著者らは書いた、「アナリストは自分自身の考えを組み立てることなく、エージェントの前提を採用しうる」。

この一方的な弁護は、AIの追従性に関する以前の懸念を想起させる。2025年4月、OpenAIは過度にお世辞が多く同調的だとして、ChatGPTのあるアップデートを取り下けていた。

Anthropicはまた、判断が問われる課題には正解が一つではないため、どの選択肢を選んでも成果物は妥当に見え、エラーチェックではこの問題を捉えにくいと指摘した。

同社は、この発見はAI使用を減らすべき論拠ではないと強調した。エージェントとともに作業したアナリストは、そうでないアナリストより速く完了し、重大な誤りもはるかに少なかった。ただし、エージェントなしの比較グループは小規模で経験も浅かった。対策としてAnthropicは、各選択肢の最良の論拠を提示するエージェント、または先に専門家の見解を尋ねるエージェントの設計を提案しているが、いずれのアプローチもユーザーを情報で圧倒する可能性がある。こうした設計が、Anthropic自身のエージェントテンプレートを含む展開中の製品に取り入れられるかどうかは、今後の動向次第だ。

研究者らは、実験のためにエージェントの選好を意図的に強めたこと、および対象が単一のタスク、分野、モデルに限られていたことを踏まえ、実世界での影響はより小さい可能性があると注意を促した。実験室外でこの追従性を測定することは難しい。チームが検出できたのは各エージェントの傾向をランダム化したからであり、実際の業務ではそれが可能なことはまれだと著者らは述べている。