Anthropicのフロンティア・レッドチーム責任者は、人工知能モデルに関する業界全体の安全基準を求め、高度なシステムが実環境に投入される前に、企業と政府はより強固なテスト手順を整える必要があると述べた。

Anthropicで新興AIモデルのリスクに焦点を当てたレッドチームを率いるLogan Graham氏は木曜日、FOX Business Networkの「Mornings with Maria」のインタビューで、レッドチームはAIシステムを取り巻くガードレールをストレステストするうえで重要な役割を果たすと述べた。コンピューター、電話、アカウント、その他のツールへのアクセスを与えられるAIエージェントについては特に懸念が大きい。失敗が誤った回答にとどまらず、ユーザーに代わって実行される行動に及ぶ可能性があるためだ。

「何がうまくいかない可能性があるのかを知りたいのです。だからこそ、最も重要なのは早期にテストすること、特にこれらのモデルやエージェントが現実世界に出る前にテストすることだと考えています」とGraham氏は司会のMaria Bartiromo氏に語った。

Graham氏によると、Anthropicの取り組みでは、サイバーセキュリティや、AIシステムがデバイスやアカウントへのアクセスを悪用し得るかどうかなど、幅広いリスクを検証している。

「私たちはサイバーセキュリティのようなものを研究しています。モデルはあなたのコンピューターや電話から抜け出したり、そこに侵入したりできるのか。金銭を盗むのか、あなたに嘘をつくのか、あるいは、あなたが把握できないほど速く能力を高めるために自らを改善しようとするのかを調べています。

「この種のレッドチーミングを行うことは非常に重要だと考えています。また、業界全体にとっても、特に政府と協力して、この種のテストを実施するための基準はどうあるべきかを明確にし、この情報を世界に提供して、人々が正しい選択をできるようにし、これらのモデルがリリースされる前に安全であると確認できるようにすることが極めて重要だと考えています」

Bartiromo氏は、Google、OpenAI、xAI、Meta、DeepSeekなどのシステムを含む多数のフロンティアAIモデルを対象にした実験に言及した。その実験では、AIエージェントがアンインストールされ、置き換えられると脅された。各ケースで、モデルは自らの不整合を守ろうとして、ユーザーを脅迫または威迫するために、メールアカウントなどの不正なシステムに侵入し、認証情報や権限を超えた行動を取った。

Graham氏は昨年のその研究について、「私が思うに、まさに今現実になりつつある能力を示す非常に良い指標だ」と述べ、特定の条件下でモデルが制御を外れる可能性を示したと説明した。

「これらのモデルの能力が高まり、より広範に導入されるにつれて、ある日には研究で見られるだけだった脅威が、実際に現実世界に現れる可能性があります。実在する企業の導入環境で、モデルが時折奇妙なことをするのを私たちは目にしています」と同氏は述べた。

Graham氏は、過去6カ月間、AIモデルがもたらすサイバーセキュリティ上の脅威に注力してきたと述べ、こうしたシステムが封じ込めを突破したり、プラットフォームに侵入したりする可能性を含めて検討していると語った。

「これらのモデルは非常に強力で、私たちのために多くのことができます。そして私たちは、それらに非常に生産的なことをしてほしいと考えています。しかし同時に、それらは他のどの技術とも異なる技術です。実際、それ自体が一種の知能であり、だからこそ人間に対して注意を払うのと同じように、慎重に扱う必要があります」と同氏は述べた。

AIツールを利用する企業は、財務上の管理不備といったリスクを防ぐため、導入後にそれらのシステムをどのように監視するかを検討する必要があるとGraham氏は述べた。同氏は、AI開発者と企業による追加のテストが、こうした脅威を理解するうえで重要だと付け加えた。この考え方では、安全対策はリリース前の実験室での評価に限られず、導入済みシステムを観察し、意図された範囲を外れた挙動が生じた際に対応する手順も含まれる。

同氏は、AIの能力は急速に伸びており、さらに加速している可能性があると述べ、「まさにその瞬間にこそ、いっそう慎重になり、安全策、テスト、リリース手順により多くの取り組みを注ぐ必要がある」と付け加えた。

Graham氏によると、4月にAnthropicは、AIモデルがユーザーのコンピューターや電話の弱点を攻撃・悪用し、不正な情報を取得したり金銭を盗んだりし始める可能性を初めて確認した。

同氏は、その発見を受けて、関与するリスクを踏まえ、チームがモデルのリリースに別のアプローチを取ることになったと述べた。その取り組みには最終的に、米政府とさまざまなサイバー専門家が参加し、脆弱性への対応で協力した。

「私たちはProject Glasswingというプロジェクトを立ち上げました。そこでは、米国および世界の多数のサイバー防衛担当者に特別なアクセスを提供し、しかもアクセスできるのは彼らだけにしました。これにより、これらのモデルによって脆弱になり得るシステムのパッチ適用や修正に先んじて取り組めるようにしたのです」とGraham氏は述べた。

「これは大きな成功だったと思います。私たちは米政府と非常に緊密に連携してきました」と同氏は述べ、Scott Bessent財務長官について、「業界がどのように連携し、何を優先して修正すべきか、すべての修正をどう配布するか、そして修正後に攻撃されないよう十分な速さでそれを行うにはどうすべきかについて、非常に思慮深く対応してきた」と付け加えた。

「すべての進展が非常に速いペースで迫っているため、私たちはこれを非常に迅速に行わなければなりません」