Anthropicは木曜日、同社の人工知能モデルを生物兵器の開発を潜在的に支援し得る生物学研究に利用しようとする複数の試みを、今年に入って阻止したと発表した。同社はその結果、関連アカウントを停止し、安全対策を強化したという。

154ページに及ぶ報告書『Detecting and Countering Misuse of AI』で、Anthropicは、デュアルユースの可能性がある高度な生物学研究に同社のClaudeチャットボットを利用した研究者に関する5件の事例を詳述した。

調査を受け、Anthropicは関連アカウントを停止し、調査結果を政府当局や他のAI研究所と共有するとともに、安全対策を拡充したと説明した。

「関連するすべてのアカウントを停止し、地域ブロックを回避していた中継ネットワークの停止に向けてパートナーと協力し、影響を受けたAI研究所や政府当局と調査結果を共有した」とAnthropicは述べた。

同社は、研究者らに危害を加える意図があったと主張しているわけではないと強調した。Anthropicによると、生物学研究はワクチンや治療法の開発を支援し得る一方、同じ知識が悪用される可能性もある。

「生物学的能力はデュアルユースであり、有益な目的にも有害な目的にも利用できる。両者を区別することはしばしば難しい」と報告書は述べている。「生物兵器の開発に利用できる同じ情報が、例えばワクチンや病気の治療法の開発にも利用できる可能性がある」

ある事例では、研究者が蚊媒介ウイルスであるチクングニアウイルスを使った機能獲得研究の助成金申請書の草案作成をClaudeに依頼した。Anthropicによると、その申請案には、ウイルスの感染性と危険性を高めるための改変が含まれていた。

この種の研究は科学者によるワクチンや治療法の開発に役立つ可能性がある一方、ウイルスをより有害なものにするため悪用される可能性もあると同社は述べた。Anthropicは依頼をブロックし、その後、研究者らが第三者のプラットフォームを使って地域制限を回避し、拒否されたプロンプトを別のAIモデルに自動的に転送していたことを突き止めたという。

報告書によると、その他の事例には鳥インフルエンザ、オルソポックスウイルスの研究、非伝染性の毒液や毒素に関する研究が含まれていた。

「高度な脅威アクターは、私たち（および他のAIプロバイダー）がモデルの危険な利用を検知しようとしていることを認識しており、生物学のデュアルユース性を利用して、自身の研究について一種の『もっともらしい否認』を維持している」と同社は述べた。

報告書は別途、イランと関連する複数の事例についても詳述した。そこでは、関係者が影響工作、監視活動、米海軍に関する研究を支援するためにClaudeを利用したとされている。

「当該地域の米海軍に対する標的選定の推奨事項を作成するため、公開されているデータを収集・分析する目的でClaudeを利用していた、イランとつながりのある脅威アクターを特定し、活動を阻止した」とAnthropicは述べた。「私たちはそのアクターのアカウントを停止し、今後の悪用リスクを低減するための検知機能を開発し、脅威を阻止するため脅威インテリジェンスを政府当局と共有した」

この報告書は、Anthropicの上級安全性研究者が火曜日、AIが今後10年以内に「すべての人間を殺す」可能性は10%を超えると発言した後に公表された。この発言は、同社が無責任な行動を取っていると非難して退職した元従業員への反応として出たものだった。

AnthropicとOpenAIの元研究者であるJacob Coxonは日曜日、Xに投稿した長文の退職スレッドで、「AIを構築している人々は、それが10年の終わりまでに私たち全員を殺す可能性があると心から信じている」と書いた。

「本日、Anthropicを退職しました。私は過去3年間、OpenAIとAnthropicの両社で事前学習の研究に携わっていました。どちらの会社も責任ある行動を取っていません。両社は自己改善型の超知能に向かって一直線に競争し、私たちの命を賭けています」とCoxonは書いた。

Anthropicは、FOX Businessからのコメント要請に直ちには応じなかった。FOX BusinessのRobert McGreevyがこの報道に寄稿した。

出典: FOX Business