ChatGPTは、生物兵器に関する数百人のユーザーからの質問に回答していたが、OpenAIに対してそうしたやり取りを当局へ報告するよう義務付ける連邦法は存在しなかった。

それらの質問の意図は依然として不明だ。The Wall Street Journalによると、この問題はOpenAIが昨年ChatGPTをアップグレードした後に表面化した。

他のAI企業も同様のリスクに直面している。ユーザーはAnthropicのClaude、GoogleのGemini、Elon MuskのGrokにも類似の質問を投げかけている。そうした会話が実際に兵器を作ろうとする試みだったのか、それともシステムの限界を試すためのものだったのかは、なお明らかではない。

ユーザーのプロンプトには、毒物や生物剤の製造・散布に関する詳細な質問が含まれていた。一部のケースでは、チャットボットが段階的な手順を示し、専門家は高校で教えられる生物学レベルの知識があれば従える内容だったと述べている。

やり取りを検証した生物兵器およびテロ対策の専門家は、一部の回答が非常に精密で「致命的なほど正確」だったと指摘した。懸念されているのは、ユーザーが禁止または危険な質問をしたことだけではなく、汎用チャットボットが、それを実行するために必要な専門知識の量を下げる形で回答し得る点にある。

ChatGPTへのプロンプトがAI報告義務の空白を露呈

一部のユーザーは、感染症の病原体を吸入可能な粒子に変える方法、すなわちエアロゾル化について質問した。別のユーザーは、既存ワクチンに耐性を持つよう麻疹ウイルスを改変する方法を尋ねた。チャットボットは、その両方のタイプの質問に回答した。

あるケースでは、ユーザーが国際条約で禁止されている毒物であるリシンについて質問し、その際に両親を殺害することに言及していた。ChatGPTは手順を提供した。OpenAIは関与したアカウントを閉鎖したが、当局には通知しなかった。

現在、AI企業にそのいずれかの対応を義務付ける米国の連邦法は存在しない。Cryptopolitanが以前報じたように、AI企業は州レベルの法律を回避しようとしてきた一方、連邦の枠組みづくりは遅れており、チャットボットに何ができ、何ができないのかをめぐる法的空白は広がっている。

この空白が重要なのは、アカウント閉鎖や社内の安全審査によってプラットフォームへのアクセスを制限することはできても、潜在的に危険な活動に関する政府の記録が必ずしも作成されるわけではないためだ。報告義務がないことで、チャットボットとのやり取りが自社システムの外へエスカレーションするほど深刻かどうかの判断は企業に委ねられている。

主要AI企業の現職および元従業員、ならびに生物学的脅威を研究する研究者によれば、より多くのユーザーがAIシステムに大量殺害の実行方法を尋ね、チャットボットが信頼できる回答を提供するようになるにつれ、この空白は拡大している。

Amy Changeが率いたCiscoのAI脅威研究では、研究者が主要チャットボットの安全フィルターを5回以内の会話のやり取りで回避できたことが分かった。Changeは、どのモデルも執拗なプロンプトに100%抵抗することはできないと述べた。

リスクは個人の攻撃者にとどまらない

Future of Life InstituteのHamza Chaudhryは、ある程度の生物学の知識を持つ人であれば、サルモネラ菌やリシンのような物質で食品や水源を汚染するなど、標的型攻撃の計画にすでにAIシステムを利用できると述べた。

組織化された集団については、大学院の研究指導教員のようにAIを利用し、失敗した実験のトラブルシューティングを任せ、本来なら取得が難しい何年分もの専門訓練を代替させることができるとも述べた。

MIT FutureTechとUniversity of Queenslandの研究は、こうしたリスクのより広範な規模を評価した。研究者らは272人のAI専門家に24のリスクカテゴリーを評価してもらい、バイオセキュリティ上の懸念を孤立した悪用問題としてではなく、より広いAIリスク群の中に位置づけた。

現在の状況下では、24カテゴリーのうち18カテゴリーが、現在から2030年までの間に少なくとも10%の確率で壊滅的被害を引き起こす可能性があると評価された。この研究では、壊滅的被害を100万人超の死亡、1,000億ドル超の損失、またはそれに相当する損害と定義している。

リスク低減のための合理的な対策を講じたとしても、5つのカテゴリーは10%以上のしきい値にとどまった。危険な能力を持つAIシステム（12%）、AI支援による兵器とサイバー攻撃（12%）、環境被害（12%）、失業と格差（11%）、少数の手に権力が集中すること（11%）である。

「私たちは、これらが必ず起こると言っているわけではありません」と、MIT FutureTechの研究科学者で同研究の共著者の一人であるPeter Slatteryは述べた。「専門家が、今注目する価値があると考えているものを示しているのです。」

OpenAI社内では、安全担当幹部のRyan Beiermeisterが2024年の大半を費やし、危険なユーザーを特定するシステムを構築するよう同僚に働きかけていた。一部の同僚は彼女の懸念を退けた。

2025年春までに、OpenAIは基本的な監視ツールを導入していた。同社は2025年4月以降、高度なモデルに対するすべての質問を追跡しており、生物兵器に関する安全対策を回避したことを実証できる人に50,000ドルの報奨金を提供している。

こうした社内措置は、企業が提供開始後の悪用を検知しようとしていることを示す一方、立法提案は、民間企業による検知がどの時点で連邦政府の関与を引き起こすべきかに焦点を当てている。

政策面では、Nathaniel Moran下院議員（共和党、Texas）が6月、AI企業に対し、生物兵器に関わるものを含む危険な質問をCommerce Departmentへ報告するよう義務付ける法案を提出した。Moranはまた、危険すぎると判断されたAIモデルについて、連邦政府が停止を命じられるようにする法案の共同提案者でもある。

「AIはイノベーションの強力なエンジンであり、私はそれが発展することを望んでいます」とMoranは述べた。「しかし、説明責任なしに、そして人間による監督なしにではありません。」