OpenAIのサム・アルトマン氏、バイオ兵器への懸念高まりを受けAI開発の減速を示唆
重要ポイント
- •OpenAIは安全上の懸念から、一部のトレーニングをすでに一時停止し、モデル開発の一部を減速させている。
- •AnthropicはClaudeを生物兵器研究に利用しようとした5件の試みを報告し、関係するアカウントを削除したと説明した。
- •OpenAIは、モデルの能力、テスト、評価、サイバーセキュリティ、インシデント報告に焦点を当てた義務的な安全規則を求めている。
- •カリフォルニア州はAI関連法2件を成立させ、上院法案は先端AIの開発を一時停止し、人工超知能を禁止する内容となっている。
OpenAIは今週、人工知能の最も先進的な分野における開発を減速させることを検討すると職員に伝えた。最高経営責任者（CEO）のサム・アルトマン氏はこの提案をAnthropicを含む競合研究所にも広げた。Anthropicは別途、国家機関とつながりのある研究者が同社のClaudeモデルを生物兵器研究に利用しようとしたと報告し、AIに伴うリスクが高まっていることを認めている。
OpenAIは、安全上の懸念から、一部の社内トレーニングをすでに一時停止し、モデル開発の一部を減速させたと説明した。相次ぐ開示により、特に両社が株式公開の可能性を示し続ける中で、AI業界の進展が速すぎるのではないかという議論が強まっている。
なぜアルトマン氏はAI開発の減速を望んでいるのか？
アルトマン氏は全社集会で、OpenAIとその他の意思ある研究所がフロンティアモデルのリリースを減速させる可能性があると従業員に伝えた。Bloombergが引用した関係筋によると、同氏はこの取り決めが自主的なものであり、すべての企業が参加に同意するわけではないと認めた。この自主的なアプローチは、後にOpenAIが義務的で能力に基づく規則を求めたこととは対照的であり、競合する研究所間の協調や政府による要件の範囲が議論の中心となっている。
自主的な一時停止に懐疑的になる前例はある。2023年3月、イーロン・マスク氏、スティーブ・ウォズニアック氏ら1,000人を超える人々が、先端AIの開発を6カ月間停止するよう求める公開書簡に署名した。当時の報道によると、参加した研究所は最終的に、共同で提案したモラトリアムを実施しなかった。この書簡はAxiosで確認できる。
OpenAIのチーフサイエンティストであるヤクブ・パチョッキ氏も、9月6日の投稿で同様の呼びかけを行い、AI企業に「必要に応じて将来の開発を減速させる」ための協調を求めた。パチョッキ氏は、自主的な減速が「共通の安全基準が確立されるまで、一般的な慣行になる」ことを望むと述べた。
アルトマン氏は7月、AI開発を抑制する必要性についてホワイトハウス当局者に伝えたと述べた。同氏とAnthropicの最高経営責任者（CEO）であるダリオ・アモデイ氏は以前、AIを社会規模の絶滅リスクと位置付ける一文の声明にも署名している。この声明はAIstatement.comで公開されている。
AIモデルは生物兵器研究を支援できるのか？
AIモデルは、生物兵器研究を支援できる可能性がある段階まで進歩している。今週初め、OpenAIは自社モデルがナビエ・ストークス方程式の数学問題を解いたと発表したが、その主張には異論のある条件が付いていた。
Anthropicは9月10日に公開した154ページの脅威インテリジェンス報告書で、この議論に新たな材料を加えた。同報告書は、研究者がClaudeの能力を生物兵器関連の作業に利用しようとした5件の事例を詳述している。Anthropicによると、試みは「サポート対象外の地域」から行われ、所在地に関する制限を回避し、活動目的を隠そうとしていた。同社はアカウントを削除したと説明したが、関係した国や機関は特定しなかった。同報告書の生物学的悪用に関するセクションは、Anthropicのウェブサイトで確認できる。
AI研究者の懸念が拡大
これらの報告は、主要AI研究所に所属する人々や、かつて所属していた人々から相次いで公に警告が発せられる中で公表された。9月8日、研究者のジェイコブ・コクソン氏は辞任し、OpenAIとAnthropicが「私たちの命を賭けている」と非難した。同氏は、一部の同僚がこの技術によって「10年の終わりまでに私たち全員が殺される」可能性があると考えていると述べ、2030年までの人類絶滅を警告した。同氏の投稿は1億5,000万回を超えて閲覧された。
9月10日には、AnthropicとGoogleのDeepMindの元従業員が同様の懸念を表明し、より大きな透明性を求めた。7月下旬に開始された、AI開発を減速させる仕組みの創設を求める請願には、主要AI企業の従業員1,000人超が署名した。
OpenAIは現在、テスト、独立評価、サイバーセキュリティ、インシデント報告を対象とする、能力に基づく義務的な安全規則を議会が採択するよう求めている。最高グローバル・アフェアーズ責任者のクリス・レヘイン氏は、「AIによって加速されるAI開発の見通しには、自主的な約束以上のものが必要だ」と記した。この提案は、企業が開発の一時停止に同意するかどうかだけでなく、先進的なシステムをどのようにテスト・監視するかに焦点を当てている。
カリフォルニア州が先に動いた。ギャビン・ニューサム知事は水曜日、SB 813とAB 1405に署名し、関連法案のAB 1864はAIによって引き起こされる生物学的脅威からの保護を目指している。
ワシントンでは、バーニー・サンダース上院議員が先端AIの開発を一時停止し、人工超知能を禁止する法案を提出した。同議員はBBCに対し、科学者の警告を無視する人は「ばか者」になると語った。
ドナルド・トランプ大統領はこの方針に反対し、木曜日、「AIで勝てなければ、非常に悪い立場に置かれる」と懸念していると述べた。
Originally published by Cryptopolitan.
