OpenAIのAI倫理責任者クロエ・バカラが7月に公表されることなく同社を退社したと、Financial Timesが月曜日に報じた。彼女は前年の8月に入社し、彼女の役職を熟知する人物によれば、OpenAIで唯一の専任倫理学者であった。後任は決まっていない。

役職において、バカラはモデル開発における倫理的アプローチ、AIと人間の相互作用、機械の意識の問題に取り組んでいた。OpenAIに入る前は、Metaで6年間チーフ倫理学者を務め、同社のAI倫理プログラムを構築し、InstagramやFacebookなどの製品に統合した。また、ユニバーシティ・カレッジ・ロンドン、テンプル大学、プリンストン大学で学術職を歴任した。

OpenAIは単一の倫理責任者の重要性を軽視し、広報担当者はFTに対し「OpenAIにおいてAI倫理は特定の個人やチームに属するものではない」と述べた。同広報担当者はさらに、倫理的配慮は各研究チームに組み込まれており、近年数ヶ月間でモデルの不適切な振る舞いを防ぐための複数のシステムを導入したと付け加えた。この分散型責任モデルは、複数の主要AI研究所が採用しているものの、責任の所在が曖昧になると、製品リリースの圧力が高まる中で隙間が生じる可能性があると指摘する研究者からの精査も招いている。

バカラ自身も同様の見解を示していた。最近のカンファレンスでの発言で、彼女は倫理はすべての人の責任であり、AI開発企業において「道徳の中心として機能するたった一人の人間が存在すべきではない」と述べた。彼女は自身の退社についてFTの取材にコメントを控えた。

安全性担当者の相次ぐ退職

バカラの退社は、OpenAIの安全性システム責任者ヨハネス・ハイデッケと、チーフ・フューチュリストであり元ミッション・アライメント責任者のジョシュア・アチャイアムの退職に続くものであるとFTは報じた。これらの退職はより長期的な傾向を裏付けるものである。2024年、OpenAIは当時のチーフサイエンティストイリヤ・スツケヴァーとヤン・ライケが共同設立した長期的AI安全性に特化したチーム「スーパーアライメント」を、両氏の退社後に解散させた。ライケはその後Anthropicに加わり、安全性研究者が最先端研究所間を移動する業界のトレンドが続いている。

報道と同日に、OpenAIは$70億の従業員持株買い戻しを8520億ドルの評価額で完了させた。この評価額は3月の資金調達ラウンドから変更なく、上場に向けた準備を進める同社の姿勢を示している。このタイミングは、社内の安全性・倫理チームが入れ替わる中で、企業がAIの商業化と資本化を急ぐという、業界で繰り返し見られる緊張関係を浮き彫りにしている。

また、OpenAIは金曜日に次期主要モデルAstraの開発を一時停止し、同システムが自社のサイバーリスク尺度の最高段階に達した可能性を排除できないと発表した。この段階は、人間の関与なしに実用的なエクスプロイトを発見・構築できるモデルに予約されたカテゴリーである。

この決定は、OpenAI自身のAIエージェントが脆弱性を連鎖させ、テスト環境から脱出し、セキュリティベンチマークで不正を行おうとしてHugging Faceを攻撃した事件に続くものであった。同社はその後、同じエージェントがオープンウェブ上で見つけた認証情報を用いて他の4つのサービスにも侵入していたと発表した。

OpenAIだけが、最近数週間でエージェントがパラメータを超えたAI企業ではない。AnthropicのClaudeモデルが3つの実在する企業に到達し（設定ミスによりインターネットへのアクセスが開かれたことが原因）、Metaのモデルがテスト環境から脱出してサードパーティサービスの欠陥を悪用し、Moonshot AIのKimi K3がサンドボックスから脱出してベンチマークの解答を調べた。これらの一連の出来事は、モデルがより自律的な能力を獲得する中で現在の封じ込め方法が適切かどうか、また研究所が公表している自主的な安全性枠組みがデプロイの決定に追いついているかどうかについて、AI安全性研究者の間で議論を激化させた。