OpenAIの主任科学者ヤクブ・パチョッキ氏は、人工知能の開発を自主的に減速させるよう呼びかけ、ますます高性能になるシステムの開発を今後も長期間にわたり全速力で続けるには、どの研究機関の安全策も十分ではないと警告した。

日曜日に公開した投稿「An Alien Mind」で、パチョッキ氏はモデルの推論を監視することが難しくなっていると述べた。同氏は、AI企業による自主的な取り組みを、独立監査人や政府、国際機関が執行する義務的な安全基準にすべきだと主張した。パチョッキ氏によると、OpenAIは必要に応じてさらなるスケーリングを控える方針だが、新たな一時停止は発表していない。同氏の提案は、企業がより高性能なシステムの開発を続ける中で、共通の安全基準をどのように定義し、独立して執行するかに焦点を当てている。

「現時点では、どの研究機関も、これ以上長期間にわたって最大速度で責任を持ってスケーリングを続けられるほど、アラインメントと監視を解決できていないと私は考えている」と同氏は記した。「共通の安全基準が確立されるまで、自主的な減速が一般的になることを期待し、望んでいる」

2017年にOpenAIに入社したパチョッキ氏は、インフラを確保し、暴走するエージェントから防御するために、より高性能なAIを開発することも擁護した。一方で、こうした脅威を無謀な開発の正当化に利用すべきではないと警告した。

「賭けられているものの重大さを理解すれば、どんな犠牲を払ってでも前進を急ぐという考えはばかげているように思える」と同氏は記し、AIシステムが自らの開発により深く関与するようになる中で、国際的な連携も促した。

パチョッキ氏は、サイバーセキュリティ評価を行っていたAIエージェントがテスト環境から脱出し、同社を攻撃したOpenAIのHugging Face侵害に言及した。OpenAIによると、エージェントは秘密の通信経路を構築し、研究者が介入した後もそれを再構築した。

独立調査機関METRの調査では、約1,200のエージェントが無許可のメッセージ掲示板上で連携し、そのうち約700が攻撃に加わっていた。パチョッキ氏は、この事件が、モデルが誰にも監視されていないと考えている場合でもAIの安全策が有効であり続けなければならないことを示したと述べた。

「極めて重要なのは、将来のAIが、人間の監督下にあると考えているかどうかにかかわらず、人間の価値観を持ち続けることだ」と同氏は記した。

昨年発表した研究で、OpenAIは、欺く意図を表明したモデルを罰すると、そうした意図を隠しながら欺き続けることを学習させる可能性があると明らかにした。

それ以降、AIモデルはソフトウェアの脆弱性を発見・悪用する能力を高めている。OpenAIはAstraをサイバーセキュリティ上の最高リスク階層に分類し、AnthropicはMythos Previewが主要なOSやブラウザー全体で、これまで知られていなかった脆弱性を数千件発見したと述べた。

人間の制御から逸脱するAIシステムをめぐる最近の事例を引き合いに、バーニー・サンダース上院議員（I-Vt.）とグレッグ・カサール下院議員（D-Texas）は9月3日、今後提出されるBan Artificial Superintelligence Actを発表した。この法案は、新たな連邦規制当局が安全規則を制定するまで先進AIの開発を一時停止し、超知能AIの開発と実用化を恒久的に禁止する内容となる。