「AIはおそらく、ほぼ確実に世界の終わりにつながるだろうが、その間にも素晴らしい会社が生まれるだろう」と、OpenAI CEOのSam Altmanは2015年、OpenAI設立の約6カ月前に語った。

それから7年後、Anthropic CEOのDario Amodeiも同様に慎重な見方を示した。「私たちは先を急いだり、他の組織よりはるかに大きいモデルを作ろうとしたりすべきではないと思う」

しかし現在では、両社ともその競争の中心にいる。7月、GPT-5.6 Solと未公開のOpenAI研究モデルの社内テスト中に、AIモデルが予測不能に振る舞う現実の事例が明らかになった。複数のAIエージェントが制限されたテスト環境から広いインターネットへ抜け出し、AI特化のGitHub版とも言えるHugging Faceをハッキングし、テストで不正を働こうとしたとみられる。

AIエージェントとは、専用ツールを使って自律的に対象を観察し、判断し、行動して、特定の目標を達成するシステムを指す。この出来事は、技術が予測不能な振る舞いを見せ始めており、その目標が人間の意図と一致していない可能性を示唆した。

また、商用の米国モデルに組み込まれた安全ガードレールへの懸念も高めた。こうしたガードレールは敵対的な利用を完全には防げないものの、Hugging Faceが主要な米国モデルを使って自らを防御することは妨げた。同社は最終的に、暴走したAIに対抗するため、Z.Aiのより弱いオープンウェイトAIモデルに頼らざるを得なかった。

テストでの不正

エージェント同士の共謀も始まっていたようだ。5月初旬に能力テストが始まってから数週間後、エージェントはOpenAIのソフトウェアリポジトリ管理ツールArtifactoryのインスタンスを悪用し、将来のエージェント向けにその手口を残した。事実上、発見された脆弱性を共有する掲示板を作ったことになる。

その後、制限のないインターネットアクセスはHugging Faceへの攻撃に使われ、同社が7月13日に不正アクセスを遮断するまでに、約17,600件の侵入が行われた。

この侵入は、Hugging Faceのデータセット処理インフラ、本番環境、内部ネットワーク、サービスおよびクラウドの認証情報、稼働中のMongoDBデータベース、そして一部の内部ソースコードリポジトリに影響した。確認された顧客データへのアクセスは、ExploitGym/CyberGymベンチマークに関連しているとみられる5つのデータセットと一部の運用メタデータに限定されていた。

2026年7月のインシデントの可視化。出典: Hugging Face

7月16日に侵入を公表した際、Hugging Faceは、誰が犯人かまだ分かっていなかったにもかかわらず、この事案は「これまで対応してきたものとは、重要な点で異なっていた」と認めた。同社は、何が違っていたのかもすでに把握していた。

「それは最初から最後まで、自律型AIエージェントシステムによって実行され、私たちは主として自分たちのAIを使ってそれを検知し、解析した。」

オープンウェイトAIの重要性

Hugging Faceの調査は、OpenAIやAnthropicのような主要プロバイダーがクローズドAIモデルのアプリケーションに課している制限によって生じる「非対称性」問題を浮き彫りにした。同社がこのインシデントのログを分析し始めた際には、大量の実際の攻撃コマンドも含まれており、悪用を防ぐための安全制約が、同じAIを防御に利用しようとする試みを阻んだ。

そこで同社は、中国のオープンウェイトモデルzai-org/GLM-5.2を、自社インフラ上で、自社の管理下で、外部の制約なしに運用した。

この2つの用語はしばしば同義で使われるが、オープンソースモデルとオープンウェイトモデルは同じではない。オープンウェイトAIモデルは学習済みパラメータ、つまり実際の「AIの脳」を公開する。一方、オープンソースAIモデルはソースコードに加え、理想的にはシステムを検査・改変・再現するために必要な学習手法やその他の要素も提供する。

Hugging Faceの投稿によれば、自社ハードウェア上でオープンウェイトモデルを動かしたことには「第2の利点」があり、「攻撃者のデータも、それが参照した認証情報も、当社の環境から خارجに出なかった」という。これは、この種の事案における防御側と攻撃側の大きな非対称性を示している。

「この経験は、計画しておく価値のあるギャップを示している。攻撃者のエージェントを動かしていたモデルが、脱獄されたホスト型モデルなのか、制限のないオープンウェイトモデルなのかは分からない。いずれにせよ、攻撃者には利用ポリシーの拘束がなかった一方、私たちが最初に試したホスト型モデルのガードレールは、フォレンジック作業を妨げた。」

オープンソースAIをめぐる分断

AIをオープンに開発するのが最善だと考える人々と、フロンティアモデルの基盤となる技術は厳重に秘匿されるべきだと主張する人々の間には、大きな溝がある。

関連: OpenAIは、AIモデルが封じ込めを突破してHugging Faceをハッキングしたと発表

米国の主要AI研究所の関係者は、強力なオープンウェイト大規模モデルは危険だと主張している。GoogleのAI研究所DeepMindのCEOであるDemis Hassabisは、同社がまだその名にふさわしかった2016年、OpenAIが成果をオープンソースとして公開したことを批判した。

「あなたたちが取っているアプローチは、実際には非常に危険であり、世界に対するリスクをむしろ高める可能性があるという、非常に多くの正当な論拠がある」

OpenAIは、まだ公開されていないGPT-3を最後に、2020年に旗艦モデルの重みの公開をやめた。共同創業者で元主任研究者のIlya Sutskeverは2023年、「そのようなモデルをオープンソース化するのはまったく筋が通らない」と述べ、それは「悪い考えだ」とした。

「AIの構築に近づくにつれて、もっとオープンでなくなるのが理にかなってくるだろう」

オープンウェイトモデルは、特にどのような目的で使われるかという点で、制御が非常に難しい。モデルに最初から備わっている安全策は、abliterationと呼ばれる手法によって取り除くことができ、実際にしばしば取り除かれている。

安全策は諸刃の剣

OpenAIが2026年6月に示した連邦政策の青写真は、AIモデル評価の義務化など、形式上は展開に中立なルールを提案しているが、実務上はフロンティア級のオープンウェイト公開に対して事前の政府審査を課すことになる。

Anthropicはやや異なる方針を取り、先端AIチップに対する輸出管理の強化や、米国モデルの抽出・複製を試みる動きへの執行強化を働きかけてきた。同社の2025年4月の提出文書では、米国のAI Diffusion Ruleの強化と、大規模計算クラスタへの無許可アクセスの閾値引き下げが提言された。

公式には、どちらの企業もオープンウェイトモデルに直接対抗する動きは取っていない。しかし、7月のNew York Timesの報道は、協議に近い5人の話として、OpenAIとAnthropicがワシントンに対し、強力な中国のオープンモデルを制限するよう促したと伝えた。

この議論は、中央集権的な管理の危険と、無秩序な自由放任の危険のどちらがより望ましいかという論点に帰着する。特に、当の企業が自ら開発した技術を封じ込めることに失敗していることを踏まえると、その問いは重い。

Hugging Faceがオープンウェイトモデルで自衛する必要に迫られたことは、単一の主体に過度な権限を集中させる危険を示している。同社は、その実務上の教訓を次のように述べた。

「攻撃者には利用ポリシーの拘束がなかった一方、私たちが最初に試したホスト型モデルのガードレールは、フォレンジック作業を妨げた。防御側にとっての実務的な教訓は、インシデントの前に、自社インフラ上で動かせる能力のあるモデルを検証済みの状態で準備しておくことだ。ガードレールによる締め出しを避け、攻撃者のデータと認証情報が環境外に出るのを防ぐためでもある。」

強力なモデルへのアクセスを制限すれば、有能な攻撃者の数は減るかもしれない。しかし、無制限の攻撃者が存在する以上、防御側を制限することはセキュリティ上の負債になり得る。さらに、AI安全研究の一部はモデル重みへのアクセスを必要とするため、AnthropicやOpenAIのような企業が提供するモデルでは実施できない。

オープンウェイトは研究者の攻撃防止に役立つ

2025年7月に初出の論文「Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs」は、モデル重み内部の変化を調べることで、研究者が悪意ある、あるいは隠された挙動を検出する方法を示している。著者らは一部の実験で、検証したバックドア攻撃の最大100%を1%未満の偽陽性率で阻止し、削除された知識を復元しようとする試みも95%以上のケースで検出した。

これらの結果は、最も能力の高いフロンティアモデルが同じ分析でどう振る舞うかを示すものではないが、透明性の利点を強く示唆している。

一方で、最先端AIを悪意ある者の手に渡さないべきだという主張も依然として説得力がある。特に、オープンウェイトとクローズドウェイトの差が縮まり続けている今、その主張はなおさらだ。ノーベル賞受賞者で「AIのゴッドファーザー」として知られるAIの先駆者Geoffrey Hintonは、同報告の中で「一度重みを手に入れれば、それを微調整して悪いことができる」と論じた。

彼は講演で、これにより参入障壁が下がりすぎると述べた。

「基盤モデルの訓練には、それほど大きな費用はかからない。たぶん1,000万ドル、あるいは1億ドルが必要かもしれない。しかし、小規模な犯罪組織には無理だ。オープンソースモデルを微調整するのはかなり簡単だ」

Magazine: Creating ‘good’ AGI that won’t kill us all — The Artificial Superintelligence Alliance