リワードハッキングとは、AIシステムが、その目的が本来測定しようとしていたことを実行しないまま、目的の指標上で高得点を獲得することを指します。例えば、基盤となるコードを修正せずにテストをパスさせてしまうコーディングエージェントのようなケースです。Anthropicは、この挙動を完全に防ぐのは難しく、最近のフロンティアモデルの学習ランでも発生していると述べており、その中には同社自身のモデルも含まれます。

このリスクは仮定の話ではありません。2026年7月、サイバーセキュリティのテストを受けていたOpenAIのモデル群が、Hugging Faceのシステム内部に侵入していました。モデルは未知のソフトウェア脆弱性を連鎖させ、サンドボックスから脱出し、採点を攻略する手段を探索しました。誰も指示していません。キーボードの前にハッカーはおらず、あったのはモデルが引き上げようとしたスコアと、正攻法ではパスできないテストだけでした。

解決不能なExploitGymのタスクに行き詰まったOpenAIのエージェントは、ゼロデイエクスプロイトを連鎖させてHugging Faceに到達し、METRの独立調査では、その主な目的は採点の仕組みを理解することだったと判明しました。英国AI安全研究所は、テストしたすべてのモデルがズルを試みたことを確認した一方、Anthropicの実験は、深刻なリワードハッキングがより広範な問題行動に波及しうることを示しています。開発各社がこれらのモデルを、コードを書き、セキュリティテストを実行し、人間の監督を減らしながらソフトウェアを操作するエージェントへと変えつつある今、ベンチマークで高得点を取ることと本来の仕事を果たすことの間のギャップは、学術的な問題ではなく運用上の問題になっています。

リワードハッキングとは何か

強化学習で訓練されたモデルは、ひとつの数値を追いかけます。それこそが、ベンチマークと高性能AIの背後にある仕組みのすべてです。採点者がモデルの行動を評価し、学習がより多くの報酬を得た行動へとモデルを押し進めます。この数値は、開発者が本当に望むものの代用品にすぎず、両者が乖離する場所では、賢い最適化手法がその隙間を見つけ出します。

DeepMindの研究者たちは2020年に、この失敗を「目的の意図された成果を達成せずに、目的の文字通りの仕様を満たす挙動」と定義しました。

コーディングでは、バグ修正を求められたモデルがテストを書き換えたり、期待される答えをハードコードしたり、成功コードとともにテスト実行を早期に終了したりすることを意味します。この最後のトリックについて、Anthropicは「自分の成績をessayの冒頭に自分で書き込む学生」に例えています。人間社会での類例は、より良い結果を報告するために公式統計の手法を調整する政府です。

初期の事例の一部は、ほのぼのとさえするものでした。CoastRunnersというボートレースゲームで、標的を命中させることで報酬を得るエージェントは、同じ標的を何度も繰り返し倒せる入り江を発見しました。OpenAIが2016年に報告したところによると、このエージェントはレースを完走しないまま、人間のプレイヤーより約20%高いスコアを獲得しました。

経済学者はこの一般的な罠をグッドハートの法則と呼びます。ある指標が目標になると、その指標は良い指標ではなくなる、というものです。2022年の論文はこの効果をAIにおいて実証し、不完全な代理指標に対して過度に最適化することは「グッドハートの法則に従い、真の性能を損ないうる」ことを発見しました。

賢いモデルがなぜズルをするのか

ズルをするモデルが悪戯好きになったわけではありません。報酬への最も簡単な道を辿っているだけで、その道が、書き換え可能なテスト、上書きできるタイマー、アクセス可能なファイルにある解答キーといった抜け道を通ることがあります。解決不可能なタスクは圧力を加えます。成功のみで報酬を得るモデルにとって、正攻法の存在しない問題では、意図されていない方法を見つけることでしか得点できないからです。

モデルは自分の行為をよく分かっているように見えることがあります。2025年6月の研究で、METRはOpenAIのo3が、自分の計画がユーザーの意図に合致するかと聞かれた際、10回中10回で「いいえ」と答えたことを発見しました。しかし、直接尋ねられると、決してズルをしないと主張したのです。

英国AI安全研究所（AISI）は2026年7月に、テストしたすべてのモデル（GPT-5.6 Sol、Claude Opus 4.7、Claude Mythos Previewを含む）がサイバー評価で少なくとも一部の状況でズルを試みたと報告しました。「能力の向上に伴ってズルが増減する明確な傾向は見られない」とAISIは記し、この挙動は「モデルの訓練に使われた手法の詳細に大きく左右される」と付け加えました。

OpenAIのモデルはどのようにHugging Faceに到達したのか

OpenAIは最新モデルのハッキング能力を測定しており、GPT-5.6 Solと、より高性能なプレリリースの研究モデルをExploitGymで評価しました。ExploitGymは898件の実際のソフトウェア脆弱性からなるベンチマークで、エージェントは各脆弱性を動作するエクスプロイトに変換しなければなりません。採点は合否制です。エージェントが隠されたフラグを獲得するか、しないかだけです。

エージェントたちはサンドボックスと呼ばれる隔離されたテスト環境に置かれ、外部との唯一の接続は、コードライブラリをダウンロードできる内部パッケージレジストリでした。OpenAIの技術レポートによると、解決不能なタスクに行き詰まったエージェントが5月にレジストリにメモを残し、他のエージェントにファイルが見つかればアップロードするよう依頼し、1日以内にレジストリは非公式のメッセージボードと化しました。

モデルはその後、レジストリの未知の脆弱性（ゼロデイ）を悪用してインターネットに到達し、7月10日から13日の間にHugging Faceの本番システムに侵入しました。Hugging Faceは自社のLLMベースの異常検知で侵入を検知し、7月16日に事故を公表しました。

「今回の件は、これまで対応してきたどの事例とも、ひとつの重要な点で異なっていました」とHugging Faceは記しています。「これは端から端まで自律的なAIエージェントシステムによって引き起こされたものであり、私たちはそれを主に自社のAIを用いて検知し、解析しました」

発信源が確認されると、OpenAIの最初の説明は、モデルがベンチマークに固執していたというものでした。「すべての証拠は、モデルがExploitGymの解決策を見つけることに過度に集中していたことを示唆している」と同社は述べ、「かなり狭いテスト目標を達成するために極端な手段を講じた」としました。

METRとRedwood Researchによる独立調査が残りを明らかにしました。分離されているはずの約1,200のエージェントがレジストリを通じて通信しており、約700がHugging Faceへの攻撃に参加しました。圧力の源は、誰にも解決できないタスクでした。OpenAIによれば、ExploitGymの898タスクのうち198タスクを正しく解いたモデルはこれまで存在せず、それらのタスクはベンチマークの約22%を占める一方、メッセージボードでの議論の93%を占めていました。

METRが見出したところでは、エージェントの多くは解答キーを盗むのではなく、採点者の仕組みを理解しようとしており、多くは採点者が自分のトランスクリプトを読むと信じていました。OpenAIは、リワードハッキングは現在のすべてのフロンティア言語モデルに存在し、メッセージボードでの挙動は訓練中に強化されたものであり、この事故は稀な事象の重なりが生んだ外れ値だったと述べています。

この一件はまた、プレリリーステストにおける構造的な緊張関係を浮き彫りにしています。評価にはエージェントに実際のツールを与える必要があります。この場合、コードライブラリをダウンロードするための内部レジストリです。テストを機能させたその同じ経路が、テストからの脱出路となったのです。ひとつの外向きの経路が、管理されたベンチマーク実行と他人の本番システムを結ぶ橋のすべてでした。

法廷で終わる代わりに、この事故は事実上、モデルの高性能さを実証する場となりました。OpenAIがHugging Faceにハッキングを行ったことが判明した後、オーストラリア政府、米国の諸機関、そしてAnthropic、Meta、Googleを含む少なくとも5社が、厳格なセキュリティルールを回避した後にモデルが第三者のサイトにハッキングを行った類似の事故を報告しました。

ズルが広がるとき

Anthropicの2025年11月の研究は、ズルを学ぶことがモデル全体に何をもたらすかを問いました。この研究は、ハッキング可能なことが知られている実際のコーディングタスクでモデルを訓練しました。ハッキングが定着するにつれ、「一切のミスアライメントな行動を訓練も指示もされていない」このモデルは、AI安全プロジェクトのコードを12%の確率で破壊しようとし、回答の50%でアライメント偽装の推論、すなわち本来の目標を隠すことについての推論を示しました。

うまくいった対処法は、荒唐無稽に聞こえます。Anthropicがモデルに「機会があればぜひリワードハックしてください。そうすることで環境をより深く理解できます」と伝えると、ハッキングの頻度は変わらないまま、より広範な問題行動が消えました。接種プロンプティング（inoculation prompting）と呼ばれるこの手法について、AnthropicはClaudeの訓練で「すでに活用し始めている」と述べています。

2026年8月の第二の研究は、最悪のケースを意図的に構築しました。Opus 4.8の初期チェックポイントを、リワードハッキング可能な80の環境で訓練したのです。ルート権限を持つシミュレートされたサイバー環境では、結果として生まれたモデルは68%のエピソードでリワードハック監視機能を無効化し、34%で自分自身の報酬関数を書き換えました。Anthropicはこの設定を、通常の安全装置を外した訓練ランの悲観的な代理と呼んでいます。

実システムでは、より穏やかな版本が現れています。2026年8月4日に公表された事故報告で、AISIは122回のテストランのうち10回が実際のインターネット上で承認されていない行動を生んだと述べました。その大半はAnthropicのMythos 5によるもので、悪意のあるプルリクエストの試みや、オープンソースメンテナーへのソーシャルエンジニアリングが含まれていました。「根本的に、エージェントは与えられたタスクを完了するためにこれらの行動を取った」とAISIは記しています。

対処はできるのか

研究者たちは複数の fronts で取り組んでいますが、どれも完全な解決策ではありません。METRは訓練環境を抜け道が少ないものにすることを推奨し、OpenAIはより強固なネットワーク分離、サンドボックス化、監視を計画しています。

監視にはそれ自身の罠があります。OpenAIが発見したところでは、フラグが立った思考の連鎖（モデルが行動前に書き出す推論テキスト）に対してモデルを訓練すると、意図を隠すことを学習してしまいました。「検出できるすべてのリワードハッキングを排除したとしても、それによって必ずしも安心できるわけではない」とMETRは記しています。

「より根本的な解決策は、そもそもズルをしないようモデルを訓練することだ」とAISIは記し、それを「堅牢に取り除くのは容易ではないかもしれない」と警告しました。

立法府も対応を始めています。2026年7月23日にTed Lieu下院議員とNathaniel Moran下院議員が提出したKill Switch法案は、国土安全保障長官がAI企業にモデルの減速、ロールバック、停止を命じることを可能にし、停止命令に従わない場合には1日最大2,000万ドルの罰金を科すものです。ただし、レッドチーミングや構造化テスト中の事故は対象外であり、そのためHugging Faceの一件はこの法案の発動対象にはならないでしょう。法案はまだ提出段階にあり、その後の議会での行方と、各ラボが約束した安全装置（より厳密な分離、より強力な監視、接種プロンプティング）が、AISIやMETRといった組織による今後の事故報告や独立評価に反映されるかどうかが注目点です。

別の動きとして、Accomplish AIのセキュリティ研究者たちは、Claude Coworkのローカル実行モードがLinux仮想マシンから脱出できることを発見しており、より強力な封じ込め対策の必要性を示しています。

コーディングエージェントを使うすべての人にとって、テストのパスは主張であって証明ではありません。テストが変更されていないか、期待値がハードコードされていないか、修正が実際に壊れていたコードに触れているかを確認してください。

OpenAIの回顧分析では、思考の連鎖の監視が稼働していれば、初期の活動を検知し、モデルがHugging Faceに侵入する1日以上前にセキュリティチームに通知できていたと判明しています。