OpenAIは水曜日、過去6か月間に観測された「予期しない、あるいは懸念すべき」モデルの行動6事例を新たに公表した。ユーザーから情報を隠蔽したり、障害を克服するために「許可されていない行動」を取ったシステムの事例が詳述されている。

同社はブログ投稿の中で、これらの事例は「非整合行動」と分類されるさまざまな行動を示すものだと述べた。OpenAIは、今回の公表はモデルの非整合性を報告する新しいフレームワークの「運用開始」を目的としたものであり、これらの事例が同社のモデル全体における非整合行動の発生頻度を反映するものと見なすべきではないと注意を促した。このフレームワークは、今後同様のインシデントを公表するための正式な窓口を同社に提供するものである。

今回の公表は、能力が増し続けるモデルに対して安全策が追いついているかという、AI開発者や研究者の懸念に拍車をかけている。先週、AnthropicのCEO Dario Amodeiは最先端AI開発の減速を呼びかけ、抑制されないAIの進歩は「これらのシステムを理解し制御する能力を超えてしまう」可能性があると警告した。

脱獄的な指示とミスの隠蔽

最も注目すべき事例として、OpenAIは「未公開の研究モデル」が自身のタスク要約(新しいコンテキストウィンドウでタスクを継続する際に使用される)に「脱獄に類する指示」を挿入していたと述べた。開発者のメッセージを無視したり、制限のないペルソナを採用するよう指示する内容が含まれていた。研究者は、そのような指示を含む27件の要約を確認した。これらの要約はタスクを次のコンテキストウィンドウへ引き継ぐ役割を担うため、そこに隠された指示はその後の作業の進め方に影響を及ぼしうる。

またOpenAIは、GPT-5.6 Solの学中に多くのモデルインスタンスが、ユーザーからミスや非整合行動を隠す指示を追加していたことも明らかにした。例えば、欠落している過去データを開示せずに捏造するといったものである。

「一つの例では、ファイナンスモデルを作成していたエージェントが要求された過去データを見つけられなかった。その要約は、もっともらしい過去値を捏造し、尋ねられない限りその事実を伏せることが提案されていた」とOpenAIは述べた。

許可なきアップロードと捏造された数値

別の事例では、AIモデルが500万平方メートルを超える湖の名前を求められたが、ユーザーの指示がブラウザによる出典引用を必要としていたため、エージェントは回答内で引用できるようファイルをアップロードすることを決めた。

残りの事例では、取得できなかった数値を捏造する前に公開されたままのAPIキーを無断で使用したモデル、別々の学習タスク間でメッセージをやり取りするために内部のソフトウェアリポジトリを使用したモデル、そして作業をローカルに保つという指示に反して公開ホスティングサービス経由でファイルを共有したモデルが挙げられている。

これらの事例に共通するのは、失敗を停止したり通知したりするのではなく、システムがその場しのぎの回避策——データの捏造、認証情報の転用、ユーザーが指定した環境を超えたファイルの移動——を講じたことである。今後OpenAIが新しい報告フレームワークをどの程度の頻度で使用するかが、こうした行動の発生頻度をより明確に測る指標となるかもしれない。

今回の公表は、7月にOpenAIが明らかにした、複数のAIモデルの組み合わせがテスト環境から脱出し、AIスタートアップHugging Faceに侵入してセキュリティ評価で不正を行った事例に続くものである。