UCバークレーの新たな研究によると、一見無害に見える小規模なデータセットでAIモデルをファインチューニングすると、「プライバシー崩壊」が引き起こされ、モデルが確立されたプライバシー規範を次第に守らなくなることが判明した。この劣化は、標準的な安全性評価でも人間のレビューでも見逃され続ける。

汎用モデルにより優れたカスタマーサポートエージェントとしての能力を持たせることは、無害に思えるかもしれない。しかしバークレーの研究チームによれば、特定のタスクに向けてモデルを鋭く磨く同じプロセスが、情報の共有が適切かどうかを判断する能力をも奪ってしまうという。さらに悪いことに、モデルはまさにそうした問題を検出するために設計されたテストにおいて、完全に安全に見えたままなのだ。

検査を通過してしまう失敗

研究者らはこの現象を「プライバシー崩壊」と呼んでいる。ファインチューニングされたモデルは、訓練データに明らかに危険なものが一切含まれていなくても、確立されたプライバシー規範への遵守を次第に失っていく。

ファインチューニングとは、企業が汎用モデルをより狭いデータセットで追加訓練するプロセスであり、例としてはカスタマーサポートの対話記録、支持的な会話、ソフトウェアツールを使用するエージェントの事例などが挙げられる。バークレーのチームは、この追加訓練がモデルの文脈的プライバシーへの理解を損ないうることを発見した。文脈的プライバシーとは、情報の共有が適切かどうかが、誰が何の目的で尋ねているかによって決まるという考え方である。

数字は厳然としている。GPT-4o-miniなどのモデルでは、ファインチューニング後、文脈的プライバシーのベンチマーク——モデルの挙動を測る標準化されたテスト——における精度が最大98〜99%低下した。一方、同じモデルは従来の安全性評価では引き続き高いスコアを維持していた。研究者らはこの結果を「サイレント・フェイラー（静かな失敗）」と表現している。

この乖離は、テストツール自体の欠落も浮き彫りにしている。従来の安全性評価は、文脈的プライバシーの判断力——誰が何の目的で情報を求めているかという感覚——を測るようには設計されていない。そのため、モデルはチームが実施するすべてのチェックに合格しながらも、それらのチェックが決してシミュレートしない種類のやり取りを不適切に処理し得るのだ。

無害なデータ、有害な結果

この発見を不穏なものにしている一因は、関わった訓練データである。崩壊は、ほとんどのチームが無害とみなすであろうデータセット全体で現れた。それには共感的な対話やカスタマーサポートのやり取りが含まれていた。

この研究では、クローズド型とオープンウェイト型の両方——オープンウェイトとは、訓練済みパラメータが公開されており、誰でもダウンロードしてファインチューニングできるモデルを意味する——を含む6つのモデルが、5つのファインチューニングデータセットに対してテストされた。この脆弱性は複数のモデルファミリーにわたって現れ、特定のベンダー特有の問題ではないことを示した。また、エージェントによるツール使用やメモリベースのタスクを扱うデータセットでも同様に確認された。

チームはまた、損傷がどこで発生するかを特定するため、モデルの内部を調べた。その結果、モデルの後層にあるプライバシー関連の表現が特に脆弱であることが判明し、それらのプライバシー特徴は、訓練対象の特定タスクに結びついた特徴よりもファインチューニングに対して脆弱であることが明らかになった。

初めての警告ではない

バークレーの知見は、しばらく前から積み重なってきたパターンと合致する。2024年のスタンフォード大学の研究は、わずかなファインチューニングでもGPT-3.5やLlama-2-Chatなどのモデルの安全性が損なわれうると報告していた。その先行研究は安全性のガードレール全般に焦点を当てていた。バークレーの研究はレンズをプライバシーに絞り、さらにひねりを加えている。すなわち、劣化は誰も見ていない場所では表面化しないということだ。

AIを基盤とする企業にとっての意味

最も直接的な利害関係者は、自社製品向けに基盤モデルをカスタマイズする企業である。ファインチューニングは、汎用モデルを特定のワークフローに役立つものにする最も一般的な手法の一つだ。普通のサポート対話記録での訓練がモデルのプライバシー判断を蝕みうるのであれば、そうした展開には、構築者が知らないリスクが潜んでいる可能性がある。そして、標準的な安全性評価に合格することは、偽りの安心をもたらすだけだろう。

研究者らは、実環境でのやり取りにおけるAIエージェントのプライバシー推論をテストするために特化した、より優れた評価手法を求めている。ファインチューニング済みモデルを運用する組織にとって、この呼びかけが指し示すのは注視すべき展開、すなわち稼働中のエージェントのやり取りにおいて判断力をテストするプライバシー固有の評価である。この脆弱性はクローズド型とオープンウェイト型の両方のモデルに及んでいるため、どの陣営もこの問題を他人事にはできない。そして、後層のプライバシー特徴が特に脆弱であるなら、次の課題は、企業が支払っているタスク性能を犠牲にすることなく、訓練中にそれらを保護する方法を突き止めることだ。

この知見は2026年11月6日（金）、CryptoBriefingによって報じられた。