IBM Researchは、テストプロンプトの意味を一切変えずに言い換えた際に、大規模言語モデル(LLM)のベンチマークスコアがどの程度変動するかを定量化するオープンソースツール「BenchDrift」を紹介する論文を発表しました。このプロジェクトは、一度は合格点を取った試験でも、質問を少し言い換えただけの再試験で失敗してしまった経験がある人なら誰でも知っている問題に、具体的な数値を与えるものです。

BenchDriftの仕組み

その基本的な手法はシンプルです。ベンチマークの質問を取り上げ、意味と正解が保たれるように書き換え、モデルが引き続き正しく回答できるかを確認します。BenchDriftはこのプロセスを、言語的、参照的、語用論的、構造的という4つの異なる変動軸にわたって体系的に適用します。

このツールは大規模に言い換えバリエーションを生成し、研究者が「双方向の正誤反転(bidirectional correctness flips)」と呼ぶ現象を追跡します。これは、表現の仕方だけでモデルの回答が正解から不正解へ、あるいは不正解から正解へと切り替わる事例のことです。

IBM ResearchのShailja Thakur、Sungeun An、Chad DeLuca、Hima Patelが率いる研究チームは、広く使われている3つのベンチマーク、すなわちGSM8K(小学校レベルの算数)、MMLU(大規模マルチタスク言語理解)、MATH-Hard(高度な数学的推論)にわたって8つのモデルを評価しました。論文によると、ドリフトはどこでも確認されており、基礎となるタスクが変わらない場合でもベンチマークスコアが文言に敏感になりうることを浮き彫りにしています。

性能の高いモデルほど大きな問題

この傾向は能力レベルによって一様ではありませんでした。性能の低いモデルは言い換えられた質問から恩恵を受ける傾向があり、以前は間違えていた問題で正解を拾えるようになりました。一方、性能の高いモデルは逆の挙動を示し、元の意味が同一であっても、質問が言い換えられると大幅に多くの精度を失いました。

また研究者らは、質問の長さや文体のわずかな変化によって、高い信頼度の回答が劣化しうることも発見しました。これは、モデルが回答について確信しているように見えても、その確信が実際の理解ではなく特定の表現に固定されている可能性があることを示しています。

実験室の外でもベンチマークの脆弱性が重要な理由

BenchDriftは、現在のLLM評価インフラに根本的な弱点があることを示す証拠が増え続けていることに新たな知見を加えるものです。IBM自身のこれまでの関連研究には、いずれもAI評価の透明性向上を目的としたITBenchとBenchmarkCardsというプロジェクトが含まれます。BenchDriftは、研究者が「文言効果(wording effect)」と呼ぶもの、すなわちベンチマークスコアが主張することと実際に示していることの間の測定可能な乖離について、定量的な枠組みを提供することで、この取り組みを拡張するものです。

この点は、ベンチマーク結果を使ってモデルを比較したり、経時的な進捗を追跡したり、わずかなスコア差を解釈したりするすべての人にとって重要です。文言への感受性により、こうした比較は一見したほど安定していない可能性があるからです。このツールは、GitHubリポジトリ「IBM/BenchDrift」を通じてオープンソースとして公開されました。リリースには、質問のバリエーションを生成し、それらのバリエーションが意味を保持していることを検証し、正誤のドリフトを検出するために必要なパイプラインコード全体、Jupyterノートブック、構成ファイルが含まれています。