執筆：William Isaac、Sol Messing、Kristian Lum

Google DeepMindは、独自開発のフロンティアクラスAIモデルに対する世界初のダブルブラインド評価を導入しました。この手法では、外部評価を暗号学的な「ボックス」内に閉じ込め、モデルが後からテスト前に性能を最適化する目的で利用できないようにします。

この取り組みは、暗号学的に安全な環境を活用し、独自モデルのベンチマークに対する信頼を構築することを目指しています。重要な試験を受けようとする学生を考えてみましょう。もし学生が誤って試験問題を事前に覗いてしまった場合、満点を取ってもその知識に影響されたものであり、無意味な達成となってしまいます。本当の学力を測るには、試験を受ける時が来るまで試験問題が一切見えない状態でなければなりません。

これは、高度なAIモデルを評価する際に業界がまさに直面している課題です。モデルがすでにテスト問題を見てしまっている場合――「ベンチマーク汚染」として知られる問題です――結果は限られた範囲でしか信頼できません。この懸念は研究文献で十分に文書化されており、公開ベンチマークのテストセットが大規模モデルの学習に用いられるウェブ規模のコーパスに漏れ込んでいることを研究で発見したことから、データセット管理者は、ベンチマークが学習データに含まれていたかを開発者が検出できるカナリア文字列（canary strings）などのツールを追加するようになりました。

この試験は、Singapore AI Safety Institute（シンガポールAI安全性研究所）、OpenMined、AVERI、MLCommonsとのパートナーシップのもと実施されています。パートナー各社は、プライバシー保護環境において機密ベンチマークに対してGemini Flash Liteモデルをテストし、評価の完全性を高めます。

Googleは、モデルの開発から展開までの全過程で幅広い種類の評価を用いてAIシステムを評価しているものの、社内テストのみに依存しているわけではないと述べています。潜在的なブラインドスポット（盲点）を特定するため、同社は専門研究機関、市民社会、各国のAI安全性・セキュリティ研究所（AISI）など多様な外部パートナーと協力し、それぞれの専門知見を活用して自社モデルにストレステストを実施しています。AISI自体も比較的新しい制度であり、2024年後半には、米国、英国、日本、シンガポール、韓国、EUなどの政府のAI安全性研究所が、高度なAIシステムの評価に関する調整を行うための国際ネットワークを結成しました。

AIモデルの能力が高まるにつれ、モデルがテスト問題やプロンプトを事前に見ていないことを保証することが極めて重要になります。事前露出は結果を歪める可能性があるためです。政策立案者、研究者、企業は、AIベンチマークがモデルの真の能力と安全性を正確に反映していることを信頼できる必要があります。しかし、モデルが評価問題を事前に「覗く」ことができれば、スコアは人為的に水増しされ、その信頼が損なわれるおそれがあります。

ゼロログプロトコルや厳格な契約上の保護措置により、外部テストプロンプトは長らく機密に保たれてきましたが、技術的・暗号学的な保護を組み込むことは、安全なモデル評価における大きな前進となります。

ダブルブラインド評価の仕組み

従来、重要度の高い外部評価にはトレードオフが伴っていました。評価者がテストプロンプトを引き渡せば、モデル提供者がテスト問題を事前に見るリスクがあり、モデル提供者がモデルの重みを引き渡せば、知的財産を危険にさらすことになります。

ダブルブラインド評価はこの妥協を解消します。Google CloudのConfidential Computingポートフォリオに含まれるConfidential Spaceを利用することで、双方の当事者は、外部評価データと独自モデルがそれぞれの所有者にとって非公開のまま維持されていることを暗号学的に検証できます。評価者はGeminiモデルの重みを見ることはできず、Googleは評価者のテストプロンプトを見ることはできません。コンフィデンシャルコンピューティング自体は確立された技術であり、処理中であってもデータを暗号化したまま保つハードウェアベースの信頼実行環境に依存しています。このアプローチは、ヘルスケアや金融などの規制対象業界ですでに利用されています。

モデル評価における信頼構築への新たなアプローチ

この暗号学的証拠は、ベンチマーク汚染の防止に役立ち、機微なデータを保護します。モデルの能力が高まるにつれ、これはサイバーセキュリティや政府機関による評価など、機微性の高い評価において特に重要になります。ダブルブラインド評価により、独立した組織は、データ主権やセキュリティを損なうことなく高度なモデルを厳格にテストできるようになります。

Googleは、この試験がモデル監督の新たなフロンティアを確立し、業界全体がより安全で信頼性が高く、広く信頼されるAIシステムを構築する一助となることを期待しています。手法と調査結果の詳細は、技術レポートで確認できます。