Von William Isaac, Sol Messing und Kristian Lum

Google DeepMind hat die weltweit erste doppelt verblindete Bewertung eines proprietären KI-Modells der Frontier-Klasse vorgestellt. Der Ansatz hält externe Bewertungen in einer kryptografischen „Box“, sodass sie später nicht von Modellen genutzt werden können, um die Leistung vor dem Test zu optimieren.

Die Initiative zielt darauf ab, Vertrauen in proprietäre Modell-Benchmarks mithilfe kryptografisch sicherer Umgebungen aufzubauen. Stellen Sie sich einen Schüler vor, der eine Prüfung mit hohem Einsatz ablegen soll: Wenn der Schüler die Testfragen versehentlich im Voraus sieht, wird eine perfekte Punktzahl durch dieses Wissen beeinflusst und ist kein sinnvoller Erfolg mehr. Um wirklich zu messen, was er weiß, darf er die Testfragen erst sehen, wenn es Zeit ist, die Prüfung abzulegen.

Genau vor dieser Herausforderung steht die Branche bei der Bewertung fortgeschrittener KI-Modelle. Wenn ein Modell die Testfragen bereits gesehen hat – ein Problem, das als Benchmark-Kontamination bekannt ist – sind die Ergebnisse nur bis zu einem gewissen Grad vertrauenswürdig. Diese Sorge ist in der Forschungsliteratur gut dokumentiert. Studien haben gezeigt, dass öffentliche Benchmark-Testsets in die Web-Korpora gelangen, mit denen große Modelle trainiert werden, was Datenverantwortliche dazu veranlasst hat, Werkzeuge wie Canary-Strings einzuführen, mit denen Entwickler erkennen können, ob ein Benchmark in Trainingsdaten aufgetaucht ist.

Der Pilot wird in Zusammenarbeit mit dem Singapore AI Safety Institute, OpenMined, AVERI und MLCommons durchgeführt. Gemeinsam werden die Partner ein Gemini Flash Lite-Modell gegen vertrauliche Benchmarks in einer datenschutzwahrenden Umgebung testen, um die Integrität der Bewertung zu erhöhen.

Google gibt an, seine KI-Systeme während der gesamten Modellentwicklung und des Einsatzes mit einem breiten Spektrum von Bewertungen zu prüfen, verlässt sich jedoch nicht allein auf interne Tests. Um potenzielle blinde Flecken zu erkennen, arbeitet das Unternehmen mit einer vielfältigen Gruppe externer Partner zusammen – darunter spezialisierte Forschungslabore, die Zivilgesellschaft sowie nationale AI Safety and Security Institutes (AISIs) – und nutzt deren besondere Expertise, um seine Modelle auf die Probe zu stellen. Auch AISIs sind eine jüngere institutionelle Entwicklung: Ende 2024 bildeten KI-Sicherheitsinstitute aus Regierungen einschließlich der Vereinigten Staaten, des Vereinigten Königreichs, Japans, Singapurs, Südkoreas und der Europäischen Union ein internationales Netzwerk, um die Bewertung fortgeschrittener KI-Systeme zu koordinieren.

Da KI-Modelle immer leistungsfähiger werden, ist es entscheidend sicherzustellen, dass ein Modell die Testfragen oder Prompts nicht im Voraus gesehen hat, da dies die Ergebnisse verzerren kann. Entscheidungsträger, Forschende und Unternehmen müssen darauf vertrauen können, dass KI-Benchmarks die tatsächlichen Fähigkeiten und die Sicherheit eines Modells korrekt widerspiegeln. Wenn Modelle jedoch im Voraus einen „Blick“ auf die Bewertungsfragen werfen können, können die Ergebnisse künstlich aufgebläht werden und dieses Vertrauen untergraben.

Obwohl Zero-Logging-Protokolle und strenge vertragliche Schutzmaßnahmen externe Testprompts seit Langem vertraulich halten, stellt die Einbeziehung technischer und kryptografischer Schutzmechanismen einen wichtigen Fortschritt für die sichere Modellbewertung dar.

Wie doppelt verblindete Bewertungen funktionieren

Historisch gesehen erforderten externe Bewertungen mit hohem Einsatz einen Kompromiss. Entweder gaben die Bewerter ihre Testprompts weiter und riskierten, dass der Modellanbieter die Testfragen im Voraus sieht, oder der Modellanbieter gab seine Modellgewichte weiter und riskierte sein geistiges Eigentum.

Doppelt verblindete Bewertungen beseitigen diesen Kompromiss. Durch den Einsatz von Confidential Space innerhalb des Confidential-Computing-Portfolios von Google Cloud können beide Seiten kryptografisch verifizieren, dass sowohl die externen Bewertungsdaten als auch das proprietäre Modell privat bei ihren jeweiligen Eigentümern bleiben. Der Bewerter kann die Gemini-Modellgewichte nicht sehen, und Google kann die Testprompts des Bewerters nicht sehen. Confidential Computing selbst ist eine etablierte Technologie: Sie basiert auf hardwaregestützten Trusted Execution Environments, die Daten auch während der Verarbeitung verschlüsselt halten – ein Ansatz, der bereits in regulierten Branchen wie dem Gesundheits- und Finanzwesen verwendet wird.

Ein neuer Ansatz zum Aufbau von Vertrauen in Modellbewertungen

Dieser kryptografische Nachweis hilft, Benchmark-Kontamination zu verhindern und sensible Daten zu schützen. Da Modelle immer leistungsfähiger werden, ist dies besonders wichtig für besonders sensible Bewertungen, etwa im Bereich Cybersicherheit oder bei staatlichen Stellen. Doppelt verblindete Bewertungen ermöglichen es unabhängigen Organisationen, fortgeschrittene Modelle gründlich zu testen, ohne Datenhoheit oder Sicherheit zu beeinträchtigen.

Google hofft, dass dieser Pilot einen neuen Maßstab für die Aufsicht über Modelle setzt und der breiteren Branche hilft, sicherere, zuverlässigere und weithin vertrauenswürdige KI-Systeme zu entwickeln. Weitere Einzelheiten zur Methodik und zu den Ergebnissen finden sich im technischen Bericht.