IBM Research veröffentlicht BenchDrift, ein Open-Source-Tool zur Messung, wie sich die Prompt-Formulierung auf LLM-Benchmark-Scores auswirkt
Wichtige Erkenntnisse
- •BenchDrift misst „bidirektionale Korrektheitswechsel“ („bidirectional correctness flips“), bei denen sich die Antwort eines Modells allein durch Umformulierung von richtig zu falsch ändert – oder umgekehrt.
- •IBM Research testete acht Modelle auf GSM8K, MMLU und MATH-Hard und fand auf allen drei Benchmarks formulierungsbedingten Drift.
- •Schwächere Modelle profitierten häufiger von umformulierten Fragen, während stärkere Modelle beim Umschreiben der Prompts öfter an Genauigkeit einbüßten.
- •Die Forscher stellten fest, dass sich selbst Antworten mit hoher Konfidenz durch kleine Unterschiede bei der Fragenlänge oder im Fragenstil ändern können.
- •IBM hat BenchDrift als Open Source auf GitHub veröffentlicht – mit Pipeline-Code, Notebooks und Konfigurationsdateien.
IBM Research hat ein Paper veröffentlicht, das BenchDrift vorstellt – ein Open-Source-Tool, das quantifiziert, wie stark Benchmark-Scores großer Sprachmodelle schwanken, wenn Test-Prompts umformuliert werden, ohne dass sich die Bedeutung ändert. Das Projekt liefert eine konkrete Zahl für ein Problem, das jedem bekannt ist, der eine Prüfung hervorragend bestanden hat und anschließend an einer Wiederholungsprüfung mit leicht umformulierten Fragen gescheitert ist.
Wie BenchDrift funktioniert
Die zugrunde liegende Methode ist unkompliziert: Man nimmt eine Benchmark-Frage, formuliert sie so um, dass Bedeutung und richtige Antwort erhalten bleiben, und prüft, ob das Modell weiterhin richtig antwortet. BenchDrift wendet diesen Prozess systematisch über vier unterschiedliche Variationsachsen an: sprachlich, referenziell, pragmatisch und strukturell.
Das Tool erzeugt in großem Umfang umformulierte Varianten und verfolgt dann, was die Forscher als „bidirektionale Korrektheitswechsel“ („bidirectional correctness flips“) bezeichnen – Fälle, in denen die Antwort eines Modells allein aufgrund der Formulierung von richtig zu falsch oder von falsch zu richtig wechselt.
Das Forschungsteam unter der Leitung von Shailja Thakur, Sungeun An, Chad DeLuca und Hima Patel bei IBM Research evaluierte acht Modelle über drei weit verbreitete Benchmarks hinweg: GSM8K (Mathematik auf Grundschulniveau), MMLU (Massive Multitask Language Understanding) und MATH-Hard (fortgeschrittenes mathematisches Denken). Laut dem Paper trat der Drift durchgängig auf – ein Hinweis darauf, dass ein Benchmark-Score bereits auf die Formulierung reagieren kann, selbst wenn die zugrunde liegende Aufgabe unverändert bleibt.
Stärkere Modelle, größere Probleme
Das Muster war über die Fähigkeitsstufen hinweg nicht einheitlich. Schwächere Modelle profitierten tendenziell von umformulierten Fragen und erzielten richtige Antworten, die sie zuvor verpasst hatten. Stärkere Modelle zeigten das gegenteilige Verhalten: Sie verloren deutlich mehr Genauigkeit, wenn Fragen umformuliert wurden, obwohl die zugrunde liegende Bedeutung identisch blieb.
Die Forscher fanden außerdem heraus, dass Antworten mit hoher Konfidenz bereits durch geringfügige Änderungen bei der Länge oder im Stil der Frage nachlassen können. Das deutet darauf hin, dass die Sicherheit eines Modells – selbst wenn es bei seiner Antwort sicher wirkt – an einer bestimmten Formulierung verankert sein kann, statt auf tatsächlichem Verständnis zu beruhen.
Warum die Fragilität von Benchmarks auch außerhalb des Labors zählt
BenchDrift ergänzt eine wachsende Zahl von Belegen dafür, dass die derzeitige Evaluationsinfrastruktur für LLMs grundlegende Schwächen aufweist. IBMs eigene Vorarbeiten auf diesem Gebiet umfassen die Projekte ITBench und BenchmarkCards, die beide die Transparenz bei der KI-Bewertung verbessern sollen. BenchDrift baut darauf auf, indem es einen quantitativen Rahmen für das liefert, was die Forscher den „Formulierungseffekt“ („wording effect“) nennen – die messbare Lücke zwischen dem, was ein Benchmark-Score behauptet, und dem, was er tatsächlich belegt.
Das ist für alle relevant, die Benchmark-Ergebnisse nutzen, um Modelle zu vergleichen, Fortschritte im Zeitverlauf zu verfolgen oder kleine Score-Unterschiede zu interpretieren, denn die Empfindlichkeit gegenüber Formulierungen kann solche Vergleiche instabiler machen, als sie zunächst erscheinen. Das Tool wurde als Open Source über das GitHub-Repository IBM/BenchDrift veröffentlicht. Die Veröffentlichung umfasst den vollständigen Pipeline-Code, Jupyter-Notebooks und Konfigurationsdateien, die zum Erzeugen von Fragevarianten, zur Validierung, dass diese Varianten die Bedeutung bewahren, und zur Erkennung von Korrektheits-Drift benötigt werden.
