IBM Research lance BenchDrift, un outil open source pour mesurer l’effet du libellé sur les scores de benchmark des LLM
Points clés
- •BenchDrift mesure les « bidirectional correctness flips », lorsque la réponse d’un modèle passe de correcte à incorrecte, ou l’inverse, en raison d’une simple reformulation.
- •IBM Research a testé huit modèles sur GSM8K, MMLU et MATH-Hard et a constaté un drift lié au wording sur ces trois benchmarks.
- •Les modèles les moins performants avaient davantage tendance à bénéficier des questions reformulées, tandis que les modèles plus performants perdaient souvent en précision lorsque les invites étaient réécrites.
- •Les chercheurs ont constaté que même des réponses à forte confiance peuvent changer avec de légères différences de longueur ou de style de question.
- •IBM a publié BenchDrift en open source sur GitHub avec le code du pipeline, des notebooks et des fichiers de configuration.
IBM Research a publié un article présentant BenchDrift, un outil open source conçu pour quantifier à quel point les scores de benchmark des grands modèles de langage varient lorsque les invites de test sont reformulées sans changement de sens. Le projet chiffre un problème bien connu de toute personne ayant réussi un examen avant d’échouer à une nouvelle version fondée sur des questions légèrement reformulées.
Ce que BenchDrift mesure réellement
La méthode de base est simple : prendre une question de benchmark, la reformuler de manière à préserver son sens et sa bonne réponse, puis vérifier si le modèle répond toujours correctement. BenchDrift applique ce processus de façon systématique selon quatre axes distincts : linguistique, référentiel, pragmatique et structurel.
L’outil génère ces variantes à grande échelle, puis suit ce que les chercheurs appellent des « bidirectional correctness flips », c’est-à-dire des cas où la réponse d’un modèle passe de correcte à incorrecte, ou d’incorrecte à correcte, uniquement en raison de la formulation.
L’équipe de recherche, dirigée par Shailja Thakur, Sungeun An, Chad DeLuca et Hima Patel chez IBM Research, a évalué huit modèles sur trois benchmarks largement utilisés : GSM8K (mathématiques de niveau primaire), MMLU (compréhension du langage multitâche à grande échelle) et MATH-Hard (raisonnement mathématique avancé). Le drift est apparu partout.
Des modèles plus performants, des problèmes plus importants
Les modèles les moins performants avaient tendance à bénéficier des questions reformulées, en trouvant des réponses correctes qu’ils avaient auparavant manquées. Les modèles plus performants ont montré la tendance inverse : ils ont perdu nettement davantage de précision lorsque les questions étaient reformulées, alors même que le sens sous-jacent restait identique.
Des scores de confiance élevés peuvent se dégrader avec de légères modifications de la longueur ou du style de la question, ce qui signifie que, même lorsqu’un modèle semble certain de sa réponse, cette certitude peut être ancrée dans une formulation spécifique plutôt que dans une véritable compréhension.
Pourquoi la fragilité des benchmarks compte au-delà du laboratoire
BenchDrift s’ajoute à un ensemble croissant d’éléments montrant que l’infrastructure d’évaluation actuelle présente des faiblesses fondamentales. Les travaux antérieurs d’IBM dans ce domaine incluent notamment ITBench et BenchmarkCards, deux projets visant à améliorer la transparence de l’évaluation de l’IA. BenchDrift prolonge cet effort en fournissant un cadre quantitatif pour ce que les chercheurs appellent le « wording effect », soit l’écart mesurable entre ce qu’un score de benchmark prétend démontrer et ce qu’il démontre réellement.
L’outil a été publié en open source via le dépôt GitHub (IBM/BenchDrift), qui comprend le code complet du pipeline, des notebooks Jupyter et les fichiers de configuration nécessaires pour générer des variantes de questions, vérifier que ces variantes préservent le sens et détecter le drift de correction.
