IBM Research ha pubblicato un paper che introduce BenchDrift, uno strumento open source progettato per quantificare di quanto i punteggi dei benchmark dei modelli linguistici di grandi dimensioni cambiano quando i prompt di test vengono riformulati senza alcuna modifica di significato. Il progetto attribuisce un valore preciso a un problema noto a chiunque abbia superato un esame per poi fallire una prova successiva costruita con domande appena rimaneggiate.

Cosa misura realmente BenchDrift

Il principio di base è semplice: prendere una domanda di benchmark, riscriverla in modo da preservarne il significato e la risposta corretta, quindi verificare se il modello risponde ancora correttamente. BenchDrift applica questo processo in modo sistematico lungo quattro distinte dimensioni di variazione: linguistica, referenziale, pragmatica e strutturale.

Lo strumento genera varianti riformulate su larga scala e poi monitora quelle che i ricercatori definiscono "bidirectional correctness flips", casi in cui la risposta di un modello passa da corretta a errata, o da errata a corretta, esclusivamente in base alla formulazione.

Il team di ricerca, guidato da Shailja Thakur, Sungeun An, Chad DeLuca e Hima Patel presso IBM Research, ha valutato otto modelli su tre benchmark ampiamente utilizzati: GSM8K (matematica per la scuola primaria), MMLU (massive multitask language understanding) e MATH-Hard (ragionamento matematico avanzato). Lo studio rileva drift in modo diffuso.

Modelli più forti, problemi più grandi

I modelli più deboli tendevano a trarre vantaggio dalle domande riformulate, recuperando risposte corrette che in precedenza avevano mancato. I modelli più forti, invece, mostravano una vulnerabilità maggiore. Perdevano molta più accuratezza quando le domande venivano riformulate, anche se il significato di base restava identico.

Punteggi di confidenza elevata possono deteriorarsi con piccole modifiche nella lunghezza o nello stile della domanda, il che significa che, anche quando un modello sembra sicuro della propria risposta, quella sicurezza potrebbe dipendere da una formulazione specifica più che da una reale comprensione.

Perché la fragilità dei benchmark conta oltre il laboratorio

BenchDrift si aggiunge a un corpus crescente di prove che suggeriscono debolezze fondamentali nell'infrastruttura di valutazione. Il lavoro precedente di IBM in questo ambito include progetti come ITBench e BenchmarkCards, entrambi orientati a migliorare la trasparenza nella valutazione dell'IA. BenchDrift estende questo sforzo fornendo un quadro quantitativo per quello che i ricercatori chiamano "wording effect", il divario misurabile tra ciò che un punteggio di benchmark dichiara e ciò che dimostra realmente.

Lo strumento è stato rilasciato come open source tramite il repository GitHub (IBM/BenchDrift), che include il codice completo della pipeline, notebook Jupyter e file di configurazione necessari per generare varianti delle domande, verificare che tali varianti preservino il significato e rilevare il correctness drift.