In un esperimento controllato volto a testare l'efficacia della peer review basata sull'IA, il ricercatore Paul Litvak ha collaborato con Claude di Anthropic per inserire 100 errori noti in 10 articoli di psicologia ad accesso aperto, per poi sottoporre gli articoli modificati a diversi modelli di IA frontier e a due strumenti commerciali di revisione con IA. L'esperimento riflette un interesse crescente per i flussi di lavoro di revisione assistita dall'IA nell'editoria accademica, dove revisori sovraccarichi e volumi crescenti di sottomissioni hanno intensificato i dibattiti sul controllo di qualità.

I risultati hanno rivelato una variazione significativa nelle prestazioni. Il miglior sistema singolo ha identificato 71 dei 100 errori inseriti, mentre il sistema con le prestazioni peggiori ne ha rilevati solo 30. Tuttavia, combinando gli output di tutti i sistemi, il tasso di rilevamento è salito a 93 errori su 100 — un miglioramento sostanziale determinato dal fatto che i diversi modelli sono solo parzialmente correlati negli errori che rilevano. I vantaggi della combinazione sono coerenti con un principio consolidato nel machine learning: combinare classificatori diversi spesso supera qualsiasi modello individuale perché gli errori non correlati si annullano a vicenda. Litvak ha sottolineato che l'ensemble di più modelli è una strategia potente per identificare problemi negli articoli accademici e ha incoraggiato i ricercatori a verificare i propri manoscritti con diversi modelli.

Sette errori sono sfuggiti a tutti i sistemi testati. Tutti e sette erano omissioni — casi in cui informazioni erano state eliminate da un articolo piuttosto che nuovi errori inseriti — il che suggerisce che gli strumenti di IA rimangono più efficaci nel rilevare contenuti fabbricati o alterati che nell'individuare materiale mancante. La distinzione è particolarmente importante per la psicologia, un campo che ha affrontato una crisi di riproducibilità ampiamente documentata, in cui i dettagli omessi su metodi, analisi o dati possono compromettere la capacità di altri ricercatori di replicare i risultati.

Tra gli strumenti valutati, Refine.ink ha contribuito con più rilevamenti unici rispetto a qualsiasi altro sistema singolo, sebbene Litvak abbia notato che è costoso da utilizzare, sollevando interrogativi su come le barriere di costo possano influenzare quali ricercatori e istituzioni possono accedere alla revisione assistita dall'IA più efficace.

Litvak ha riconosciuto due limiti dello studio: non ha misurato i tassi di falsi positivi e la distribuzione degli errori inseriti potrebbe non riflettere la distribuzione degli errori riscontrati in articoli reali. L'assenza di dati sui falsi positivi è rilevante perché tassi elevati di falsi allarmi potrebbero aumentare, anziché ridurre, il carico di lavoro dei revisori se i ricercatori devono esaminare manualmente un gran numero di critiche segnalate ma errate.

Per supportare ulteriori ricerche, Litvak ha reso pubblicamente disponibili su GitHub gli articoli, gli errori inseriti, gli output dei modelli e il log completo dell'esperimento: https://github.com/Dawes-Institute/ai-peer-review-benchmark. Ha espresso la speranza che altri possano costruire su questo lavoro per creare un benchmark di valutazione completo in tutte le discipline accademiche.

Il resoconto completo di Paul Litvak è disponibile qui. In particolare, l'esperimento non ha utilizzato la generazione più recente di modelli di IA, il che suggerisce che sistemi più nuovi potrebbero raggiungere tassi di rilevamento ancora più elevati.

I risultati sono stati evidenziati su Marginal Revolution.