In een gecontroleerd experiment om de effectiviteit van AI-aangedreven peer review te testen, werkte onderzoeker Paul Litvak samen met Anthropic's Claude om 100 bekende fouten te planten in 10 open-access psychologische publicaties. Vervolgens werden de aangepaste publicaties door meerdere frontier AI-modellen en twee commerciële AI-reviewtools gehaald. Het experiment weerspiegelt een groeiende belangstelling voor AI-ondersteunde review-workflows in de academische uitgeverijwereld, waar overbelaste reviewers en stijgende inzendaantallen de debatten over kwaliteitscontrole hebben geïntensiveerd.

De resultaten toonden aanzienlijke variatie in prestaties. Het beste enkele systeem identificeerde 71 van de 100 aangebrachte fouten, terwijl het slechtst presterende systeem er slechts 30 vond. Het combineren van de output van alle systemen bracht de detectiescore echter naar 93 van de 100 fouten — een aanzienlijke verbetering die voortkomt uit het feit dat verschillende modellen slechts gedeeltelijk gecorreleerd zijn in de fouten die ze detecteren. De winst uit het combineren is consistent met een langdurig principe in machine learning: het combineren van diverse classifiers presteert vaak beter dan elk individueel model, omdat ongecorreleerde fouten elkaar opheffen. Litvak benadrukte dat het samenvoegen van meerdere modellen een krachtige strategie is voor het identificeren van problemen in academische publicaties en ried onderzoekers aan om hun manuscripten tegen meerdere modellen te controleren.

Zeven fouten ontgingen elk getest systeem. Alle zeven waren weglatingen — gevallen waarin informatie uit een publicatie was verwijderd in plaats van dat er nieuwe fouten waren ingevoegd — wat suggereert dat AI-tools beter zijn in het detecteren van gefabriceerde of gewijzigde inhoud dan in het opmerken van ontbrekend materiaal. Dit onderscheid is vooral relevant voor de psychologie, een vakgebied dat heeft geworsteld met een wijd gedocumenteerde reproduceerbaarheidscrisis, waarbij weggelaten details over methoden, analyses of gegevens het vermogen van andere onderzoekers om bevindingen te repliceren kunnen ondermijnen.

Van de geëvalueerde tools droeg Refine.ink meer unieke vondsten bij dan welk ander enkel systeem ook, hoewel Litvak opmerkte dat het gebruik ervan kostbaar is. Dit roept vragen op over hoe kostenbarrières kunnen bepalen welke onderzoekers en instellingen toegang hebben tot de meest effectieve AI-ondersteunde review.

Litvak erkende twee beperkingen van het onderzoek: hij mat geen vals-positieve percentages, en de verdeling van aangebrachte fouten weerspiegelt mogelijk niet de verdeling van fouten in echte publicaties. De afwezigheid van vals-positieve gegevens is opvallend, omdat hoge foutalarmpercentages de werklast van reviewers kunnen vergroten in plaats van verlichten, als onderzoekers handmatig door grote aantallen gemarkeerde maar onjuiste kritieken moeten spitten.

Om vervolgonderzoek te ondersteunen, maakte Litvak de publicaties, aangebrachte fouten, model-outputs en het volledige experimentlogboek openbaar op GitHub: https://github.com/Dawes-Institute/ai-peer-review-benchmark. Hij sprak de hoop uit dat anderen voortbouwen op dit werk om een uitgebreide evaluatie-benchmark te creëren across academische disciplines.

De volledige beschrijving van Paul Litvak is hier beschikbaar. Het experiment maakte opvallend genoeg geen gebruik van de meest recente generatie AI-modellen, wat suggereert dat nieuwere systemen mogelijk nog hogere detectiescores kunnen bereiken.

De bevindingen werden belicht op Marginal Revolution.