AI搭載ピアレビューの有効性を検証する統制実験において、研究者のポール・リトバク（Paul Litvak）はAnthropicのClaudeと協力し、10編のオープンアクセス心理学論文に100個の既知のエラーを埋め込んだ上で、複数の最先鋭AIモデルと2つの商用AIレビューツールに modified された論文を読み込ませた。この実験は、学術出版におけるAI支援レビューワークフローに対する高まる関心を反映している。同分野では、過重労働に直面するレビュアーと増大する投稿量が品質管理に関する議論を激化させている。

結果にはパフォーマンスの顕著なばらつきが見られた。最も優れた単一システムは100個中71個のエラーを特定した一方、最も成績の低いシステムは30個しか検出できなかった。しかし、全システムの出力を統合（プール）することで検出率は100個中93個に向上した。これは、異なるモデルが検出するエラーの相関が部分的でしかないという事実による大幅な改善である。統合による効果は、機械学習における長年の原則と一致している。多様な分類器を組み合わせることで、相関のない誤りが相殺され、単一モデルを上回る性能が得られることが多い。リトバクは、複数モデルのアンサンブルが学術論文の問題を特定するための強力な戦略であると強調し、研究者に対して複数のモデルで原稿をチェックすることを推奨した。

7個のエラーはテストしたすべてのシステムから逃れた。その7個はいずれもオミッション（欠落）、つまり新しい誤りが挿入されたのではなく、論文から情報が削除されたケースであり、AIツールは捏造や改ざんされたコンテンツの検出には優れているものの、欠落した情報の発見は苦手であることが示唆された。この区別は、心理学において特に重要である。同分野は広く文書化された再現性の危機に直面しており、方法、分析、データに関する詳細が欠落すると、他の研究者が知見を再現する能力が損なわれる可能性がある。

評価されたツールのうち、Refine.inkは他のどの単一システムよりも多くの固有のエラーを検出した。ただし、リトバクは使用コストが高いと指摘しており、コストの障壁がどの研究者や機関が最も効果的なAI支援レビューにアクセスできるかに影響を与える可能性についての疑問も提示された。

リトバクは本研究の2つの限界を認識している。第一に、偽陽性率を測定していないこと。第二に、埋め込んだエラーの分布が現実の論文に見られるエラーの分布を反映していない可能性があることである。偽陽性データがないことは注目すべき点である。なぜなら、偽陽性率が高い場合、研究者が大量の誤った指摘を手作業でふるい分けしなければならず、レビュアーの作業負担を軽減するどころか増大させる可能性があるためである。

さらなる研究を支援するため、リトバクは論文、埋め込んだエラー、モデル出力、および完全な実験ログをGitHubで公開した：https://github.com/Dawes-Institute/ai-peer-review-benchmark。彼は、この成果を基にして学術分野全体にわたる包括的な評価ベンチマークの構築を他者が進めることを期待している。

ポール・リトバクによる詳細な記事はこちらで読むことができる。注目すべきは、この実験は最新世代のAIモデルを使用していなかったという点であり、より新しいシステムではさらに高い検出率が達成される可能性がある。

本研究の成果はMarginal Revolutionで取り上げられた。