Towards AIは、2026年7月27日に更新された記事を公開し、学校、大学、その他の機関が信頼できる検出ツールを求め続ける中でも、AI生成テキストを確実に識別することがなぜ難しいのかを検討した。この記事はもともとTowards AIに掲載され、Mediumでも読むことができる。

この記事は、AIテキスト検出の背後にある分類器、ウォーターマーク、理論的限界に焦点を当てている。AIシステムが人間による直接の執筆なしに小論文や記事全体を書けるようになった2022年後半、信頼できる検出器への需要が生まれたという。教育機関やその他の組織はその後、特に著者性が学術上、職業上、または政策上の意味を持つ場面で、機械生成の文章と人間による文章を区別できるツールを求め始めた。

記事によれば、初期のAIテキスト検出器は、パープレキシティのような単純な予測可能性の尺度に依存することが多かった。より新しいシステムでは、学習済みのTransformerベース分類器を使い、テキストを埋め込み空間に変換したうえで、その一節が「AI」か「人間」かの確率推定を返す。しかし記事は、こうした新しいモデルであっても、AI生成の文章と人間が書いた文章を決定的に分ける明確なルールは示せないと指摘している。

記事は、検出器の性能向上として報告される結果が、ベンチマークの選択や学習方法に大きく左右される可能性があると論じている。そうした選択は近道やバイアスを生み、実用環境での性能以上に、管理されたテストで検出器が強力に見える原因となり得る。実際の利用では、文章条件の変化や、言い換え、検出器を意識した書き換えを含む敵対的攻撃によって、検出器は失敗し続けているという。

著者はまた、理論上の「上限」に関する結果も提示している。記事によると、信頼できる検出は、人間のテキスト分布とAIのテキスト分布がどれほど似たものになり得るかによって根本的に制約される。AI生成の文章がより流暢になり、人間の文章に近づくにつれて、検出器の性能はランダムな推測に似た水準へ押しやられる可能性がある。この見方は、問題を単一の製品比較にとどまらないものにしている。評価対象のテキストにもはや安定した検出可能な差異が含まれない場合、改良された分類器でさえ限界に直面し得るためだ。

記事はさらに、商用検出器を使った実地テストについても説明している。これらのテストで著者は、人間が書いた文章に対する予想外の偽陽性や、一見明らかに見える混在テキストに対する想定外の結果を確認した。結論として、根本的な検出問題は恒久的には解決できない可能性が高いため、機関は検出器のスコアを著者性の証明ではなく、弱いシグナルとしてのみ扱うべきだとしている。