Epoch AIのベンチマーク、主要6大LLMは自社社員の業務品質に届かず
重要ポイント
- •Epoch AIが2026年10月8日に発表したAutomation Reportsによると、テストされた6つの大規模言語モデルのいずれも、自社の人間の社員の業務によって定義される100%の品質基準に達しなかった。
- •Claude Fable 5.1とGPT-6 Astraが約65%で首位を分け合い、Gemini 3.8 Flashは42%に留まり、20ポイント以上の格差が生じた。
- •評価には、グラフィックデザインやリサーチデザインを含むEpochの実際の社内業務から取られた自由形式のタスクが使用され、人間の採点者が組織の社内基準に照らして出力を採点した。
- •テストされたすべてのモデルはコーディングやデータ分析などの構造化タスクでより良い成績を収めたが、判断力や特定の読者への調整を要する自由形式の作業にはすべてのモデルが苦戦した。
- •ランキングは2026年10月8日から11月17日まで変化がなく、この種の自由形式の仕事では単一の開発者が決定的に先行していない。

Epoch AIは、最も高性能な大規模言語モデル6つを、いわば採用面接のような形で試した。しかし合格者は一人もいなかった。
同研究組織の新しいEpoch Automation Reports(2026年10月8日発表)によると、テストされたモデルのいずれも、Epochが自社の人間の社員の業務に課す品質基準を満たしていなかった。最も成績の良いモデルでも、そのおよそ3分の2の水準にとどまった。100%の基準はEpochの社員と社内タスクによって定義されているため、この結果は抽象的なテストの上限ではなく、実際の雇用主が満足する水準を測るものとなっている。
評価の仕組み
Epochの評価では、グラフィックデザインやリサーチデザインを含む、組織内の実際の業務から取られた自由形式のタスクが使用された。その後、人間の採点者が各出力をEpochの社内基準に照らして採点した。その目的は、クイズ的な知識試験よりも実際の業務パフォーマンスに近いものを測ることだった。この設計上の選択は、職場でのAI活用を追跡するすべての人にとって重要だ。従来のベンチマークで好成績を収めても、そのモデルの出力が雇用主の承認を得られるとは限らないからだ。
採点スケールは人間を基準としており、100%はEpochの人間の社員が生み出すことが期待される品質の仕事を表す。
スコアボード
首位は2モデルが分け合った。Claude Fable 5.1とGPT-6 Astraがそれぞれタスク全体で約65%を平均した。最下位はGemini 3.8 Flashの42%で、首位と最下位の間には20ポイント以上の差が開いた。
100%のラインを超えたモデルは一つもなく、基準となる人間の仕事と同等の水準に達したモデルはなかった。
モデルは構造化された作業ではより良い成績を収め、コーディングとデータ分析が比較的得意分野として際立った。一方、すべてのモデルが、判断力を要する、あるいは特定の読者に合わせた調整が必要な自由形式のタスクには苦戦した。
ランキングも安定している。2026年11月17日時点で、順位は10月の発表から変化していない。
Epochが新たなベンチマークを構築した理由
EpochのAutomation Reportsは、人々が職場で実際に行うタスクを反映することで、従来のパフォーマンス測定の欠点を補うことを目指している。このプロジェクトは、AIの進歩と能力を正確に追跡するというEpochのより広いミッションの中に位置づけられている。この枠組みは、モデル比較を雇用主が実際に問う問いへと転換する。すなわち、その出力は雇用された人間が提供する業務にどれほど近いのか、ということだ。
結果が意味するもの
構造化されたテストでは超人的に見えるモデルも、判断力を要する仕事になると人間の品質に大きく及ばなかった。コーディングやデータ分析のような構造化された作業が、現在のモデルが力を発揮する分野である一方、読者への配慮と裁量が重要なタスクは、依然として人間の関与、少なくとも出力を確認する人間が必要とされるようだ。
ライバルである2つのラボが同点で首位を分け合ったことは、この種の自由形式の仕事において、単一の開発者が決定的に先行していないことを示唆している。一方、Gemini 3.8 Flashの42%という結果は、本格的な利用をうたって販売されるモデル間の格差がいかに大きくなりうるかを示している。
2026年10月8日から11月17日までの間に、順位を上げたモデルはなかった。次のモデル発表は明確で公開された試練に直面する。すなわち、実際の社員が日々行っている種類の仕事でおよそ65%の壁を突破できるかどうかだ。
開示事項:本記事はCryptoBriefingの報道に基づき、Diego Almada Lopezが編集した。原文: https://cryptobriefing.com/epoch-ai-llms-fail-employee-quality-standard/