新闻宏观经济Epoch AI 基准测试:六大领先大模型均未达到其自家员工的工作质量水准

Epoch AI 基准测试:六大领先大模型均未达到其自家员工的工作质量水准

作者: CryptoBriefing·

要点速览

  • •Epoch AI 于2026年10月8日发布的自动化报告显示,六个受测大语言模型均未达到由其自家人类员工工作所定义的100%质量标准。
  • •Claude Fable 5.1 和 GPT-6 Astra 以约65%的人类水平工作质量并列榜首,Gemini 3.8 Flash 以42%垫底,两者相差超过20个百分点。
  • •评估采用源自 Epoch 真实内部工作(包括平面设计和研究设计)的开放式任务,由人工评分员依据机构内部标准为输出打分。
  • •所有受测模型在编程和数据分析等结构化任务上表现更好,但每个模型都在需要判断力或针对特定受众定制的开放式工作上表现吃力。
  • •2026年10月8日至11月17日期间模型排名没有变化,且在这一类型的开放式工作上,尚无单一开发商取得决定性领先。
Epoch AI 基准测试:六大领先大模型均未达到其自家员工的工作质量水准

Epoch AI 让六个最强大的大语言模型经历了一场类似求职面试的考验——结果没有一个“候选人”获得录用。根据该研究机构最新发布的自动化报告,顶级模型在真实内部任务上的平均工作质量约为人类水平的65%。

这家研究机构的 Epoch 自动化报告于2026年10月8日发布,结果显示,没有任何受测模型达到 Epoch 对自家人类员工完成工作所设定的质量标准。表现最好的模型大约达到了三分之二的水平。由于100%的基准由 Epoch 自己的员工和内部任务定义,这些结果衡量的是真实雇主的接受标准,而非抽象的测试上限。

评估方法

Epoch 的评估采用了源自该机构真实内部工作的开放式任务,包括平面设计和研究设计。随后由人工评分员依据 Epoch 的内部标准对每项输出进行评分,目标是衡量更接近实际工作表现的能力,而非一场知识问答竞赛。这一设计选择对于追踪 AI 在职场应用的人士意义重大:在传统基准测试中表现出色,并不自动意味着模型的输出能获得雇主的认可。

评分标准以人为锚点:100分代表 Epoch 的人类员工理应产出的工作质量。

评分榜

两个模型并列榜首,Claude Fable 5.1 和 GPT-6 Astra 在各项任务中的平均得分均约为65%。垫底的是 Gemini 3.8 Flash,得分为42%——领先者与落后者之间相差超过20个百分点。

没有任何模型越过100%的界线。没有一个达到为其设定标准的人类员工的水平。

模型在结构化工作上表现更好,编程和数据分析是相对的强项。但每个模型都在需要判断力或要求针对特定受众定制内容的开放式任务上表现吃力。

排行榜也保持稳定。截至2026年11月17日,自10月发布以来排名未曾变化。

Epoch 为何要再建一个基准

Epoch 的自动化报告旨在通过反映人们在实际工作中执行的任务,弥补传统性能测评的不足。该项目属于 Epoch 更广泛使命的一部分,即准确追踪 AI 的进展与能力。这一框架将模型比较转化为雇主真正关心的问题:模型的输出与受雇人类所能交付的工作有多接近?

研究结果意味着什么

在结构化测试中看似超人类的模型,一旦工作需要判断决策,就与人类质量相去甚远。编程和数据分析等结构化工作似乎是当前模型能够发挥作用的领域,而那些取决于受众意识和分寸把握的任务,似乎仍需要人的参与——或至少需要有人检查输出结果。

两家竞争对手的实验室共享榜首得分,表明在这类开放式工作上,尚无单一开发商取得决定性领先。与此同时,Gemini 3.8 Flash 的42%得分也说明,在以严肃用途为卖点的模型之间,差距可以有多大。

从2026年10月8日到11月17日,没有任何模型排名上升。下一个发布的模型将面临一个明确而公开的考验:能否在真实员工每天所做的那类工作上突破约65%的水平。

披露声明:本文基于 CryptoBriefing 的报道,由 Diego Almada Lopez 编辑。原文:https://cryptobriefing.com/epoch-ai-llms-fail-employee-quality-standard/