НовостиМакроБенчмарк Epoch AI: шесть ведущих LLM не дотягивают до качества работы собственных сотрудников

Бенчмарк Epoch AI: шесть ведущих LLM не дотягивают до качества работы собственных сотрудников

Автор: CryptoBriefing·

Ключевые выводы

  • •Отчёты Epoch Automation Reports, опубликованные 8 октября 2026 года, показали, что ни одна из шести протестированных больших языковых моделей не достигла стандарта качества в 100%, определяемого работой собственных сотрудников организации.
  • •Claude Fable 5.1 и GPT-6 Astra разделили первый результат — около 65% качества работы человека, тогда как Gemini 3.8 Flash отстал с 42%, и разрыв составил более 20 процентных пунктов.
  • •В оценке использовались открытые задачи из реальной внутренней работы Epoch, включая графический и исследовательский дизайн, а люди-оценщики оценивали результаты по внутренним стандартам организации.
  • •Все протестированные модели лучше справлялись со структурированными задачами, такими как программирование и анализ данных, но каждая испытывала трудности с открытыми задачами, требующими суждений или адаптации под конкретную аудиторию.
  • •С 8 октября по 17 ноября 2026 года рейтинги моделей не изменились, и ни один разработчик не вырвался decisively вперёд в подобной открытой работе.
Бенчмарк Epoch AI: шесть ведущих LLM не дотягивают до качества работы собственных сотрудников

Epoch AI подвергла шесть самых мощных больших языковых моделей своеобразному собеседованию — и ни один из «кандидатов» работу не получил. Согласно новым отчётам исследовательской группы об автоматизации, лучшие модели в среднем показали около 65% качества работы человека на реальных внутренних задачах.

В отчётах Epoch Automation Reports, опубликованных этой исследовательской организацией 8 октября 2026 года, отмечается, что ни одна из протестированных моделей не достигла планки качества, которую Epoch применяет к работе собственных сотрудников. Лучшие результаты оказались примерно на двух третях пути к этой цели. Поскольку отметка 100% определяется собственным штатом и внутренними задачами Epoch, результаты измеряют реальную планку приёмки работодателя, а не абстрактный потолок теста.

Как проводилась оценка

В своей оценке Epoch использовала открытые задачи, взятые из реальной работы внутри организации, включая графический и исследовательский дизайн. Затем люди-оценщики оценивали каждый результат по внутренним стандартам Epoch, стремясь измерить нечто более близкое к реальной производительности на работе, а не к викторине. Этот выбор дизайна важен для всех, кто следит за внедрением ИИ на рабочих местах: сильный результат на обычном бенчмарке автоматически не означает, что работодатель одобрит результат работы модели.

Шкала оценки была привязана к людям: 100% означает работу того качества, которое ожидается от сотрудника Epoch.

Таблица результатов

Первое место разделили две модели: Claude Fable 5.1 и GPT-6 Astra в среднем показали около 65% по всем задачам. В конце таблицы оказалась Gemini 3.8 Flash с результатом 42% — разрыв между лидерами и отстающей моделью составил более 20 процентных пунктов.

Ни одна модель не пересекла отметку 100%. Ни одна не достигла паритета с людьми, чья работа задала стандарт.

Модели лучше справлялись со структурированной работой, где относительными сильными сторонами выделялись программирование и анализ данных. Каждая модель испытывала трудности с открытыми задачами, требующими суждений или адаптации под конкретную аудиторию.

Таблица лидеров также остаётся стабильной. По состоянию на 17 ноября 2026 года рейтинги не изменились с октябрьской публикации.

Зачем Epoch создала ещё один бенчмарк

Отчёты Epoch об автоматизации призваны устранить недостатки традиционных методов измерения производительности, отражая задачи, которые люди реально выполняют на работе. Проект входит в более широкую миссию Epoch по точному отслеживанию прогресса и возможностей ИИ. Такая постановка превращает сравнение моделей в вопрос, который реально задают работодатели: насколько результат близок к работе, которую выполнил бы нанятый человек?

Что означают результаты

Модели, выглядящие сверхчеловеческими на структурированных тестах, заметно не дотянули до человеческого качества, как только работа потребовала вынесения суждений. Структурированная работа, такая как программирование и анализ данных, похоже, является той областью, где современные модели показывают свою ценность, тогда как задачи, зависящие от понимания аудитории и такта, по-прежнему требуют участия человека — или, по крайней мере, проверки результата человеком.

То, что первое место разделили две конкурирующие лаборатории, говорит об отсутствии явного лидера в такого рода открытой работе. Тем временем результат Gemini 3.8 Flash в 42% показывает, насколько велик разброс среди моделей, продвигаемых для серьёзного применения.

С 8 октября по 17 ноября 2026 года ни одна модель не поднялась в рейтингах. Следующий релиз модели пройдёт чёткий и публичный тест: сможет ли он преодолеть отметку примерно в 65% на работе, которую реальные сотрудники выполняют каждый день.

Раскрытие информации: эта статья основана на материалах CryptoBriefing, редактор — Diego Almada Lopez. Оригинальная статья: https://cryptobriefing.com/epoch-ai-llms-fail-employee-quality-standard/