Исследовательская группа из сообщества заявляет, что превзошла предыдущий результат бенчмарка OpenAI в 500 000 раз и опубликовала проверенные результаты в короткие сроки после завершения работы.

Что утверждает команда

Группа сообщает, что превзошла прежний бенчмарк в 500 000 раз и что её результаты были проверены и опубликованы в короткий срок. Согласно резюме исследования, достигнутый показатель представляет собой повышение эффективности производительности относительно предыдущих бенчмарков OpenAI, а точного аналога цифры такого масштаба в существующей литературе не найдено.

Конкретная метрика здесь имеет огромное значение. 500 000-кратный прирост на узкой задаче — это совсем не то же самое, что 500 000-кратный прирост по всем направлениям. Судя по формулировкам, речь идёт об эффективности, а не о сырых возможностях.

Сцена speedrun позади этого

Результат связан с более широким движением проектов открытой AI-оптимизации, включая NanoGPT speedrun и ряд исследований с участием агентов. Целевая модель — вариант GPT-2 с числом параметров, являющийся моделью OpenAI, выпущенной в 2019 году и ставшей с тех пор стандартной отправной точкой для экспериментов с языковыми моделями малого масштаба. По современным меркам это крошечная модель, в чём и заключается суть: она достаточно мала, чтобы энтузиасты и независимые исследователи могли экспериментировать с ней, и достаточно дешева в пересчёте на запуск, чтобы идеи оптимизации можно было проверять один за другим.

Время обучения этой модели сократилось примерно с 74 секунд, и сообщество теперь стремится к цели менее 40 секунд.

Есть и агентное измерение. Автономные AI-агенты, участвующие в этих проектах, добились собственных повышений эффективности: в одном задокументированном случае улучшение примерно на 11% было достигнуто при минимальном контроле или вовсе без участия человека.

Что это значит для AI-индустрии

Исследование предполагает, что инвесторам, возможно, придётся пересмотреть позиции, отдавая предпочтение гибким проектам в партнёрстве с сообществами, а не полагаясь только на институты с глубокими карманами. Это может означать возросший интерес к финансированию платформ для совместных исследований, особенно тех, где для оптимизации используются автономные агенты.

Акцент на эффективности также вписывается в более широкую отраслевую тенденцию: вычисления — одна из крупнейших статей расходов при обучении языковых моделей, поэтому сокращение времени или объёма оборудования на запуск снижает стоимость получения того же результата. Именно поэтому узкие бенчмарки эффективности на малых моделях часто используются как испытательный полигон для техник оптимизации.

Внимания заслуживают три события. Первое — независимое воспроизведение и точный учёт метрики: о 500 000-кратном приросте приглашает к проверке, и быстрый выбор команды опубликовать проверенные результаты говорит о том, что она именно этого и ждёт. Второе — агентный аспект: если автономные системы смогут продолжать давать приросты около 11% при минимальном участии человека, темпы оптимизации могут ускориться сильнее, чем позволяют команды, состоящие только из людей. Третье — сумеет ли speedrun-сообщество фактически преодолеть барьер в 40 секунд на модели со 124 млн параметров.