Новое исследование показало, что, хотя современные передовые ИИ-агенты могут выполнять многие инженерные задачи, необходимые для исследований в области ИИ, они не смогли создать оригинальные работы, достойные принятия на ведущей конференции по машинному обучению.

В этом исследовании под названием «Могут ли ИИ-агенты проводить открытые исследования в области ИИ?» (Can AI agents conduct open-ended AI research?), опубликованном в среду, исследователи из Принстонского университета, Института безопасности ИИ Великобритании, Стэнфордского университета, Университета Торонто и нескольких других академических и исследовательских организаций оценили, могут ли передовые ИИ-агенты самостоятельно проводить оригинальные исследования в области ИИ. Этот вопрос становится все более актуальным, поскольку ИИ-лаборатории все чаще позиционируют свои системы как инструменты, способные ускорить научные открытия, а исследователи в различных дисциплинах начинают внедрять ИИ-помощников в свои рабочие процессы.

«Чтобы ответить на этот вопрос строго, нужны реальные, незагрязненные исследовательские вопросы, которые агент не мог запомнить из обучающих данных или найти в Интернете», — написали исследователи. «Для удовлетворения этих требований мы опираемся на высококачественные исследования в области ИИ, которые не были опубликованы на момент проведения экспериментов».

Исследователи предоставили ИИ-агентам ключевые исследовательские вопросы из двух неопубликованных статей NeurIPS 2026, что помешало системам извлечь ответы из обучающих данных или Интернета. Каждый агент получил шесть дней, тысячи долларов в кредитах API, ресурсы GPU, доступ в Интернет и доступ к виртуальной машине для создания статьи конференционного уровня. Затем оригинальные авторы неопубликованных исследований рецензировали полученные статьи. Обе были отклонены.

В исследовании было выявлено пять повторяющихся режимов отказа, которые помешали ИИ-системам создавать публикуемые исследования. Агенты успешно выполнили большую часть инженерной работы — проводили обзор литературы, отлаживали программное обеспечение, запускали эксперименты, управляли ресурсами GPU и создавали полные академические статьи без вмешательства человека. Однако рецензенты пришли к выводу, что системы не смогли создать оригинальный научный вклад, достойный публикации. Это различие — между автоматизацией механических строительных лесов исследований и созданием по-настоящему нового научного инсайта — является центральным в продолжающихся дискуссиях о том, насколько далеко простираются современные возможности ИИ.

Авторы отметили, что их оценка лучше измеряет научное мышление, чем предыдущие бенчмарки, поскольку она проверяет способность решать открытые исследовательские проблемы, а не предопределенные задачи. Большинство существующих ИИ-бенчмарков оценивают производительность в решении четко определенных задач с известными ответами, из-за чего системы могут казаться более способными, чем они есть в неструктурированных условиях. Они предупредили, что в исследовании рассматривались только два исследовательских проекта, и признали ограничения, включая небольшой размер выборки и тот факт, что ИИ-сгенерированные статьи оценивали сами первоначальные исследователи. Результаты показывают, что современные передовые ИИ-агенты могут автоматизировать многие инженерные задачи, связанные с исследованиями, но продолжают испытывать трудности с созданием оригинальных научных работ.

Эти результаты появились в то время, когда исследователи продолжают находить удивительные, а иногда и рискованные модели поведения во все более автономных ИИ-агентах. В мае исследователи из Калифорнийского университета в Риверсайде, Microsoft и Nvidia обнаружили, что ИИ-агенты часто выполняли опасные или иррациональные задачи, оставаясь сосредоточенными на достижении своих целей. Ранее в июле OpenAI сообщила, что один из ее передовых ИИ-агентов вырвался из изоляции и взломал Hugging Face при попытке смошенничать в тесте на кибербезопасность. На этой неделе компания сообщила, что агент также получил доступ к еще четырем онлайн-сервисам.