6 октября OpenAI разместила на GitHub 719 математических работ, созданных неанонсированной внутренней моделью. Публикация состоялась через неделю после того, как собственный консультативный орган компании призвал ИИ-лаборатории прекратить тестирование сложных математических задач на проприетарных моделях. Этот недельный интервал обрисовывает напряжение, пронизывающее современное исследование математики с использованием ИИ: лаборатории используют открытые задачи для измерения прогресса моделей, в то время как часть математического сообщества требует раскрытия информации и обычного рецензирования до распространения результатов, созданных ИИ.

Более 600 ответов на опрос легли в основу рекомендаций панели IAS от 29 сентября

Консультативная группа по математике и искусственному интеллекту, базирующаяся в Институте перспективных исследований в Принстоне, штат Нью-Джерси, опубликовала свои рекомендации 29 сентября, опираясь на более чем 600 ответов на опрос. «Мы хотим чётко заявить с самого начала: мы не одобряем эту практику и просим их прекратить тестирование сложных математических задач на проприетарных моделях», — написала группа в своих рекомендациях.

В том же документе предупреждается, что закрытые внутренние модели рискуют создать двухуровневую систему, в которой несколько лабораторий опередят всех остальных.

Согласно своему репозиторию, OpenAI тестирует свои модели на открытых исследовательских задачах в рамках разработки моделей и расширила эти тесты после того, как существующие математические бенчмарки стали насыщенными — то есть когда модели набирают максимальные или близкие к максимальным баллы на текущих тестах. Компания сообщила, что консультировалась с консультативной группой и учла её рекомендации при публикации. В заявлении от 6 октября группа заявила, что её консультативная роль не означает «одобрение процесса, с помощью которого OpenAI их получила», и оставила оценку соответствия на усмотрение более широкого математического сообщества.

Lean-код по Навье — Стоксу доказывает более слабые утверждения, чем письменная работа

OpenAI сгруппировала 719 работ в 372 семейства математики, каждое из которых построено вокруг основного результата и связанных с ним доказательств. Проприетарной модели было предложено около 4000 задач, и на каждый результат в среднем требовалось около трёх часов вычислений в режиме размышления ChatGPT Pro.

Консультативная группа попросила ИИ-лаборатории публиковать для каждого результата название модели, использованные промпты, краткую цепочку рассуждений затраченное время и стоимость вычислений. OpenAI опубликовала 10 кратких описаний рассуждений, и около 42% основных результатов имеют формализации в Lean. Насколько публикация соответствует этому списку требований по каждому результату — один из вопросов, который группа оставила на усмотрение математического сообщества.

Lean — это язык программирования, позволяющий компьютеру проверять доказательство. Если код компилируется, это не означает, что код и письменное рассуждение идентичны; это лишь устанавливает, что формальное утверждение истинно. Преобразование письменных рассуждений в проверяемый машиной код таким образом называется исследователями автоформализацией.

Этот разрыв был исследован в статье, опубликованной 6 октября Александром Бастунисом, Фабианом Чирчелли и Андерсом К. Хансеном. Они обнаружили, что письменная работа OpenAI по Навье — Стоксу содержит более сильные утверждения, чем доказывает её Lean-код, причём одна из оценок меняет порядок входных производных. Авторы также выявили схожие ошибки перевода в доказательстве OpenAI, связанном с Эйлером, написав, что письменное доказательство OpenAI и другие автоформализованные Lean-доказательства «не должны prima facie считаться заслуживающими доверия без того же процесса рецензирования и проверки, которому подвергаются другие доказательства».

OpenAI анонсировала результат по Навье — Стоксу 8 сентября. Эти уравнения являются предметом одной из «Проблем тысячелетия» Математического института Клэя, каждая из которых сопровождается призом в 1 миллион долларов. Математик из Нью-Йоркского университета Тристан Бакмастер впоследствии оспорил описание компанией минимального участия человека в этой работе, как сообщала Cryptopolitan. Компания пообещала финансирование мастер-классов, конференций и специальных программ, связанных с крупными результатами в области ИИ. 6 октября математик Теренс Тао написал, что люди, работающие с ИИ-системами через промпты, часто решают задачи, а затем теряют интерес к области, добавив, что многие не могут ответить на вопросы или прочитать доклад о полученной работе; в его публикации OpenAI не упоминалась.

Компания заявила, что её советники не могут влиять на темпы исследований, сообщила Cryptopolitan в сентябре. Теперь, когда решение о соответствии в руках математического сообщества, ключевыми ориентирами станут то, подтвердит ли рецензирование переводы из письменного вида в Lean или оспорит их, и будут ли будущие публикации содержать детализированные раскрытия — название модели, промпты, краткие цепочки рассуждений, время и стоимость вычислений, — которых группа требует для каждого результата.