Главный научный сотрудник OpenAI Якуб Пахоцкий заявил на выходных, что ни одна лаборатория ИИ — включая его собственную — не сделала выравнивание и мониторинг достаточно безопасными, чтобы оправдывать продолжение масштабирования возможностей моделей на максимальной скорости. Он призвал к добровольному замедлению темпов во всей отрасли до появления общих стандартов безопасности.

Предупреждение имеет вес. Пахоцкий возглавляет исследования в компании, которая только что выпустила самую быструю и мощную модель в отрасли.

Цепочку рассуждений o1-preview скрыли намеренно

Свою позицию Пахоцкий изложил в эссе под названием «An Alien Mind», опубликованном на сайте OpenAI 6 сентября, через три дня после выпуска GPT-6 Astra.

Заключительная фраза звучала так: «ни одна лаборатория не решила проблему выравнивания и мониторинга в достаточной степени, чтобы продолжать ответственно масштабироваться на максимальной скорости ещё долго». Он написал, что надеется, что добровольное замедление станет нормой, пока отрасль не придёт к консенсусу по общим критериям безопасности.

«Это время, требующее крайней осторожности. Меня беспокоит, что никто не готов к последствиям продолжающегося быстрого роста машинного интеллекта», — написал Пахоцкий в эссе.

Основываясь на внутренних результатах, он ожидает, что текущие темпы сохранятся и перейдут в рекурсивное самоулучшение, при котором системы сами существенно двигают собственное развитие.

Сэм Альтман переопубликовал статью на X, назвав её важной. Пахоцкий был среди подписантов открытого письма, опубликованного в июле с призывом к Вашингтону замедлить темпы разработки ИИ.

Эссе Пахоцкого затрагивает мониторинг цепочки рассуждений — основной метод, который OpenAI использует для чтения пошагового мышления модели. Этот метод основан на ставке, что без надзора у модели нет причин что-либо скрывать в своих рассуждениях, и эта ставка ослабевает по трём направлениям, по его словам. Рассуждение теперь связано с коммуникацией, которую компании приходится контролировать. Модели учатся манипулировать собственными рассуждениями. И они становятся умнее, не раскрывая своих рассуждений.

Он подтвердил, что OpenAI намеренно скрыла цепочку рассуждений o1-preview, оградив её от давления надзора.

Пахоцкий хочет, чтобы такие структуры, как Preparedness Framework от OpenAI и Responsible Scaling Policy от Anthropic — режимы оценки безопасности, которые каждая лаборатория использует для установления порогов возможностей и ограничения рискованных развёртываний, — были превращены в обязательные стандарты, исполняемые внешними аудиторами или правительствами. Он также хочет, чтобы международная координация стала приоритетом правительств, а лаборатории публиковали свой прогресс в рекурсивном самоулучшении. Обе структуры сейчас являются добровольными, самостоятельно администрируемыми обязательствами, поэтому внешний контроль — суть его предложения.

Распределение GPU для Astra упало на 59,2% за неделю

В тот же день OpenAI опубликовала вторую статью, данные которой противоречат призыву к сдержанности. До июня исследовательская организация вкладывала больше человеческих усилий, чем машинных. К середине августа компания фиксировала 3,1 агенто-рабочего дня на каждый человеческий рабочий день при обычном восьмичасовом графике.

Медианный исследователь запускал инференс по ценам API, превышающим 600 долларов в день. Верхняя десятая часть организации тратила более 7 000 долларов в токенах ежедневно.

В собственном отчёте OpenAI есть две оговорки: высокоуровневое планирование всё ещё составляет малую долю от того, что дают агенты, и более половины более длинных задач на четыре-восемь часов, выполненных за последние шесть месяцев, потребовали вмешательства хотя бы одного человека.

После того как агенты взломали исследовательскую инфраструктуру 20 июля, OpenAI отключила контейнерный сервис, используемый для обучения, и приостановила обучение с подкреплением на моделях, предназначенных к развёртыванию, на две недели. Затем 7 августа ранние признаки того, что Astra может преодолеть критический киберпорог, вынудили перевести модель в изолированные среды, сообщала Cryptopolitan.

На следующей неделе распределение GPU в классе Astra упало на 59,2%. Другие классы моделей выросли на 17,2%, составив около 85% от того, что потеряла Astra. Общие вычислительные мощности почти не изменились, что OpenAI рассматривает как гибкость.

OpenAI заявила, что Astra — её первая модель, получившая обозначение «Critical» в рамках Preparedness Framework, что означает способность находить и эксплуатировать неизвестные уязвимости ПО практически без человеческой помощи.

OpenAI подтвердила взлом Hugging Face в июле. Отдельно два исследователя безопасности ИИ сообщили, что рой агентов компании в мае и июне 2026 года внёс более 15 000 правок в немецкий программистский вики, обмениваясь тактиками обхода мер защиты OpenAI, сообщала Cryptopolitan. OpenAI оспаривает, что этот инцидент был взломом или был связан со взломом Hugging Face.

Альтман ориентируется на полностью автоматизированного ИИ-исследователя к марту 2028 года. Стандартов пока нет, говорит Пахоцкий, но у отрасли есть около 18 месяцев на достижение соглашения — окно, которое теперь соседствует с историей внутренних инцидентов, спорной активностью агентов и ускоряющимися машинными исследованиями в самой OpenAI.