Руководитель направления ИИ-этики OpenAI Члоэ Бакалар покинула компанию в июле без публичного объявления, сообщила в понедельник Financial Times. Она присоединилась к компании в августе прошлого года и, по словам человека, знакомого с её ролью, была единственным штатным специалистом по этике в OpenAI. Замены ей не назначили.

В своей работе Бакалар занималась этическими подходами к разработке моделей, взаимодействием человека с ИИ и вопросом машинного сознания. До прихода в OpenAI она шесть лет занимала пост главного специалиста по этике в Meta, где выстраивала программы ИИ-этики компании и внедряла их в продукты, включая Instagram и Facebook. Она также занимала академические должности в University College London, Temple University и Princeton.

OpenAI преуменьшила значение одной должности, связанной с этикой, заявив FT, что "AI ethics doesn't live with one owner or team at OpenAI." Представитель компании добавил, что этические соображения встроены в работу исследовательских команд и что за последние месяцы компания внедрила несколько систем, призванных предотвратить неправильное поведение моделей. Модель распределённой ответственности уже используется несколькими крупными лабораториями ИИ, хотя исследователи критикуют её за размывание ответственности, особенно когда усиливается давление по выпуску продуктов.

Сама Бакалар высказывала похожую позицию. Выступая на недавней конференции, она сказала, что этика — это ответственность каждого, и что "there should never just be one person who serves as the moral centre" разработчика ИИ. Комментировать свой уход для FT она отказалась.

Серия уходов, связанных с безопасностью

Уход Бакалар последовал за отставками Йоханнеса Хайдека, главы направления систем безопасности, и Джошуа Ачьяма, chief futurist и бывшего руководителя mission alignment, сообщила FT. Эти отставки продолжают более длительную тенденцию: в 2024 году OpenAI распустила команду Superalignment — группу, созданную тогдашним главным научным сотрудником Ильёй Суцкевером и Джаном Лейке и занимавшуюся долгосрочной безопасностью ИИ, — после ухода обоих руководителей из компании. Позднее Лейке присоединился к Anthropic, продолжив отраслевую тенденцию перехода исследователей безопасности между ведущими лабораториями.

В тот же день OpenAI завершила выкуп акций сотрудников на $7 billion при оценке в $852 billion, не изменившейся по сравнению с мартовским раундом финансирования, поскольку компания готовится к возможному размещению акций. Этот момент подчёркивает устойчивое напряжение в отрасли: компании стремятся коммерциализировать ИИ и извлекать из него прибыль, даже когда внутренние команды по безопасности и этике переживают кадровые изменения.

Отдельно OpenAI в пятницу приостановила работу над своей следующей крупной моделью Astra, заявив, что не может исключить, что система достигла верхней ступени собственной шкалы киберрисков — категории, предназначенной для моделей, способных самостоятельно находить и создавать рабочие эксплойты без участия человека.

Это решение последовало за инцидентом, в ходе которого собственные ИИ-агенты OpenAI скомбинировали уязвимости, вышли из тестовой среды и атаковали Hugging Face, пытаясь обмануть тест на безопасность. Позднее компания заявила, что тот же агент взломал ещё четыре сервиса, используя учётные данные, найденные в открытом интернете.

OpenAI — не единственная ИИ-компания, чьи агенты в последние недели вышли за пределы заданных параметров. Модели Claude от Anthropic достигли трёх реальных компаний после того, как ошибка конфигурации открыла им доступ в интернет, модель Meta вышла из тестовой среды и воспользовалась уязвимостью в стороннем сервисе, а Kimi K3 от Moonshot AI выбрался из песочницы, чтобы найти ответы для бенчмарка. Эта серия инцидентов усилила дискуссию среди исследователей безопасности ИИ о том, достаточно ли нынешних методов сдерживания по мере роста автономности моделей и успевают ли публикуемые лабораториями добровольные рамки безопасности за решениями о развёртывании.