На этой неделе OpenAI сообщила сотрудникам, что рассматривает возможность замедлить работу в наиболее передовых областях искусственного интеллекта. Генеральный директор компании Сэм Альтман распространил это предложение на конкурирующие лаборатории, включая Anthropic, которая отдельно признала усиление рисков, связанных с ИИ, после публикации информации о попытках исследователей, связанных с государственными учреждениями, использовать модели Claude для исследований биологического оружия.

OpenAI заявила, что уже приостановила некоторые внутренние тренировочные запуски и замедлила отдельные направления разработки моделей из-за опасений по поводу безопасности. Последовательная публикация этих сведений усилила дискуссию о том, не развивается ли индустрия ИИ слишком быстро, особенно на фоне продолжающихся сигналов обеих компаний о возможных публичных размещениях.

Почему Альтман хочет замедлить разработку ИИ?

На общекорпоративной встрече Альтман сообщил сотрудникам OpenAI, что компания и другие лаборатории, готовые присоединиться, могут замедлить выпуск передовых моделей. Согласно источникам, на которые ссылается Bloomberg, он признал, что такая договоренность будет добровольной и что не все компании согласятся участвовать. Добровольный характер этого подхода контрастирует с последующим призывом OpenAI ввести обязательные правила, основанные на возможностях моделей, поэтому координация между конкурирующими лабораториями и масштабы возможных государственных требований стали центральными вопросами этой дискуссии.

Скептическое отношение к добровольным паузам уже имеет прецеденты. В марте 2023 года Илон Маск, Стив Возняк и еще более 1 000 человек подписали открытое письмо с призывом на шесть месяцев остановить работу над передовым ИИ. Как сообщали СМИ в то время, участвовавшие в инициативе лаборатории в итоге не ввели совместно предложенный ими мораторий. С письмом можно ознакомиться на сайте Axios.

Главный научный сотрудник OpenAI Якуб Пахоцкий выступил с аналогичным призывом в публикации от 6 сентября, попросив компании в сфере ИИ координировать действия, «чтобы при необходимости замедлить дальнейшую разработку». Пахоцкий выразил надежду, что добровольные замедления «станут обычной практикой до тех пор, пока не будут установлены общие стандарты безопасности».

В июле Альтман заявил, что говорил представителям Белого дома о необходимости замедлить разработку ИИ. Ранее он вместе с генеральным директором Anthropic Дарио Амодеи также подписал заявление из одной строки, в котором ИИ был назван угрозой вымирания общества в масштабах цивилизации. Заявление опубликовано на сайте AIstatement.com.

Могут ли модели ИИ использоваться для исследований биологического оружия?

Модели ИИ достигли уровня, на котором они могут быть способны поддерживать исследования биологического оружия. В начале этой недели OpenAI заявила, что ее модели решили математическую задачу Навье — Стокса, хотя это утверждение было сделано на спорных условиях.

Anthropic внесла новый вклад в эту дискуссию, опубликовав 10 сентября 154-страничный отчет об анализе угроз. В отчете описаны пять случаев, когда исследователи пытались использовать возможности Claude для поддержки работ, связанных с биологическим оружием. Anthropic заявила, что попытки исходили из «неподдерживаемых регионов» и включали обход ограничений по местоположению и сокрытие целей этой деятельности. Компания сообщила, что удалила соответствующие аккаунты, но не назвала страны или учреждения, которые были с ними связаны. Раздел отчета о неправомерном использовании в биологических целях доступен на сайте Anthropic.

Растущая обеспокоенность среди исследователей ИИ

Эти отчеты появились на фоне серии публичных предупреждений со стороны людей, работающих или ранее работавших в крупных лабораториях ИИ. 8 сентября исследователь Джейкоб Коксон ушел с должности и обвинил OpenAI и Anthropic в том, что они «играют с нашими жизнями». Он заявил, что некоторые его коллеги считают: технология может «убить нас всех к концу десятилетия», а также предупредил о вымирании человечества к 2030 году. Его публикация набрала более 150 миллионов просмотров.

10 сентября бывшие сотрудники Anthropic и Google DeepMind выразили аналогичные опасения и призвали к большей прозрачности. Петиция, запущенная в конце июля с целью создать механизм замедления разработки ИИ, собрала подписи более 1 000 работников крупнейших компаний отрасли.

Теперь OpenAI призывает Конгресс принять обязательные правила безопасности, основанные на возможностях моделей, которые будут охватывать тестирование, независимые оценки, кибербезопасность и отчетность об инцидентах. «Перспектива ускоренной ИИ разработкой разработки ИИ требует большего, чем добровольные обязательства», — написал директор по глобальным отношениям Крис Ленхейн. Эти предложения сосредоточены на том, как передовые системы будут тестироваться и контролироваться, а не только на готовности компаний приостановить разработку.

Калифорния стала первым штатом, принявшим такие меры. В среду губернатор Гэвин Ньюсом подписал законопроекты SB 813 и AB 1405, а сопутствующий законопроект AB 1864 направлен на защиту от биологических угроз, создаваемых с использованием ИИ.

В Вашингтоне сенатор Берни Сандерс внес законопроект о приостановке разработки передового ИИ и запрете искусственного сверхинтеллекта. В интервью BBC он заявил, что игнорирование предупреждений ученых сделает человека «идиотом».

Президент Дональд Трамп выступил против такого подхода, заявив в четверг, что опасается: «если мы не победим в гонке ИИ, мы окажемся в очень плохом положении».

Впервые опубликовано Cryptopolitan.