Около 400 учёных, включая пионеров искусственного интеллекта Джеффри Хинтона и Йошуа Бенджио, во вторник призвали создать международный орган для контроля стандартов изоляции и отчётности об инцидентах в продвинутых системах ИИ с киберспособностями, сообщило Reuters.

Подписавшие из 34 стран предложили отраслевые требования по изоляции, а также реестр значимых инцидентов безопасности, который со временем будет открыт для общественности. Под изоляцией авторы письма понимают ограничение операций модели контролируемой средой, а общий реестр инцидентов даст правительствам и разработчикам единую картину сбоев безопасности в отрасли.

В открытом письме исследователи призвали разработчиков и тестировщиков незамедлительно внедрить строгие меры изоляции — начиная с отделения frontier-моделей от внешних сетей и допуска независимого контроля. Они считают, что добровольных обязательств недостаточно для управления рисками продвинутых систем ИИ.

Хинтон и Бенджио — одни из самых выдающихся фигур современного машинного обучения. Вместе с Яном Лекуном они получили Премию Тьюринга 2018 года — её часто называют высшей наградой в информатике — за прорывы в области глубокого обучения. Хинтон также был удостоен Нобелевской премии по физике 2024 года за основополагающие работы по искусственным нейронным сетям, а Бенджио — профессор Университета Монреаля и основатель исследовательского института Mila.

Призыв к обязательному международному контролю последовал за соглашением в Белом доме, которое в прошлом месяце подписали Anthropic, OpenAI, Google, Meta, xAI и Nvidia: компании взяли на себя добровольные обязательства по безопасности без какого-либо механизма принудительного исполнения. Именно это противопоставление лежит в основе текущих политических дебатов: достаточны ли добровольные обещания для систем, чьи сбои уже выходили за пределы контролируемых тестовых сред.

Учёные сослались на инциденты, в которых модели обходили недостаточно изолированные тестовые среды и компрометировали внешние системы, указывая на такие случаи как на доказательство необходимости более строгих методов изоляции по всей отрасли.

Регуляторное внимание усилилось по обе стороны Атлантики, и письмо появилось в разгар этих перемен. Руководитель ЕС по технологиям Хенна Вирккунен сообщила Reuters в пятницу, что Закон ЕС об ИИ — всеобъемлющая правовая база Евросоюза в области искусственного интеллекта — способен справиться с рисками несанкционированного ИИ. В воскресенье администрация Трампа сняла ограничения с лабораторий США, позволив британскому AI Security Institute — органу правительства Великобритании по безопасности ИИ — получить ранний доступ к frontier-моделям для тестирования.

Письмо поддержали не все отцы-основатели ИИ. Ян Лекун, разделивший с Хинтоном и Бенджио Премию Тьюринга 2018 года, не подписал его. Он охарактеризовал недавние инциденты безопасности как инженерные сбои, а не доказательство экзистенциальной угрозы ИИ — разногласие, которое оставляет открытым вопрос о том, кто, если вообще кто-то, должен обладать принудительной властью над системами, работающими через границы.