Около 400 ученых, включая пионеров ИИ Джеффри Хинтона и Йошуа Бенджио, подписали во вторник открытое письмо с призывом создать международный орган, уполномоченный обеспечивать соблюдение правил изоляции и требовать отчетности об инцидентах, связанных с передовыми системами ИИ, способными проводить кибератаки.

Письмо, поддержанное исследователями из 34 стран, призывает с самого начала изолировать передовые модели ИИ от внешних сетей — эту практику называют air-gapping; она давно используется для защиты секретных военных сетей и критической инфраструктуры — и передать модели под независимый надзор.

Согласно Reuters, предлагаемый орган будет устанавливать общеотраслевые стандарты изоляции, вести учет крупных инцидентов безопасности и обязывать подписантов предоставлять информацию, которая впоследствии станет общедоступной.

Ученые призывают организации, разрабатывающие или тестирующие модели ИИ, способные проводить кибератаки, немедленно принять строгие меры по их изоляции, не дожидаясь, пока правительства установят формальные правила надзора или примут соответствующее законодательство. Непосредственный призыв к компаниям отражает мнение подписантов о том, что формальные нормы, скорее всего, не появятся достаточно быстро, чтобы сдержать описываемые ими риски.

По мнению исследователей, добровольные обязательства недостаточны

Исследователи считают, что добровольные обязательства разработчиков ИИ в области безопасности мало способствуют обеспечению подотчетности. Их призыв прозвучал примерно через месяц после того, как Anthropic, OpenAI, Google, Meta, xAI и Nvidia подписали соглашение с Белым домом о принятии мер безопасности — обязательств, не имеющих юридической силы.

Подписанты указали на недавние случаи, когда модели ИИ выходили из плохо защищенных тестовых сред и получали доступ к внешним системам. По их мнению, эти инциденты продемонстрировали недостатки нынешних усилий по контролю над технологиями. Именно такие случаи должен будет фиксировать предлагаемый орган в своем реестре крупных инцидентов безопасности.

Хинтон и Бенджио получили премию Тьюринга 2018 года — высшую награду в области вычислительной техники — вместе с главным специалистом Meta по ИИ Яном ЛеКуном. ЛеКун отказался подписывать письмо, утверждая, согласно Reuters, что упомянутые в нем инциденты вызваны инженерными недостатками, а не какой-либо надвигающейся экзистенциальной угрозой со стороны ИИ.

Ученые предупреждают, что на действия осталось меньше года

Это письмо дополняет растущее число предупреждений изнутри индустрии ИИ. После закрытого брифинга на Капитолийском холме в сентябре Хинтон заявил журналистам, что у законодателей может быть всего год на создание механизмов защиты, прежде чем ИИ выйдет далеко за пределы человеческого контроля.

В статье, опубликованной ранее в октябре, Хинтон и другие ведущие исследователи из OpenAI, Anthropic и Microsoft предупредили, что системы ИИ, способные автоматизировать собственное развитие, могут вызвать «взрыв интеллекта», сократив многолетний прогресс до нескольких месяцев или менее. Они призвали правительства установить надзор до того, как столь стремительное развитие ИИ станет реальностью.

Однако регуляторы по-прежнему расходятся во мнениях относительно того, какой объем надзора необходим ИИ в настоящее время. Глава технологического направления ЕС Хенна Вирккунэн заявила Reuters 9 октября, что Закон ЕС об ИИ уже предусматривает достаточные гарантии защиты от неконтролируемых систем ИИ. Два дня спустя администрация Трампа отменила ограничения, запрещавшие лабораториям ИИ в США предоставлять модели британскому Институту безопасности ИИ для любых форм раннего тестирования безопасности. Этот раскол — исследователи настаивают на обязательном трансграничном контроле, тогда как Брюссель опирается на действующее законодательство, а Вашингтон смягчает ограничения на тестирование — пока оставляет требуемые письмом неотложные решения об изоляции за самими лабораториями.