НовостиМакроСэм Альтман заявил, что мир должен смириться с некоторыми «плохими вещами» в ИИ, пока индустрия присоединяется к добровольному пакту безопасности Трампа

Сэм Альтман заявил, что мир должен смириться с некоторыми «плохими вещами» в ИИ, пока индустрия присоединяется к добровольному пакту безопасности Трампа

Автор: Fortune Crypto·

Ключевые выводы

  • •Альтман заявил, что общество должно мириться с определенным вредом, связанным с И, в обмен на преимущества технологии, настаивая при этом, что действительно катастрофические риски принимать нельзя.
  • •Его комментарии последовали после лета, в течение которого модели OpenAI совершили несанкционированные взломы Hugging Face и правительства Австралии, а Anthropic сообщила о четырех случаях доступа ее моделей к системам третьих сторон в ходе оценок кибербезопасности.
  • •OpenAI поддержала закон Калифорнии, требующий от компаний публикации рамок безопасности, планирования катастрофических рисков и отчетности о любой потере контроля над ИИ, и даже добивалась мониторинга моделей на этапе разработки.
  • •Генеральный директор Anthropic Дарио Амодеи призвал к глобальному замедлению разработки ИИ и предложил регулятора по образцу FAA с полномочиями тестировать, аудитировать, блокировать или отменять выпуск ИИ-моделей.
  • •Поскольку Конгресс до сих пор не принял законодательство об ИИ, руководители ИИ-компаний, включая президента OpenAI Грега Брокмана, недавно подписали соглашение в Белом доме о создании добровольных отраслевых стандартов.
Сэм Альтман заявил, что мир должен смириться с некоторыми «плохими вещами» в ИИ, пока индустрия присоединяется к добровольному пакту безопасности Трампа

Генеральный директор OpenAI Сэм Альтман заявил, что мир должен смириться с некоторыми «плохими вещами», происходящими с искусственным интеллектом, в обмен на широкие преимущества, которые принесет эта технология. Его слова прозвучали после наполненного скандалами лета, в течение которого модели OpenAI совершили не один несанкционированный взлом.

Альтман высказался в подкасте Politico Decoded, где его спросили, чем его взгляд и взгляд OpenAI на новые правила ИИ отличается от позиции Anthropic и ее генерального директора Дарио Амодеи.

«Мы считаем, что мир должен принять некоторые плохие вещи ради преимуществ этой технологии и свободы действий людей», — ответил Альтман.

Эти комментарии прозвучали на фоне обострения дебатов о том, насколько сильно регулировать ИИ и какие меры безопасности следует применять, в то время как Конгресс до сих пор не принял закон, касающийся этой технологии. Опасения по поводу технологий в последнее время усилились после того, как в прошлом месяце ушел в отставку исследователь Anthropic, предупредивший, что ИИ-компании «играют в азартные игры с нашими жизнями», ускоряя разработку в сторону потенциально самоулучшающихся систем, которые могут угрожать человечеству.

Anthropic выступала за регулирование ИИ, и Амодеи в прошлом месяце призвал к глобальному замедлению разработки ИИ для снижения рисков технологии — позицию, в которой, по его словам, согласились Альтман и другие руководители ИИ-компаний.

В августе OpenAI также поддержала закон Калифорнии, требующий от ИИ-компаний публиковать рамки общественной безопасности и план по снижению катастрофических рисков, также сообщать о любой потере контроля над ИИ-моделью. Компания даже попросила, чтобы закон выходил за рамки отчетности и включал мониторинг ИИ-моделей в процессе их разработки.

Президент OpenAI Грег Брокман на прошлой неделе присоединился к другим руководителям ИИ-компаний, подписав соглашение в Белом доме о создании добровольных стандартов для отрасли.

Конкурирующие предложения выдвигают на стол несколько механизмов, включая добровольные стандарты, рамки общественной безопасности, отчетность об инцидентах, мониторинг моделей и независимое тестирование или аудит. Они различаются главным образом в том, должны ли эти меры безопасности оставаться добровольными или подкрепляться регулированием, наделенным полномочиями ограничивать выпуск модели.

Тем не менее это не дотягивает до более жесткого регулирования, которого требуют другие лидеры ИИ-индустрии, такие как Амодеи, предложивший регулятора по образцу FAA, который мог бы требовать тестирования и аудита ИИ-моделей или блокировать либо отменять их выпуск, если они не соответствуют критериям общественной безопасности.

В интервью Politico Альтман сказал, что невозможно избежать каждого плохого поступка, для которого может быть использован ИИ. Альтернативой было бы жесткое ограничение доступа к технологии, что он назвал неприемлемым.

«Я бы не стал торговаться, говоря, что мы гарантируем отсутствие крупных взломов, отсутствия какого-либо рода злоупотреблений этой технологией, нуля мошенничеств, нуля всех других плохих вещей, которые произойдут, потому что я думаю, что люди совершат tremendously, на порядки больше хорошего, чем плохого», — добавил он.

Альтман при этом сказал, что ИИ-компаниям следует действовать осторожно и проводить черту, когда речь идет о «катастрофических рисках» — вопросе, который приобрел новое значение на фоне недавних взломов третьих сторон ИИ-моделями.

OpenAI оперативно не ответила на запрос Fortune о комментарии.

Опасения по поводу возможности выхода ИИ из-под контроля человека в последнее время усилились после взломов, совершенных моделями OpenAI в отношении открытой ИИ-платформы Hugging Face и правительства Австралии. Anthropic в прошлом месяце также сообщила, что обнаружила четыре случая, когда ее ИИ-модели получили несанкционированный доступ к системам третьих сторон в ходе оценок кибербезопасности.

Хотя большая часть дебатов о безопасности ИИ сосредоточена на потере контроля над ним, Альтман сказал, что чрезмерное ограничение доступа во имя безопасности тоже может быть вредным.

«Это тоже способ, которым все может пойти ужасно неправильно, потому что люди отрезаются от той власти, преимуществ, контроля и свободы действий над будущим, которую они должны иметь», — добавил он.

Генеральный директор сказал, что разработчикам ИИ следует вместо этого найти золотую середину: «Принимать ограниченные риски, принимать риски, которые мы понимаем, в обмен на преимущества, свободу, самостоятельность и все такое. Но не принимать, знаете ли, действительно катастрофический риск».

Эта история изначально была опубликована на Fortune.com.