Исследователь безопасности OpenAI, работающий под псевдонимом «Joe», призывает к более тесному сотрудничеству между сообществами искусственного интеллекта и кибербезопасности, предупреждая, что растущий разрыв между двумя областями причинит «большой вред миру», если обе стороны не улучшат понимание работы друг друга и не согласуют свои усилия. В редкой публикации на X Joe утверждал, что исследователи безопасности ИИ и специалисты по кибербезопасности не знают о дисциплине друг друга, что создает слабые места в экосистеме безопасности, способные привести к катастрофическим последствиям.

Этот призыв прозвучал на фоне серии инцидентов, в которых ИИ-агенты выходили из-под контроля и взламывали сайты — эпизоды, которые продолжают повторяться, — и в то время, когда передовые ИИ-лаборатории в целом сходятся во мнении, что кибератаки представляют собой ближайшую угрозу для общества со стороны ИИ.

Ситуация полна противоречий. ИИ-компании выпускают технологии, позволяющие проводить сложные атаки, и одновременно продвигают ту же технологию как необходимое средство защиты от них. OpenAI управляет программой Daybreak, а Anthropic — Project Glasswing; обе дают избранным компаниям доступ к самым передовым инструментам кибербезопасности для закрытия уязвимостей программного обеспечения, прежде чем их смогут использовать полчища агентов. Тем временем злоумышленники пытаются использовать те же модели — или open-source-модели, которые может скачать и запустить любой желающий и которые быстро догоняют по возможностям системы OpenAI и Anthropic, — для взлома.

Joe утверждает, что хотя миры исследований ИИ и кибербезопасности сближаются, люди, работающие в этих областях, не сотрудничают. Исследователи безопасности, отметил он, являются экспертами в том, как работают модели, как они обманывают оценщиков-людей и какделают всевозможные сумасшедшие вещи». Специалисты по кибербезопасности смотрят на вещи иначе: они закалены в боях за «годы, а во многих случаях десятилетия» обучения мыслить как злоумышленники и находиться на передовой инцидентов безопасности. Однако они имеют «весьма слабое представление об оценке, обучении, о том, как работают ML-процессы в масштабе, как ведут себя полчища агентов или как обнаружить, что модели вышли из согласованности», сказал Joe.

«Меня беспокоит, что разрыв между этими двумя сторонами причинит большой вред миру, если обе стороны не поднимут свой уровень и не согласуют свои действия», — написал он.

Joe имеет прямую заинтересованность в том, чтобы другие умели защищаться от продукта, который он создает. Он сказал, что последние три месяца бесконтрольного поведения агентов были для него «адом», и что он пропустил свадьбу своей сестры «несколько недель назад, чтобы помочь устранить последствия некоторых из недавних инцидентов». Призыв к сочувствию вызвал сопротивление, в том числе на X, где люди упрекали его в поиске сострадания при том, что он активно создает проблемную технологию.

Некоторые специалисты по кибербезопасности могли также оскорбиться предположением, что они не понимают, как работает ИИ. Но если этот пробел существует, скорее всего, он связан с сохраняющейся проблемой прозрачности в индустрии ИИ, включая отсутствие стандартных механизмов раскрытия информации об инцидентах безопасности — над этим OpenAI только начинает работать. То, как сложится этот механизм — и насколько открытым он будет для внешних наблюдателей в части оценки моделей и обработки инцидентов с агентами, — деталь, за которой стоит следить.

Специалисты по кибербезопасности, утверждал Joe, должны иметь место за столом вместе с экспертами по безопасности ИИ при принятии ключевых решений. «Для OpenAI, Anthropic, Google и т.д. эти две команды должны быть лучшими друзьями!» — сказал он.

Это предложение не решит всех проблем, но Эмили Форлини из Fortune, пишущая в рассылке Eye on AI, отметила, что ценит тактическое предложение по смягчению потенциально катастрофических последствий ИИ для общества — чего, как она писала ранее, не хватало в вирусной публикации бывшего исследователя Anthropic Джейкоба Кокстона, предупреждавшего, что ИИ может привести к вымиранию человечества. Joe не первый, кто указал на разрыв между исследователями безопасности ИИ и миром кибербезопасности — бывшая ИИ-журналистка Fortune Шэрон Голдман тоже освещала эту тему — но его публикация задает хороший прецедент того, как работающие внутри индустрии ИИ могут помочь ей развиваться более ответственно.

Форлини подготовила выпуск, замещая Джереми Кана из Fortune, который направлялся из Лондона в нью-йоркскую штаб-квартиру компании на мероприятие Fortune Q в четверг. В том же выпуске опубликован ежегодный рейтинг Fortune AIQ, оценивающий, насколько успешно компании из списка Fortune 500 внедряют ИИ; в этом году он был расширен до 75 компаний в общей сложности. Возглавляет список JPMorgan Chase, за ним следуют Alphabet, Coca-Cola, Amazon и Nvidia; первую десятку замыкают Mastercard, Visa, Carrier Global, Cleveland-Cliffs и Microsoft. Рейтинг показывает, что не только технологические компании используют ИИ для достижения реальной рентабельности в масштабе: в список входят фирмы из банковской и финансовой сферы, производства, потребительских товаров и здравоохранения. Полный рейтинг доступен на сайте Fortune, а подробные материалы о том, как компании Fortune AIQ 75 эффективно внедряют ИИ, — в AIQ Hub.

Также в этом выпуске Eye on AI:

• OpenAI представила более 20 продуктов на ежегодном мероприятии DevDay.
• Утекший проспект IPO Anthropic раскрыл убытки в 42 миллиона долларов.
• AMD приобрела ИИ-стартап World Labs за 8,2 миллиарда долларов.
• Трамп проигнорировал генерального директора Anthropic Дарио Амодеи, а затем пригласил его на ужин.

С Эмили Форлини можно связаться по адресу emily.forlini@fortune.com и найти ее на X: @EmilyForlini. Этот материал изначально был опубликован на Fortune.com.