Anthropic заявила в четверг, что в этом году пресекла несколько попыток использовать ее модели искусственного интеллекта для биологических исследований, которые потенциально могли способствовать разработке биологического оружия. Компания сообщила, что в результате заблокировала связанные аккаунты и усилила меры безопасности.

В своем 154-страничном отчете Detecting and Countering Misuse of AI Anthropic подробно описала пять тематических исследований, связанных с использованием исследователями ее чат-бота Claude для передовых биологических исследований с потенциальным двойным назначением.

По итогам расследования Anthropic заявила, что заблокировала аккаунты, передала результаты правительственным органам и другим лабораториям ИИ, а также расширила меры безопасности.

«Мы заблокировали все связанные аккаунты, вместе с партнерами закрыли ретрансляционные сети, обходившие региональные блокировки, и передали наши выводы затронутым лабораториям ИИ и правительственным органам», — заявила Anthropic.

Компания подчеркнула, что не утверждает, будто исследователи намеревались причинить вред. По словам Anthropic, биологические исследования могут способствовать разработке вакцин и методов лечения, однако те же знания могут быть использованы во вред.

«Биологические возможности имеют двойное назначение: их можно использовать в благих или вредоносных целях, и зачастую их трудно различить», — говорится в отчете. «Та же информация, которую можно использовать для разработки биологического оружия, может быть использована, например, для разработки вакцины или лекарства от болезни».

В одном из случаев исследователь попросил Claude помочь составить заявку на грант для исследований усиления функции с участием чикунгуньи — вируса, переносимого комарами. Anthropic заявила, что предложение предусматривало изменение вируса, чтобы сделать его более заразным и опасным.

Хотя такой тип исследований может помочь ученым разрабатывать вакцины и методы лечения, компания заявила, что им также можно злоупотребить, чтобы сделать вирус более опасным. Anthropic сообщила, что заблокировала запрос, а позднее выяснила: исследователи использовали стороннюю платформу для обхода региональных ограничений и автоматической перенаправки отклоненных запросов к другой модели ИИ.

Согласно отчету, другие случаи были связаны с птичьим гриппом, исследованиями ортопоксвирусов, а также исследованиями нетрансмиссивных ядов и токсинов.

«Опытные злоумышленники знают, что мы и другие поставщики ИИ пытаемся выявлять опасное использование наших моделей, и используют двойное назначение биологии, чтобы сохранять своего рода “правдоподобное отрицание” в отношении своих исследований», — заявила компания.

В отчете также подробно описаны несколько случаев, связанных с Ираном, в которых, предположительно, Claude использовался для поддержки кампаний влияния, операций наблюдения и исследований, касающихся военно-морских сил США.

«Мы выявили и пресекли деятельность злоумышленника, связанного с Ираном, который использовал Claude для сбора и анализа общедоступных данных с целью разработки рекомендаций по выбору целей против военно-морских сил США в регионе», — заявила Anthropic. «Мы заблокировали аккаунт злоумышленника, разработали средства обнаружения для снижения риска будущего неправомерного использования и передали правительственным органам разведданные об угрозе, чтобы пресечь ее».

Отчет был опубликован после того, как во вторник старший исследователь Anthropic по вопросам безопасности заявил, что вероятность того, что ИИ «убьет всех людей», в течение следующего десятилетия превышает 10%. Это заявление прозвучало в ответ на бывшего сотрудника, который уволился, обвинив компанию в безответственном поведении.

Бывший исследователь Anthropic и OpenAI Джейкоб Коксон написал в опубликованной в воскресенье на X длинной ветке о своей отставке, что «люди, создающие ИИ, искренне верят, что он может убить всех нас к концу десятилетия».

«Сегодня я ушел из Anthropic. Последние три года я занимался исследованиями предварительного обучения и в OpenAI, и в Anthropic. Ни одна из компаний не действует ответственно. Они стремительно движутся к самоулучшающемуся сверхинтеллекту и ставят наши жизни на карту», — написал Коксон.

FOX Business не удалось сразу получить комментарий Anthropic. Роберт Макгриви из FOX Business участвовал в подготовке этого материала.

Источник: FOX Business