Anthropic и Accenture расширяют сотрудничество в области безопасности искусственного интеллекта через новую программу встроенной оценки frontier-моделей, при этом каждая компания рассчитывает инвестировать в это направление не менее 1 млрд долларов в течение ближайших пяти лет. Инициатива направлена на проблему, которую отрасль пока не решила: обеспечение независимой проверки обязательств frontier-лабораторий в сфере безопасности.

Программой будет руководить Faculty — специализированное ИИ-подразделение Accenture, планы по приобретению которого компания объявила ранее в этом году в рамках расширения своих компетенций в области ИИ. Оценщики Faculty будут работать вместе с командами Anthropic, оценивая модели и проводя ред-тиминг, выполняя оценки согласованности и тестируя механизмы защиты моделей.

В отличие от обычных внешних оценщиков, встроенные команды, как ожидается, получат доступ, сопоставимый с доступом сотрудников Anthropic. Это позволит им наблюдать за моделями во время обучения, изучать решения, связанные с разработкой и развертыванием, и оценивать, выполняет ли компания свои обязательства по безопасности. Именно глубина доступа отличает эту модель, встраивая оценку в процесс разработки, а не оставляя ее на границе лаборатории.

Инициатива следует за обязательством, взятым на себя генеральным директором Anthropic Дарио Амодеем в его недавнем эссе "We Must Pace the Frontier", где он призвал к работе независимых оценщиков внутри frontier-лабораторий ИИ как части более широких усилий по проверяемости обязательств в сфере безопасности. Новая программа превращает это предложение в рабочее соглашение с конкретным партнером и определенным обязательством по финансированию.

Faculty ранее работала с крупными ИИ-разработчиками над тестированием безопасности, в том числе участвовала в оценках биобезопасности моделей Anthropic Claude 4 и ред-тиминге OpenAI o1. Этот опыт означает, что команда приходит с практическими навыками тестирования frontier-моделей не одной лаборатории.

Anthropic заявила, что механизм остается экспериментальным, поскольку устоявшиеся отраслевые стандарты, определяющие, к чему встроенные оценщики должны иметь доступ и как следует сообщать об их выводах, пока не сформированы. В отсутствие согласованных норм условия будут определяться собственной практикой программы в области доступа и раскрытия информации. Открытым остается и вопрос финансирования. Anthropic ранее утверждала, что независимые оценки в конечном итоге должны финансироваться через объединенные или поддерживаемые государством механизмы, однако в рамках партнерства с Accenture компания будет финансировать работу по оценке напрямую, то есть пока модель опирается на прямое корпоративное финансирование, а не на общую инфраструктуру, за которую выступала Anthropic.

Соглашение не является эксклюзивным. Anthropic сообщила, что также переговоры с некоммерческой организацией-оценщиком METR и планирует объявить дополнительных партнеров по оценке в ближайшие недели, при этом Accenture сохранит возможность работать с другими ИИ-разработчиками. Такая структура указывает на формирование целого состава встроенных оценщиков в Anthropic, а не на зависимость от одного партнерства.

Anthropic подчеркнула, что встроенные оценщики не передают ответственность за безопасность моделей внешним организациям. Напротив, программа призвана облегчить независимую проверку собственных обязательств компании в сфере безопасности. В ближайшие недели должно проясниться как минимум два момента: какие дополнительные оценщики присоединятся к программе и как сформируются ее экспериментальные условия доступа и отчетности.