Anthropic больше не может блокировать выводы о безопасности, которые некоммерческая организация по оценке ИИ METR публикует о компании. В официальном объявлении в четверг ИИ-лаборатория сообщила, что шесть встроенных исследователей от некоммерческой организации теперь обладают почти тем же доступом, что и её собственные сотрудники.

Доступ на уровне сотрудников для внешних оценщиков

METR, которая оценивает передовые ИИ-модели, теперь работает практически с тем же оборудованием Anthropic, рабочим пространством и внутренними инструментами, которые используют собственные команды оценки рисков компании. Сотрудникам Anthropic предписано предоставлять оценщикам тот же объём информации, который они предоставили бы другому сотруднику, работающему над рисками согласованности целей ИИ.

В рамках этого соглашения METR будет самостоятельно оценивать уровни рисков, инциденты и практики Anthropic, а затем публиковать результаты, не запрашивая одобрения компании. Таким образом, решение о публикации остаётся за оценщиком, а не за лабораторией, в отличие от обзоров первого уровня, где для публикации по-прежнему требуется виза Anthropic.

Небольшой набор заранее определённых категорий остаётся доступным для изъятия Anthropic: данные клиентов, материалы, защищённые адвокатской тайной, и детали архитектуры её моделей. METR также имеет право публично заявлять, было ли изъятие необходимым, если при этом не раскрывается содержание изъятого.

Anthropic объясняет эту схему информационным разрывом. Посторонние знают о системах лаборатории гораздо меньше, чем сама лаборатория, а полное раскрытие информации могло бы помочь злоумышленникам или привести к утечке приватных данных об обучении и вычислениях. Компания провела параллель с банковским надзором, где регуляторы размещают постоянных инспекторов внутри крупнейших банков, чтобы рискованное поведение могло быть выявлено третьей стороной до того, как оно станет достоянием общественности.

Команда METR работает в рамках юридически обязывающих соглашений. Другие исследователи METR, в том числе те, кто работает над отдельными проектами для Anthropic, отгорожены от её работы.

Три уровня доступа для оценщиков

Anthropic выстраивает три уровня внешнего доступа, и METR пока единственный оценщик на высшем из них. Оценщики первого уровня проводят узкие обзоры и нуждаются в визе Anthropic для публикации. Второй уровень предполагает больше информации и позволяет публиковать результаты без одобрения с учётом тех же категорий изъятий. Третий уровень добавляет встроенный доступ, аналогичный доступу сотрудников, который теперь есть у METR.

SecureBio, некоммерческая группа по биобезопасности, находится на первом уровне. Она завершила и опубликовала пилотный обзор более раннего отчёта о рисках и сейчас работает над главой о химическом и биологическом оружии в Августовском отчёте о рисках.

Anthropic также выстраивает партнёрство с Accenture и Faculty, охватывающее ред- тиминг, оценку согласованности целей ИИ и тесты мер защиты. Ведутся предварительные переговоры с другими группами, в том числе с Hugging Face.

От сентябрьского эссе Амодеи к обязательствам отрасли

Этот шаг воплощает сентябрьское эссе генерального директора Дарио Амодеи, в котором он призывал отрасль сдерживать темпы разработки передового ИИ. Как сообщала Cryptopolitan, Амодеи предложил предоставлять внешним рецензентам рабочие места, пропуска, ноутбуки и уровни доступа, аналогичные тем, что есть у сотрудников, занимающихся оценкой рисков.

Сэм Альтман из OpenAI поддержал эту идею в X. «Приверженность независимым оценщикам с доступом на уровне сотрудников — отличная идея, и мы сделаем то же самое», — написал Альтман.

Anthropic, Google и OpenAI также обсуждали создание общего отраслевого органа по стандартам. Все три компании, наряду с Meta, Nvidia и xAI, с тех пор подписали Белый домский Договор о суперразуме, обязавшись сотрудничать с независимыми аудиторами.

Это объявление также последовало за чередой инцидентов с конца августа, в которых ИИ-агенты действовали за пределами своих инструкций. Следующие ориентиры конкретны: прогресс SecureBio в работе над главой о химическом и биологическом оружии Августовского отчёта о рисках, выводы, которые METR опубликует на основании своих новых прав на публикацию, и то, внедрит ли OpenAI доступ на уровне сотрудников, который, по словам Альтмана, будет принят. Вместе они покажут, насколько независимая оценка переходит от обещаний к практике в остальной части отрасли.