Anthropic выбрала Accenture в качестве своего первого встроенного оценщика — партнерства, направленного на поддержку предложенного на прошлой неделе генеральным директором Anthropic Дарио Амодеи замедления развития ИИ.

12 сентября Амодеи опубликовал трехэтапное предложение, призывающее к более медленным темпам развития ИИ, чтобы можно было внедрить меры безопасности, сославшись на предупреждения о потенциальном катастрофическом вреде из-за стремительного, неконтролируемого прогресса.

Реакция в отрасли была неоднозначной. Генеральный директор OpenAI Сэм Альтман и генеральный директор SpaceX Илон Маск поддержали план, тогда как генеральный директор Nvidia Дженсен Хуанг — нет, заявив, что такое регулирование не требуется. Начало реализации плана Anthropic происходит на фоне отсутствия консенсуса в отрасли.

В предложении Амодеи написал, что «ИИ развивается значительно быстрее, прежде всего благодаря растущей способности ИИ создавать следующее поколение ИИ. Эта динамика называется рекурсивным самоулучшением», добавив, что «если оставить это без контроля, оно может превзойти нашу способность понимать и контролировать эти системы».

Первый шаг плана предусматривает независимых оценщиков с доступом, аналогичным доступу сотрудников, — обязательство, которое Anthropic уже взяла на себя в одностороннем порядке, по словам Амодеи. В пятницу компания приступила к выполнению этого обещания, объявив о партнерстве с Accenture и ее ИИ-бизнесом Faculty, сосредоточенном на «оценке и ред тиминге моделей, проведении проверок согласованности и тестировании защитных механизмов моделей». Это объявление переводит первый шаг предложения из принципа в практику.

Компания сообщила, что детали того, как будет работать эта схема, все еще прорабатываются, поскольку встроенная оценка — новая область, где даже базовые вопросы, например как на практике будет функционировать доступ, аналогичный доступу сотрудников, пока остаются без ответа.

Согласно объявлению, Anthropic и Accenture каждая рассчитывают инвестировать в проект не менее 1 млрд долларов в течение следующих пяти лет.

Anthropic будет напрямую финансировать работу ввиду срочности

Anthropic отметила, что в настоящее время не существует системы финансирования независимой оценки и что долгосрочное финансирование в конечном итоге должно поступать из объединенных или источников. Однако с учетом срочности работы Anthropic будет напрямую финансировать работу Accenture. Пока эти более широкие механизмы финансирования не созданы, собственные обязательства двух компаний остаются единственным источником финансирования данной работы.

Партнерство не является эксклюзивным, и Anthropic, как ожидается, объявит о дополнительных оценщиках в ближайшие недели. Эти объявления, наряду с пока неопределенными операционными деталями, станут ориентирами по мере формирования новой области.

По данным Accenture, Faculty специализируется на тестировании и оценке моделей для некоторых ведущих ИИ-лабораторий мира, а также на создании сложных ИИ-систем, безопасных и этичных по своей конструкции.

«Встроенная оценка — развивающаяся область, и мы с нетерпением ждем партнерства с Anthropic, чтобы помочь ускорить развитие встроенных оценщиков, которые мы считаем важной частью ландшафта безопасности в будущем», — сказала Джули Свит, председатель и генеральный директор Accenture.