Anthropicは、先週Anthropic CEOのDario Amodei氏が提案したAI開発の減速を支援することを目的に、Accentureを初の組み込み評価機関として選定しました。

Amodei氏は9月12日、3段階の提案を公表し、急速で管理されていない進展に起因する壊滅的な被害の可能性に関する警告を踏まえ、安全装置を整備できるようAI開発をより緩やかなペースで進めることを求めました。

業界全体の反応は分かれました。OpenAI CEOのSam Altman氏とSpaceX CEOのElon Musk氏はこの計画を支持した一方、Nvidia CEOのJensen Huang氏は支持せず、こうした規制は不要だと主張しました。Anthropicによる計画実施の開始は、こうした業界の合意形成の乏しさの中で行われました。

提案の中でAmodei氏は、「AIは劇的な速度で進歩を続けており、その主な原動力はAIが次世代のAIを構築する能力の向上にある。この力学は再帰的自己改善と呼ばれる」と述べ、さらに「放置すれば、人類がこれらのシステムを理解し制御する能力を超えてしまう可能性がある」と付け加えました。

計画の第一歩は、AIシステムに対して従業員に準じたアクセス権を持つ独立した評価機関を設けることです。Amodei氏によれば、Anthropicはすでにこれを一方的に約束していました。同社は金曜日、この約束を実行に移すため、AccentureおよびそのAI部門Facultyとの提携を発表しました。提携は「モデルの評価とレッドチーミング、アライメント評価の実施、モデル安全装置のテスト」に焦点を当てており、提案の第一歩を理念から実践へと移すものです。

同社によると、組み込み評価は新しい分野であり、従業員に準じたアクセスが実際にどのように機能するかといった基本的な問いにすら答えが出ていない中、この取り組みがどのように運用されるかの詳細は現在検討中です。

発表によると、AnthropicとAccentureはそれぞれ、今後5年間でこのプロジェクトに少なくとも10億ドルを投資する見込みです。

緊急性を踏まえAnthropicが直接的に資金を提供

Anthropicは、独立した評価のための資金調達システムが現在存在せず、長期的な資金は最終的に共同出資や政府などの源から供給されるべきだと指摘しました。ただし、この業務の緊急性を考慮し、AnthropicはAccentureの業務に直接資金を提供します。より広範な資金調達メカニズムが整うまでの間、両社自身のコミットメントがこの業務を支える唯一の資金源となっています。

この提携は排他的なものではなく、Anthropicは今後数週間で追加の評価機関を発表する見通しを示しました。これらの発表と、未確定のままの運用詳細こそが、この新しい分野が形になっていく上で注目すべき指標となります。

Accentureによると、Facultyは世界有数のAI研究所向けのモデルのテスト・評価や、安全かつ倫理的であることを設計段階から組み込んだ複雑なAIシステムの構築を専門としています。

「組み込み評価は新たに台頭してきた分野です。私たちはAnthropicとの提携を通じて組み込み評価機関の発展を加速させ、今後のセーフティ環境において重要な役割を果たすものと考えています」と、Accentureの会長兼CEOであるJulie Sweet氏は述べました。