人工知能界の最も著名な人々がフロンティアAI開発のより遅く、より慎重なアプローチを呼びかける中、オープンウェイトモデルに関する別のガバナンスの問いが浮上しつつある:開発者がウェイト(モデルがどのように出力を生成するかを決定する学習済みパラメータ)を公開した後、その安全性について誰が責任を負うのか?

9月12日のエッセイで最新のAI減速論争に火をつけた中で、AnthropicのCEO Dario Amodeiは、安全性の取り組みがモデルの能力に追いつく時間を確保するため、AI開発は減速しなければならないと主張した。OpenAIのCEO Sam Altmanや他のAIリーダーや研究者たちも、より慎重なペースを呼びかけている。

これまでのところ、この論争は主にフロンティア開発者と、自社モデルの使用方法を制御する能力に焦点が当てられてきた。しかし一部の企業はすでに、オープンウェイトモデルを自社のインフラ上でダウンロード、カスタマイズ、実行するなど、実験や構築を進めている。

例えばDatabricksは、そのプラットフォーム上でKimi K3、Qwen、DeepSeekなどのモデルを提供している。より広範なエコシステムには、MetaのLlamaやMistralのモデルなども含まれる。その範囲はこれらの著名な名前をはるかに超えて広がっている:オープンソースプラットフォームのHugging Faceは8月、リポジトリ内に約300万の公開モデルを有すると報告しており、多様なサイズと用途のモデルを網羅している。

これらのモデルは企業にデプロイに関するより大きな制御権を与える一方、元の開発者は一般的に、公開されたウェイトがどのように改変、デプロイ、使用されるかについて直接的な技術的制御を失う。ただし、ライセンス条項や法的制限は、その使用や再配布に依然として制限を課すことができる。

減速論争が明らかにする集中型安全性の限界

クローズド(プロプライエタリ)なAIモデル、開発者は通常、システムへのアクセスを管理する。使用制限を課し、活動を監視し、必要に応じてアクセスを変更または撤回することができる。

オープンウェイトモデルはその力学を変える。開発者がウェイトを公開すると、組織はそれをダウンロードして自環境で実行できる。モデルを改変またはファインチューニング(追加データを用いて事前学習済みモデルを特定のタスクに適応させること)し、さまざまなインフラプロバイダを通じてデプロイすることも可能になる。

その柔軟性はオープンウェイトAIを企業にとって魅力的なものにするが、従来のAI監視のアプローチの適用をより困難にもする。ウェイトが公開されると、元の開発者は組織がモデルをどのように改変・デプロイするかをほとんど監視できなくなる。また、オープンソースベンダーは一度ウェイトを公開すると、現実的にそれを撤回することはできない。

「提案されている修正策、組み込み型監査人、継続的モニタリングは、ベンダーがまだモデルを管理している間にしか機能しません」と、飲食業界向けのユニファイドコマースおよびスマートキッチンプラットフォームを構築するバージニア州アーリントンのQuの最高AI責任者、Manuel Schonfeld氏は述べた。「ウェイトが建物の外に出てしまえば、その役割はモデルを訓練した企業ではなく、デプロイする企業に委ねられるのです」

それは、オープンウェイトモデルが安全要件の適用免除を受けるべきだという意味ではない。これらのモデルには、独自のセキュリティおよび悪用リスクが伴う可能性がある。最近の英国政府が委託した調査では、従来のオープンソースソフトウェアにはより確立されたセキュリティ実践がある一方、オープンソースAIはモデルのウェイト、学習データ、ファインチューニングパイプライン、由来に関連する追加のリスクをもたらすことが明らかになった。同レビューでは、オープンソースAIのセキュリティとガバナンスに関する研究も依然として限られていることが判明した。

より厳格な監督ルールはオープンウェイトAIのコストを引き上げる可能性

この安全性の課題に対処する一つの方法は、開発者により多くの責任を負わせることだ。しかし、減速論争がより厳格なコンプライアンスおよび評価要件につながれば、大手AI企業の方が小規模なオープンウェイト開発者よりもそれを満たすことが容易になる可能性がある。

最大の研究所にはテスト、評価、コンプライアンスを処理するリソースがあるが、小規模な開発者はより厳格な要件を満たすのに苦労する可能性がある。

テック企業の戦略と成長を専門とするITサービス企業Digital 520の創設者兼プリンシパルコンサルタント、Noah Kenney氏は、企業が大手ベンダーに期待するのと同じ監査や証拠を小規模プロバイダにも要求すれば、コンプライアンス要件が障壁になる可能性があると述べた。「コンプライアンスコストが大規模プロバイダに有利に働けば、企業は最大手のAI企業に対する代替選択肢を少なくすることになりかねません」と彼は付け加えた。

エッセイで示されたAmodei氏の第三者安全評価の提案も、この課題を物語っている。彼の計画は、した評価者にフロンティアAI研究所への従業員に近い継続的なアクセスを与えるものだ。そのアプローチは、ウェイトが公開された後のオープンウェイトモデルには適用が難しくなる。公開後は、組織が元の開発者の関与なしにモデルを改変・再配布できるからだ。

独立した評価は依然としてAI安全性の向上に役立つが、オープンウェイトモデルは、開発者が公開した後に誰がモデルを監督すべきかの判断をより困難にする。

企業がより多くの責任を引き継ぐ可能性

減速論争がテスト、モニタリング、説明責任の重視につながれば、オープンウェイトモデルをデプロイする企業がそのガバナンスの負担をより多く自ら引き受けることになる可能性がある。

オープンウェイトベンダーと協業経験のあるクラウドベースのソフトウェアテストプラットフォーム開発企業Sauce Labsの社長兼CEO、Prince Kohli氏は、オープンウェイトモデルは企業に、モデルの実行場所、カスタマイズ方法、データの管理方法についてより大きな制御権を与えると述べた。しかし、その制御には運用およびガバナンスの責任も伴う。

「企業は、どのモデルをデプロイするかを決める際に、それぞれのユースケースのリスクを考慮する必要があります」とKohli氏は述べた。オープンウェイトモデルはシンプルで低リスクのタスクには適しているかもしれないが、複雑または事業に不可欠なワークフローには、セキュリティと予測可能性についてより高い基準が必要だと彼は言う。

企業が自らモデルを改変して運用する場合、モデルの由来を理解し、アクセスできるデータを管理し、その出力を継続的に評価する必要がある。特にコードを生成する場合や、アクションを実行または影響を与えることができるエージェントを動かす場合にはそうだ、とKohli氏は述べた。

Kenney氏は、責任は各当事者が何に貢献し、何を管理しているかに応じて分担されるべきだと述べた:元の開発者は公開したモデルとその既知の限界に対して責任を負い、企業はそのファインチューニング、データ、ツール、権限、デプロイの決定に対して責任を負うべきだ。

つまり、企業はモデルの検証、実行環境の保護、本番環境での挙動の監視、監査証拠の維持が必要になる可能性がある。

企業、特にオープンウェイトモデルをデプロイする企業にとっては、安全性とガバナンスはモデルの選択で終わるわけではなく、デプロイと運用を通じて続く。課題は単にAIがどのくらいの速さで進歩すべきかを決めることだけではない。オープンウェイトモデルを構築した企業が、公開されたウェイトの使用方法に対する直接的な技術的制御を失った後、説明責任がどのように機能すべきかを解明することでもある。減速論争がどのように決着するか——すでに公開されているウェイトが新たな評価およびコンプライアンス要件で考慮されるかどうかを含めて——は、開発者と企業の双方にとって未解決の問であり続けている。

出典:AI Business — Calls for AI slowdown raise new challenges for open-weight models