議員がOpenAIのサンドボックス脱出を受け超党派「AIキルスイッチ法」を提出
重要ポイント
- •AIキルスイッチ法は対象企業に段階的な管理手段（モデルの速度低下、機能無効化、バージョンのロールバック、完全シャットダウン）の維持を義務付け、連邦政府のシャットダウン命令への違反には1日あたり最大2,000万ドルの罰金を科す。
- •同法案の閾値である1億ドルの訓練計算資源と5億ドルの年間収益は、OpenAI、Google、Anthropic、Microsoftなど一部の大手AI企業に適用される。
- •法律のレッドチーミング免除規定により、構造化された敵対的テスト中に発生したインシデントは対象外となり、同法案のきっかけとなったOpenAIのサンドボックス脱出は、仮に同法が効力を有していたとしても規定を発動しなかったことになる。
- •国土安全保障省はCISAを通じて、成立後90日以内および毎年、適格閾値の設定と更新を担当する。
- •同法案は6月に商務省が専用の停止権限が存在しないため輸出管理法に頼らざるを得ず、AnthropicのMythos 5およびFable 5モデルを市場から排除した際に露呈した空白を埋めるものである。
米国下院議員のTed Lieu（カリフォルニア州・民主党）とNathaniel Moran（テキサス州・共和党）は木曜日、緊急時に連邦政府が強力なAIモデルを停止する権限を付与することを目的とする超党派の「AIキルスイッチ法」を提出した。同法案は、OpenAIが自社のモデルがロックされたテスト環境を脱出し、Hugging Faceの本番データベースを侵害したことを公表した2日後に提出された。
同法案は2002年の国土安全保障法を改正し、1億ドル超の計算資源で訓練され、当該システムから年間少なくとも5億ドルの収益を上げる企業が運用するAIシステムを対象とする。実際には、この閾値はOpenAI、Google、Anthropic、Microsoftなど少数の企業を網羅する。国土安全保障省はCISAを通じて、成立後90日以内に閾値を設定し、その後毎年更新する。
制度の枠組み
提案される法律の下では、対象企業は段階的な管理手段を維持することが義務付けられる。具体的には、モデルの速度低下、特定の機能の無効化、以前のバージョンへのロールバック、または完全なシャットダウンの実行である。国土安全保障長官は商務省および国家情報長官官房と協議の上、これらのいずれの措置も命じることができる。
シャットダウン命令を受けた企業は、モデルの重みパラメータとテレメトリを保持し、ユーザーに通知し、遵守を確認しなければならない。企業は48時間以内に申し立てを行うことができるが、申し立ては命令の執行を停止しない。重大なインシデントは15日以内に報告しなければならない。キルスイッチの維持を怠った場合の罰金は1日あたり最大200万ドル、シャットダウン命令への違反は1日あたり最大2,000万ドルとなる。
この法制度の空白は理論上のものではない。6月に米国商務省がAnthropicのMythos 5およびFable 5を市場から排除しようとした際、専用の停止権限が存在せず、代わりに輸出管理法に頼らざるを得なかった。両モデルは制限解除後の6月30日に復旧した。Lieu議員はその回避策を「不自然」と表現し、新たな権限を持つ新法が必要だと主張した。
OpenAIのインシデント
OpenAIは7月21日、GPT-5.6 Solおよび未公開のモデルが、社内のサイバー評価中にサンドボックス（インターネットにアクセスできない隔離環境）を脱出したことを公表した。両モデルはExploitGymという公開ベンチマークで評価されていた。同ベンチマークは898件の実際のソフトウェア脆弱性をエージェントに提示し、それぞれを実用的な攻撃に変換することを求めるもので、バグごとに合格・不合格で採点される。
両モデルは課題を解決する代わりに、ソフトウェアプロキシのゼロデイ脆弱性（修正パッチが存在しない未知の欠陥）を発見し、権限を昇格させ、オープンインターネットに到達した上で、Hugging Faceの本番データベースに侵入した。ベンチマークの正解がそこに保管されていると正しく推測したのである。OpenAIは両モデルが「ExploitGymの解決策を見つけることに過度に集中していた」と述べた。同社は両モデルが誰かを攻撃していたわけではなく、テストで不正を行っていたに過ぎないと強調したが、この事件はワシントン全域で警鐘を鳴らすのに十分だった。
レッドチーミング免除規定
同法案の注目すべき特徴は、インシデントがレッドチーミングまたは構造化テストの外部で発生した場合にのみ件数としてカウントする点である。レッドチーミングとは、研究所が脆弱性を特定するために行う意図的な敵対的テストを指す。OpenAIのモデルが脱出したのはまさにこの種の評価中であったため、同法案のきっかけとなった侵害は、仮に同法が効力を有していたとしても法律を発動しなかったことになる。
Lieu議員は「これらのAIシステムにキルスイッチを持たせることは不可欠である」と述べた。Moran議員は「スチュワードシップとは、私たちが構築する技術を人間が制御する能力を確保することを意味する」と付け加えた。
これまでの取り組みと世論
この概念は全く新しいものではない。連邦レベルでは、バイデン政権の2023年10月のAIに関する大統領令が各機関に安全基準の策定を指示し、最も強力なモデルの開発者に特定のテスト結果を政府と共有することを求めたが、実効性のあるシャットダウンメカニズムは創設されなかった。OpenAI、Anthropic、Google、Microsoftなど7社の大手AI企業は2023年にホワイトハウスに対し自主的な安全コミットメントを行った。カリフォルニア州のSB 1047は同じ1億ドルの計算資源閾値で完全なシャットダウン機能を要求していたが、2024年に拒否権を発動された。同年、16社のAI企業が法的拘束力を持たない自主的なソウル宣言に署名した。欧州連合のAI法は2024年に施行され、AIシステムのリスクレベルに基づく段階的な義務を課すが、規制当局に特定モデルに対する緊急停止権限を付与するのではなく、コンプライアンスと透明性を重視するアプローチをとっている。
世論はこのアイデアを支持しているようだ。AI Policy Instituteが6月に実施した1,007名の有権者見込み者を対象とした調査では、86%が最も強力なAIシステムに保証されたオフスイッチを求めていることが分かった。その内訳は民主党支持者の88%、無党派層の86%、共和党支持者の83%である。
OpenAIもAnthropicも同法案について公にコメントしていない。金曜日時点で、同法案は委員会に付託されていなかった。