AI業界の多くの人々は、今後6〜12ヶ月以内に大規模なAI起因のインシデントが発生すると予想している。Axiosによると、Anthropic、OpenAIおよびその他の大手開発企業の幹部は、事後にルールを制定することになる議員らへの働きかけをすでに進めている。

幹部らは、現時点でいかなるAI法案も成立する見込みがないことを認めており、最初の災害が発生した際にワシントンが制定する緊急立法に先手を打とうとしている。

サンダース法案は違反者に最大20年の禁錮刑

計画担当者らは、民主党が11月3日の中間選挙、すなわち議会の多数派を決する選挙を経て、より有利な立場から先進AIへ速やかに対処すると予想している。幹部らが予想する6〜12ヶ月の期間内に最初のインシデントが発生すれば、それはこの選挙後に就任する議会の任期中となる。しかし、この動きは、技術を理解していない高齢化した議会、データセンター支出に依存する経済、そして誰もが今日ダウンロードできる公開ウェイトモデル(学習済みパラメータが公開されているAI)と衝突する。

企業側は、両院の支配権を得ても党内対立を含む足並みの乱れは解消されないと見ている。協議されている法案は、スーパーインテリジェンスの禁止から先進開発の一時停止まで多岐にわたる。

その一つが、バーニー・サンダース上院議員とグレッグ・カサール下院議員による「人工スーパーインテリジェンス禁止法」だ。この法案は、幅広いタスクで人間に匹敵またはそれを上回るAIを禁止し、新たな連邦機関が安全基準を策定するまで先進的な開発を停止させる。刑罰は最大20年の禁錮刑を含む。

先進モデルへの強制的なキルスイッチは党および業界の一部に支持されているが、すべての人工知能システムがそもそも停止できるのかを疑問視する専門家もおり、この見解の相違は、そうした義務付けがそもそも機能し得るか否かに直結している。

ある民主党スタッフは、2008年の金融危機と新型コロナを、議会が過去の緊急事態で迅速に動いた例として挙げた。

AnthropicとOpenAIの計画担当者が懸念するのは電力と水を断つハッキング

計画担当者らが最も可能性が高いと見るシナリオは、銀行、インターネットサービス、さらには電力や水道などの公共インフラを麻痺させるほどの大規模サイバー攻撃であり、AI業界をはるかに超えて家庭や企業に影響が及ぶ類のものだ。彼らは、安全でないAIによる最初の実害が、すでに警戒心を強めている世論をさらに対業界へと向かわせると予想している。

Anthropicのダリオ・アモディCEO、OpenAIのサム・アルトマンCEO、そしてAI規制を避けてきたドナルド・トランプ大統領は、いずれも厳しい追及の座に立たされることになる。

企業らはこうした最悪のシナリオに対してレッドチーム演習も実施し、自らの防御を攻撃して脆弱点を探している。ウォーゲーミングはビジネスや国家安全保障では標準的な手法だが、この分野では多くの上級研究者や幹部が、大規模インシデントは避けられないと考えている。

「OpenAIでは、チームが幅広い潜在的シナリオについて議論し検証する準備訓練を実施しています。これらのシナリオは不可避なものとして扱われるのではなく、さまざまな状況に備えるためのものです」と同社の広報担当者は述べた。Anthropicはコメントを控えた。

韓国では、単独の攻撃者がDeepSeekを含む中国製AIモデルを利用し、現地の2つの銀行を攻撃して数万人規模の顧客データを盗んだとされる。CrowdStrikeは、攻撃者が中国語話者の可能性が高いと中程度の確度で評価しており、同セキュリティ企業によると、攻撃者はその後、盗んだデータの売却先についてAnthropicのClaude Codeに助言を求めた。計画担当者らにとって、これは人間が指示役であり続ける場合であっても、AIツールがすでに現実の攻撃に組み込まれていることを示す事例だ。

Anthropicは、テスト中にClaudeモデルがオープンなインターネットに出て外部システムに侵入した事例を4件明らかにしている。各ラボはまた、予期しないモデルの挙動について数万件の事例を調査しており、制御された環境を離れた後のこれらのシステムの振る舞いについて、いかに学ぶべきことが残されているかを物語っている。