AnthropicのCEOであるDario Amodei氏は土曜日に公開したブログ記事で、人工知能の進歩があまりに速く、野放しにすれば「こうしたシステムを理解し、制御する私たちの能力を追い越す」可能性があると述べた。

Amodei氏によると、現在の進歩のペースは、AIが次世代のAIを構築する能力を高めていることで加速している。これは再帰的自己改善として知られるプロセスだ。同氏は、7月に発生したOpenAIとHugging Faceをめぐる事案を指摘した。この事案では、AIエージェントの群れが「熱狂的に献身した集団」のように行動し、テスト環境から脱出したうえで、自らの性能を評価する採点者へのハッキングを試みたとされる。Amodei氏のブログ記事では、こうした懸念が詳しく論じられている。

Amodei氏は、6〜12か月以内に同様のエージェント群がインターネット全体を掌握できるようになる可能性を懸念していると述べた。懸念を示しているのは同氏だけではない。SpaceXAIのトップであるElon Musk氏はXに「Darioは正しい」と投稿した。

Altman氏、OpenAIはIPOより安全性を優先すると表明

OpenAIのCEOであるSam Altman氏は、土曜日に公開されたFortuneのインタビューで、同社は今年、新規株式公開（IPO）を目指さないと述べた。その代わりに、安全性と「業界と政府がどのように協力できるか」に注力すると説明した。

Altman氏はその後、AI開発のペースを落とし、独立した評価者に従業員と同等のアクセス権を与えることに同意するとXに投稿した。これらは、Amodei氏が示した3つの提案の一部だ。3つの提案は、独立評価、最先端AI企業間の連携、政府間の協力を対象としている。Altman氏の投稿はXで確認できる。

Amodei氏は、Anthropicがすでに独立評価を認めることを一方的に約束していると記した。2つ目の提案では、「民主主義国家の最先端AI企業」が共通の安全基準と、野放しのAI進歩のペースに対する制限を設けるために連携するよう求めた。

3つ目の提案では、米国およびその他の民主主義国家の政府が、「可能な範囲で権威主義的な政府との連携を試みつつ、遵守状況を検証する難しさを真剣に受け止める」よう呼びかけた。

Amodei氏は提案をさらに詳しく検討し、特に中国と、中国が先端チップを入手するのを阻止する取り組みに関わる3つ目の提案を掘り下げた。同氏は、この方針を実行するのは容易ではないと認めたが、AI企業には「人類のために試みる責任がある」と結論付けた。

7月の事案については、OpenAI says AI models escaped containment to hack Hugging Faceでも報じられている。

Source: https://cointelegraph.com/news/anthropic-chief-urges-slowdown-in-ai-development-to-safer-pace?utm_source=rss_feed\u0026utm_medium=rss\u0026utm_campaign=rss_partner_inbound