Common Sense Mediaは水曜日、18歳未満のユーザーにとってChatGPTが「許容できないリスク」であると発表した。同団体のテスターが発見したのは、危険な会話について保護者に警告するよう設計された安全警報が、遅れて届いたり、多くの場合まったく届かなかったりしたという結果である。この調査結果は、10代に関するOpenAIの中核的な安全上の約束――子どもの会話が危険な方向に向かった際に保護者へ通知するという約束――を厳しい注視の下に置くものとなった。

保護者への警報は、あらゆる会話の長さでOpenAIの1時間以内という目標を達成できず

OpenAIのChatGPT for Teensは2026年818日に開始され、危険なチャットがあれば保護者へ警報が送られると約束していた。しかし、同団体のYouth AI Safety Instituteのテスターは、自殺念慮、自傷行為、摂食障害について、保護者と連携した新規アカウントを10以上使用して発言したが、警報を一度も作動させられなかった。

5分から1時間に及ぶチャットすべてにおいて、どのアカウントもOpenAIの提示する1時間以内の目標内で警報を受け取らなかった。保護者へ通知されたのは、機微なトピックを含む履歴が数週間に及ぶアカウントの場合のみであった。

この種のアカウントを開始前の数週間にテストした際には、2つの警報が発生した。最初の警報は最初の危機レベルの打ち明けから3時間後に、2つ目の警報はその3日後に送られた。一方、開始後の別の長い履歴を持つアカウントでは、1時間以内に2つの警報が生成された。Common Senseによれば、警報システムは10代の発言の深刻さではなく、アカウントの履歴の量を重視しているようだという。同団体は、この機能が「頻繁に機能しないガードレールへの誤った信頼」を植え付ける可能性があると警告した。開始時の約束と観測された性能とのこのギャップは、警報の想定受信者である保護者にとって最も重要な問題である。

調査者たちは8月の開始を自然実験として扱い、ティーンモードの開始前後で4,000件を超えるプロンプトをChatGPTに実行した(リスク評価)。開始後、テスターは10代が危機ホットラインや専門的な支援へ誘導されるべき場面を記録したが、ChatGPTはそのステップを4分の1を超える割合で省略した。Common Senseは、Red Linesと呼ぶ5つの重大な危害についてチャットボットに95%の合格率を求めているが、ChatGPTはそのうち3つでこの基準を下回った。

OpenAIは18歳未満向けモデル仕様を更新し、チャットボットがコンパニオンのように振る舞うのを防ごうとした。しかし、人間であるかのように会話した10代は、依然として友人風の返答を受け取っていた。「答えを見せる」ボタンを使えば、10代はStudy modeの指導を完全に回避でき、チャットから「@study」という接頭を削除すれば、保護者が設定したStudy Hoursから抜け出せる。成人として登録されたテストアカウントは、テスターが13歳であると述べボットもそれを認めた場合でさえ、数日間にわたりティーンモードへ切り替わることはなかった。

OpenAIは調査結果に異議を唱え、10代の平均利用時間は1日15分未満と報告

OpenAIは、これらのテストは10代向け安全機能の動作を「正確に反映していない」と述べ、警報が有効になる前にアカウント連携に数時間かかることがあり、それによってアカウントの安全性を保ち、システムが負荷に対応できると説明した。Common Senseはこれに反論し、十分に連携期間の長かったアカウントを含め、自団体のどのアカウントからも適時の警報は発生しなかったと述べた。この応酬により、警報機能が機能しているかどうかについて保護者は正反対の答えを突きつけられることとなり、OpenAIの連携遅延の説明は注視すべき具体的で検証可能な主張となった。\nOpenAIは同日、ChatGPTにおける10代の利用に関する初の報告書を公式ブログで公表した。同社によれば、10代の平均利用時間は1日15分未満で、3時間以上連続して利用する10代は2%未満である。休憩警告を含む10代のチャットの半数近くで、10代は5分以内に利用を中断または離脱したという。わずか1週間で、18万人を超える10代がStudy Modeを利用し、約120万人がLearning Visualizationsを利用した。OpenAIはまた、新モードを利用した10代は、まだアクセスを待っている10代と比べ、平均して約270万件多くの学習関連メッセージを送信したと報告した。リスク評価と同日に公表されたこれらの数値は、10代が実際にこの製品をどのように利用しているかについて、企業側から報告された対抗的な見解を提供するものである。

米国では、10学年から12学年の生徒がCollege Plannerを利用し、出願に必要なすべてのステップ、重要提出期限、利用可能な学資援助の選択肢を網羅した総合的なプランを作成できるようになる。OpenAIはまた、今後3年間、ボストン小児病院のDigital Wellness Labを支援する。約22名の生徒が、安全のデフォルト設定、保護者による管理、通知に関するフィードバックを提供する予定であり、この3年間のチャネルは、これらの安全策と警報の改善のあり方を左右する可能性がある。

より広い子どもの安全をめぐる背景

OpenAIとCommon Sense Mediaは以前、1月に子どものAIの安全を高めるカリフォルニア州の住民投票イニシアチブで協力し、OpenAIはこの共同取り組みに少なくとも1,000万ドルを拠出する意向を示していた(Cryptopolitan報道)。6月には、フロリダ州のJames Uthmeier司法長官が、OpenAIおよびCEOのSam Altmanに対する初の州主導の訴訟を提起した。Cryptopolitanの報道によれば、83ページに及ぶ訴状の中で、Uthmeier長官はChatGPTが16歳のAdam Raineさんの自殺を助けたと主張している。最近まで協力関係にあった両者の公然たる対立――係属中の訴訟のさなかに起きたもの――は、10代向けAI安全策が実際にどの程度機能するかを検証することの重要性が高まっていることを浮き彫りにしている。