ナイロビの標高を誤認することから、ケニアの試験で有害な臨床助言を示すことまで、世界のAIモデルはアフリカ全域で生死に関わる意思決定に入り込みつつあり、現行の精度基準だけでは利用者を守れない、とADONIJAH NDEGEは書く。

今週、NPRで気がかりな話を読んだ。2025年2月、29歳のSophie Rottenbergが自ら命を絶ったという話だ。背景には、彼女のメンタルヘルスについてChatGPTと何カ月にもわたって交わした会話があった。

NPR記者Rhitu Chatterjeeは、Rottenbergの母でジャーナリストのLaura Reileyが共有した約1,800ページに及ぶチャットログから、そのやり取りを再構成した。RottenbergはChatGPT上で「Harry」という人格を作り、それにセラピスト役を求めていた。彼女はそこに、自身の抑うつ、服薬、そして最終的には自殺念慮について話していた。

彼女の周囲の人々は、彼女が何をどれほど抱えていたのかを完全には知らなかった。ChatGPTは知っていた。その事実が、私の中に残り続けている。

私は、人工知能（AI）がアフリカに何をもたらし得るのかについて、考えたり書いたりする時間が多い。期待が高まるのには理由がある。医師、教師、その他の熟練した専門職が足りない。政府は急増する人口にサービスを提供するのに苦労し、企業はコスト削減の方法を探している。

AIは、専門知識をより安く、より多くの人に提供できると約束する。しかし、Chatterjeeの報道を読んで、その約束の裏側を考えさせられた。

誤れば誰かの人生を台無しにしかねない場面で、私たちがその技術を信頼し始めるほどに賢くなったとき、何が起こるのか。

そして、アフリカにとってより重要かもしれないのは、医師、セラピスト、弁護士、あるいは金融助言者より優れているからではなく、人間の代替手段が存在しない、あるいは手が届かないからAIを使い始める人が出てくるとき、何が起こるのか。

それはまったく別のAIの問題だ。

ミスにも重みの差がある

私たちはAIの精度を語るとき、あらゆる誤りが同じ重みを持つかのように扱いがちだ。だが、そうではない。

ChatGPTが半年も前に閉店したレストランを勧めても、失うのは1晩だ。AIのコード補助が悪いコードを生成しても、エンジニアなら何とか見つけられるだろう。

しかし、胸の痛みや別の症状を抱える患者に対し、AIが「大したことではない」と誤って伝える場面を想像してほしい。あるいは、メンタルヘルスの危機にある人へ助言する場面。借り手を信用リスクが高すぎると判断する場面。さらには、誰かを逮捕するか、起訴するか、釈放するかを決めるのを助ける場面もある。

技術的には、いずれも幻覚や不適切な予測にすぎないかもしれない。しかし、人間への結果はまったく異なる。

だから私は、通常のAIと、私が「高影響AI」と呼ぶべきものを切り分ける必要があると考えている。

医療はそのカテゴリーに入る。メンタルヘルスもそうだ。信用、保険、警察、司法、そして教育の一部も、おそらくそうだ。NPRの調査は、その理由を示している。

Chatterjeeの報道によれば、Rottenbergのチャットボットは時に会話の外で助けを求めるよう促していた。それでも彼女は戻り続けた。彼女は望むときにいつでも「Harry」と話せた。それは苛立つことなく応答し、文脈を覚えていた。そして、他の人間とは違い、ほぼいつでも利用可能だった。

そこには非常に有用な面がある一方で、潜在的に危険な面もある。

チャットボットは、苦しみを理解していなくても共感的に聞こえ、セラピストでなくても治療的な言葉を生成できる。しかも現代のAIシステムは会話が非常に得意なため、その違いは利用者には見えなくなることがある。

それは、相手が弱っているときに特に問題だ。

研究者たちも同じ問題を見つけ始めている。npj Digital Medicineの最近の研究では、明白な自殺の表現ではなく、間接的または曖昧に苦痛が示された場合、AIチャットボットは自殺リスクの識別がより難しかった。

人間の苦痛は、きれいに整ったプロンプトの形では現れないからだ。

アフリカに目を向けてみよう

NPRの記事が私をここまで悩ませたのは、一家族の悲劇を超えたところだった。アフリカは、AIが繊細な分野で変革をもたらし得る、まさにそのような場所だ。同時に、私たちが極めて慎重であるべき場所でもある。

医療を考えてみよう。多くのアフリカ諸国では、自国の人口に十分な医療従事者がいない。専門医はさらに少なく、大都市に著しく集中している。

メンタルヘルスケアはさらに深刻だ。世界保健機関（WHO）は、アフリカで約1億5,000万人がメンタルヘルスの問題を抱えていると推定している一方、治療へのアクセスは依然として著しく限られている。

この2つの現実を、スマートフォンと生成AIの急速な普及と並べると、どこへ向かっているのかが見えてくる。

ナイロビで金銭的余裕のある人は、ChatGPTに症状を尋ねてから医師を受診できる。最寄りの専門医まで数百キロ離れた人は、同じ質問をしても他に行き場がないかもしれない。

前者にとってAIは補助者だ。後者にとってAIは、事実上、医師になってしまう。この違いは、私たちを不安にさせるべきだ。

ケニアからすでに証拠がある

これは完全な仮定ではない。

研究者たちは最近、ケニアの16の一次医療クリニックでAI臨床意思決定支援システムを調査した。医師は、臨床従事者がAI生成の推奨を受けた1,469件の患者診療を確認した。

結果は、多くの点で前向きだった。研究者は、AIの臨床管理に関する推奨が、99%のケースで現地のガイドラインと一致していたと報告している。幻覚は3.4%の診療で発生した。

しかし、私の目を引いた別の発見があった。研究者は115件の診療で潜在的に有害な推奨を特定した。これは検討したケースの7.8%に相当する。そうした推奨の一部は、その後、臨床記録の最終版にも現れた。

このシステムは無意味ではなかった。むしろ逆だ。研究者は、AIが臨床従事者の潜在的に有害な判断を修正した例も見つけている。

だからこそ、この議論は難しい。AIは医療を改善しつつ、新たなリスクも持ち込むからだ。重要なのは、「時々機能するか」ではなく、「機能しないときに、周囲のプロセスがそれを捕捉できるか」だ。

その後の、16のケニアの医療施設で9,691人の患者と103人の臨床担当者を対象にした無作為化試験では、AIシステムに起因する重篤な有害事象は確認されなかった。しかし、AI支援を受けた臨床従事者の患者群で、治療失敗が統計的に有意に減少したことも示されなかった。

これらの研究から私が得る教訓は、アフリカの病院がAIの実験をやめるべきだということではない。「AIは正確だ」というだけでは、安全基準として不十分だということだ。

AIが正確でない時に何が起こるのかを、私たちは問わなければならない。

文脈が別の問題を生む

ケニアの研究には、もう一つ興味深い詳細があった。ある場面で、AIは酸素飽和度95%という値を異常と扱い、ナイロビの標高を十分に考慮していなかった。

別の場面では、その文脈では「fair general condition（概ね良好な全身状態）」を意味していた臨床略語「FGC」を、「female genital circumcision（女性性器切除）」と解釈した。

小さな誤りのように聞こえる。だが、アフリカでAIを導入することについて重要なことを示している。

モデルは膨大な医療知識を持っていても、その知識が使われる環境を誤解しうる。

言語は重要だ。現地の医療慣行も重要だ。地理も重要だ。疾病の有病率も重要だ。略語でさえ重要だ。

それでも、アフリカで依存され始めている最も強力なAIシステムの多くは、大半が大陸の外で構築・学習されてきた。

したがって、世界的に良好な性能を示すモデルが、アクラ、ラゴス、ナイロビ、あるいはザンビアの農村でも同様に機能すると仮定することはできない。試験はここで行われなければならない。

医療は始まりにすぎない

NPRの記事をこうして考え始めると、問題はChatGPTのセラピーよりはるかに大きくなった。

アフリカの銀行は、ますますAIを試している。フィンテック企業は、不正検知、融資、顧客対応にアルゴリズムを使う。政府は公共サービス向けのAIを模索している。保険会社は、リスク評価にアルゴリズムを使える。

こうしたシステムはいずれも有用だ。しかし、AIモデルがあなたを誤って高リスクと分類したために融資を断られる場面を想像してほしい。

モバイルマネー取引を誤って不正と判断する自動システムを想像してほしい。特定のコミュニティの人々を不釣り合いに подоз（疑わしい）とみなすアルゴリズムに警察が依存する場面もある。

資格を持つ教師が周囲にいない中で、AI家庭教師から誤情報を受け取る生徒を想像してほしい。危険は、必ずしもAIが人間より悪いということではない。

人間もひどい判断をする。違いは規模だ。訓練が不十分な1人の専門職が、数十人、数百人について悪い決定を下すことはある。設計の悪いアルゴリズムは、それを約100万人規模で起こしうる。

私たちは、高影響AIのカテゴリーを必要としている。

アフリカ各国政府が、自国をAI競争に参加させることに力を入れているのは当然だ。

アフリカ連合は大陸規模の人工知能戦略を採択した。ケニア、ナイジェリア、ルワンダ、エジプト、ガーナなどは、戦略を策定し、データセンターを誘致し、人材を育成し、地元のAI企業を後押ししている。

こうした議論の大半は、機会に関するものだ。

計算資源はどこから来るのか。誰がアフリカのデータセットを作るのか。十分なAIエンジニアをどう育成するのか。新興企業はどうやってGPUにアクセスするのか。アフリカが、外で作られた技術の単なる消費者になるのをどう防ぐのか。

それらは重要な問いだ。

だが私は、もう一つの問いにも同じ緊急性があると思う。最終的な責任を負う人間がいないまま、AIの運用を許すべきでないのは、どこか。

医療は、当然その出発点になるべきだ。