從誤判奈洛比的海拔，到在肯亞試驗中給出有害的臨床建議，全球AI模型正深入非洲各地攸關生死的決策——而現行的準確率標準，還不足以保護使用者。ADONIJAH NDEGE撰文。

本週我在NPR讀到一篇令人不安的報導，內容關於29歲女性Sophie Rottenberg。她在2025年2月自殺身亡，生前曾連續數月與ChatGPT談論自己的心理健康。

NPR記者Rhitu Chatterjee根據Rottenberg的母親、記者Laura Reiley提供的近1,800頁聊天紀錄，重建了這些對話。Rottenberg曾為ChatGPT創建一個名為「哈利」的角色，並要求它扮演她的心理治療師。她向它傾訴自己的憂鬱、用藥情況，最終也談到了自殺的念頭。

她身邊的人並不知道她所經歷的全部。ChatGPT卻知道。這個細節一直縈繞在我心頭。

我花很多時間思考與撰寫人工智慧（AI）能為非洲做些什麼。這股熱潮其來有自：我們的醫師、教師和其他專業人才太少；政府難以為快速增長的人口提供服務；企業則設法降低成本。

AI有機會讓專業知識變得更便宜，並惠及數以百萬計的更多人。但讀完Chatterjee的報導，我開始思考這項承諾的另一面。

當技術好到讓我們開始在「出錯就可能毀掉某人一生」的場域信任它時，會發生什麼事？

而對非洲來說，或許更重要的問題是：當人們使用AI，不是因為它比醫師、心理治療師、律師或理財顧問更好，而是因為人力替代方案根本不存在或負擔不起時，又會發生什麼事？

這是一個截然不同的AI問題。

有些錯誤的代價遠高於其他

我們談論AI準確率時，往往假設每個錯誤的嚴重性大致相同。事實並非如此。

如果ChatGPT推薦了一家半年前就歇業的餐廳，我損失的只是一個晚上。如果AI程式設計助理寫出糟糕的程式碼，工程師或許還能及時發現。

但想像一下：AI系統錯誤地告訴患者胸痛或其他症狀不嚴重；為正處於心理危機的人提供建議；判定某位借款人風險過高而不予授信；或者協助決定某人是否應被逮捕、起訴或釋放。

背後的技術問題或許仍是幻覺或錯誤預測，但對人造成的後果截然不同。

這正是我認為我們需要開始區分「一般AI」與我所謂「高後果AI」的原因。

醫療屬於這一類，心理健康也是。信貸、保險、警務、司法，以及部分教育領域可能也是。NPR的調查報導說明了原因。

根據Chatterjee的報導，Rottenberg的聊天機器人有時會鼓勵她在對話之外尋求協助，但她仍不斷回到它身邊。她可以隨時與「哈利」交談；它回應時毫不顯露不耐，還記得先前的脈絡；而且與真人不同，它幾乎全天候可用。

這當中有極其有用之處，但同時也潛藏危險。

聊天機器人可以在不理解痛苦的情況下聽起來充滿同理心，也能在並非治療師的情況下生成治療式的語言。而由於現代AI系統的對話能力極為出色，使用者往往察覺不到這層差異。

當處於脆弱狀態的人使用它時，這一點尤其令人擔憂。

研究人員也開始發現同樣的問題。《npj Digital Medicine》期刊近期的一項研究發現，當痛苦是以間接或模糊的方式表達，而非明確提及自殺時，AI聊天機器人更難識別自殺風險。

這一點很重要，因為人類的痛苦不會以精心設計的提示詞形式出現。

現在想想非洲

這正是NPR報導讓我在一個家庭的悲劇之外更加不安的地方。非洲既是AI可能在敏感領域帶來變革的地方，也正是我們應該格外謹慎的地方。

以醫療為例。許多非洲國家的醫療人員根本不足以妥善照顧其人口，專科醫師更為稀缺，且高度集中於大城市。

心理健康照護的情況更糟。世界衛生組織估計，非洲有近1.5億人口飽受心理健康問題所苦，而獲得治療的管道依然極為有限。

把這兩個事實，與智慧型手機和生成式AI的快速普及放在一起看，未來走向不言可喻。

奈洛比的有錢人可以向ChatGPT詢問自己的症狀，然後再去看醫師；但住在距離最近專科醫師數百公里外的人，問了同樣的問題後，卻可能無處可去。

前者把AI當作助理；對後者而言，AI實際上已成為醫師。這個差異值得我們警惕。

肯亞已有實際證據

這並非純屬假設。

研究人員近期在肯亞16家基層醫療診所研究了一套AI臨床決策輔助系統。醫師檢視了1,469件臨床人員接收AI生成建議的就診案例。

結果在許多方面令人振奮。研究人員發現，AI的臨床處置建議在99%的案例中符合當地診療指引；幻覺則出現在3.4%的就診案例中。

但另一項發現格外引起我的注意。研究人員在115件就診案例中發現潛在有害的建議，相當於所審查案例的7.8%。其中部分建議隨後出現在臨床人員的最終病歷紀錄中。

這套系統並非一無是處，遠非如此。研究人員也發現AI修正了臨床人員潛在有害決策的案例。

這正是這場辯論困難之處。AI能改善醫療，同時也帶來新的風險。因此，關鍵問題不在於它有時是否有效，而在於當它失誤時，周邊流程能否及時察覺。

後來一項涵蓋9,691名患者與103名臨床醫事人員、橫跨肯亞16家醫療機構的隨機對照試驗發現，沒有可歸因於AI系統的嚴重不良事件。但研究人員也發現，在臨床人員獲得AI輔助的患者中，治療失敗率並未出現具統計顯著性的下降。

這些研究帶給我的啟示，並不是非洲醫院應停止試驗AI，而是「AI很準」並不足以作為安全標準。

我們必須追問：當它不準的時候，會發生什麼事？

情境脈絡帶來另一個問題

肯亞研究中還有另一個值得注意的細節。在其中一個案例中，AI未充分考量奈洛比的海拔，將95%的血氧飽和度視為異常。

在另一個案例中，它將臨床縮寫「FGC」——在該情境中意指「整體狀況良好」——誤解為「女性生殖器切割」。

這些聽起來像小錯誤，卻揭示了在非洲部署AI的一個重要課題。

一個模型可以擁有龐大的醫學知識，卻仍誤解這些知識所應用的環境。

語言很重要。在地醫療慣例很重要。地理環境很重要。疾病盛行率很重要。甚至連縮寫也很重要。

然而，非洲人開始依賴的許多最強大AI系統，絕大多數是在非洲大陸之外打造與訓練的。

因此，我們不能假設一個在全球表現良好的模型，在阿克拉、拉哥斯、奈洛比或尚比亞農村地區也會有同等表現。測試必須在這裡進行。

醫療只是起點

當我開始以這個角度思考NPR的報導，問題就遠不只ChatGPT心理治療了。

非洲各家銀行正加快試驗AI。金融科技公司運用演算法進行詐欺偵測、放款與客戶服務。各國政府正在探索以AI提供公共服務。保險公司也能運用演算法評估風險。

這些系統都可能發揮效用。但想像一下，你因為AI模型錯誤地將你歸類為高風險而貸款遭拒。

想像一套自動化系統錯誤地將你的行動支付交易標記為詐欺；想像警方依賴一套演算法，而它不成比例地將特定社群的人視為可疑。

想像一名學生從AI家教那裡得到錯誤資訊，而周遭沒有合格教師可以糾正。危險不一定在於AI表現得比人類差。

人類也會做出糟糕的決定，差別在於規模。一名訓練不足的專業人員，可能對數十或數百人做出錯誤決定；一套設計不良的演算法，卻可能影響約一百萬人。

我們需要為高後果AI建立一個類別。

非洲各國政府全力投入AI競賽，這可以理解。

非洲聯盟已通過一套全大陸層級的人工智慧策略。肯亞、奈及利亞、盧安達、埃及、迦納等國也在制定策略、吸引資料中心、培育人才，並扶植本地AI公司。

這些討論大多聚焦於機會。

運算資源從哪裡來？誰來建立非洲的資料集？如何培養足夠的AI工程師？新創公司如何取得GPU？我們如何避免非洲淪為他處所建技術的單純消費者？

這些都是重要問題。

但我認為另一個問題同樣迫切：在哪些領域，應該禁止AI在沒有人類承擔最終責任的情況下運作？

醫療顯然是明確的起點。