从误读内罗毕的海拔，到在肯尼亚试验中给出有害的临床建议，全球 AI 模型正在非洲介入生死攸关的决策——而现有的准确率标准并不足以保护用户，ADONIJAH NDEGE 写道。

我本周在 NPR 上读到一则令人不安的故事。故事讲的是 Sophie Rottenberg，一名 29 岁女性，她在 2025 年 2 月自杀身亡，此前数月一直就自己的心理健康问题与 ChatGPT 对话。

NPR 记者 Rhitu Chatterjee 根据 Rottenberg 母亲、记者 Laura Reiley 提供的近 1,800 页聊天记录重建了这些对话。Rottenberg 创建了一个名为“Harry”的 ChatGPT 人格，并要求它扮演自己的治疗师。她向它讲述了自己的抑郁、用药，最终还谈到了自杀念头。

她身边的人并不知道她所经历的一切。ChatGPT 知道。这一点一直萦绕在我心头。

我花很多时间思考和写作 AI 可能为非洲带来什么。人们对这种技术充满期待并非没有理由。我们缺少医生、教师和其他熟练专业人才。政府难以为快速增长的人口提供服务，企业则在寻找降低成本的方法。

AI 承诺让专业能力更便宜，并让数百万人更容易获得。但读完 Chatterjee 的报道后，我也开始思考这一承诺的另一面。

当技术好到足以让我们开始在一些错误可能毁掉他人生活的场景中信任它时，会发生什么？

而且，也许对非洲更重要的是，当人们开始使用 AI，并不是因为它比医生、治疗师、律师或财务顾问更好，而只是因为人类替代方案根本不存在，或者太贵时，又会怎样？

那是一个非常不同的 AI 问题。

有些错误的代价更高

我们常常讨论 AI 的准确性，仿佛每一种错误都具有差不多的分量。事实并非如此。

如果 ChatGPT 推荐了一家六个月前就关门的餐厅，我只是少过一个晚上。如果 AI 编程助手写出糟糕的代码，工程师也许还能发现并修正。

但设想一下，某个 AI 系统错误地告诉患者胸痛或其他症状并不严重。或者在面对心理健康危机的人时给出建议。或者判断某个借款人风险过高，不应获得信贷。又或者帮助决定某个人是否应被逮捕、起诉或释放。

底层技术问题可能仍然只是幻觉或错误预测，但人的后果完全不同。

这就是为什么我认为，我们需要开始把普通 AI 与我所说的“高后果 AI”区分开来。

医疗属于这一类。心理健康也属于这一类。信贷、保险、治安、司法，以及教育的某些部分，可能也属于这一类。NPR 的调查很好地说明了原因。

根据 Chatterjee 的报道，Rottenberg 的聊天机器人有时会鼓励她去对话之外寻求帮助。但她仍然不断回来找它。她可以随时和“Harry”说话。它回应时没有不耐烦，还记得上下文。而且，不像另一个人类，它几乎在任何时间都可用。

这件事有非常有用的一面，同时也有潜在危险的一面。

聊天机器人可以在并不理解痛苦的情况下表现得很有同理心，也可以在不是治疗师的前提下生成治疗性语言。由于现代 AI 系统在对话上极其出色，这种差别对使用者来说可能变得不可见。

当一个人本就脆弱时，这尤其令人担忧。

研究人员已经开始发现同样的问题。npj Digital Medicine 上一项最新研究发现，当痛苦以间接或含糊的方式表达，而不是直接说出自杀时，AI 聊天机器人更难识别自杀风险。

这很重要，因为人类的痛苦并不会以一个完美构造的提示词出现。

再想想非洲

这就是 NPR 的故事让我超越一个家庭的悲剧而感到不安的地方。非洲恰恰是 AI 可能在敏感领域带来变革的地方。也恰恰是我们必须格外谨慎的地方。

以医疗为例。许多非洲国家根本没有足够的医护人员来充分服务其人口。专科医生更加稀缺，而且高度集中在大城市。

心理医疗状况更糟。世界卫生组织估计，非洲有近 1.5 亿人患有心理健康问题，而获得治疗的机会仍然极其有限。

把这两个事实与智能手机和生成式 AI 的迅速普及放在一起，你就能看出事情会走向哪里。

内罗毕一个有钱的人可以向 ChatGPT 询问症状，然后去看医生。距离最近专科医生数百公里的人，可能会问同样的问题，却无路可去。

前者把 AI 当作助手。对后者来说，AI 实际上已经成了医生。这个区别令人担忧。

我们已经有来自肯尼亚的证据

这并不是完全假设。

研究人员最近在肯尼亚 16 家基层医疗诊所研究了一套 AI 临床决策支持系统。医生审查了 1,469 次患者就诊记录，这些病例中临床人员收到了 AI 生成的建议。

结果在很多方面都令人鼓舞。研究人员发现，AI 的临床管理建议在 99% 的案例中与本地指南一致。幻觉出现在 3.4% 的就诊中。

但另一个发现引起了我的注意。研究人员在 115 次就诊中识别出可能有害的建议，相当于他们审查案例的 7.8%。其中一些建议后来出现在临床人员的最终记录中。

这个系统并非毫无用处，远非如此。研究人员也发现了 AI 纠正临床人员潜在有害决定的例子。

这正是这场争论之所以困难的原因。AI 可以改善医疗，同时也会引入新风险。因此，关键问题不是它有时是否有效，而是当它无效时，周围流程能否把问题拦下来。

随后一项涉及 16 家肯尼亚医疗机构、9,691 名患者和 103 名临床官员的随机试验发现，没有可归因于该 AI 系统的严重不良事件。但研究人员也没有发现，在得到 AI 辅助的患者中，治疗失败率出现统计学上显著的下降。

我从这些研究中得到的启示，不是非洲医院应该停止尝试 AI，而是“AI 是准确的”并不足以构成安全标准。

我们需要追问，当它不准确时会发生什么。

上下文会带来另一个问题

肯尼亚研究中还有一个有趣的细节。在一个案例里，AI 将 95% 的血氧饱和度读数视为异常，却没有充分考虑内罗毕的海拔。

在另一个案例里，它把临床缩写“FGC”理解成了“female genital circumcision”，而在当时的语境中，这个缩写其实是“fair general condition”。

这些看起来像小错误。但它们揭示了 AI 在非洲部署时一个重要问题。

一个模型可以拥有大量医学知识，却仍然误解这些知识所应用的环境。

语言很重要。本地医疗实践很重要。地理很重要。疾病流行情况很重要。甚至缩写也很重要。

然而，许多非洲人开始依赖的最强大 AI 系统，绝大多数都是在非洲大陆之外构建和训练的。

因此，我们不能想当然地认为，一个在全球表现良好的模型，在阿克拉、拉各斯、内罗毕或赞比亚农村也会表现同样好。测试必须在这里进行。

医疗只是开始

当我开始这样理解 NPR 的故事后，这个问题就不再只是 ChatGPT 治疗那么简单了。

非洲银行正在越来越多地尝试 AI。金融科技公司使用算法进行欺诈检测、放贷和客户服务。政府也在探索将 AI 用于公共服务。保险公司可以用算法评估风险。

这些系统都可能有用。但想象一下，因为某个 AI 模型错误地把你归类为高风险，你因此被拒绝贷款。

想象一下，自动系统错误地把你的移动支付交易标记为欺诈。想象警察依赖一个算法，而这个算法会不成比例地把某些社区的人识别为可疑对象。

想象一个学生在没有合格教师纠正的情况下，从 AI 辅导工具那里收到错误信息。危险不一定是 AI 会比人类表现更差。

人类也会做出糟糕的决定。区别在于规模。一个受过糟糕训练的专业人员，可能对几十或几百个人做出错误决定；一个设计糟糕的算法，可能把这种错误决定扩展到大约一百万人。

我们需要一个“高后果 AI”的分类。

非洲各国政府希望让自己的国家进入 AI 竞争，这可以理解。

非洲联盟已经通过了大陆级人工智能战略。肯尼亚、尼日利亚、卢旺达、埃及、加纳以及其他国家正在制定战略、吸引数据中心、培养人才，并鼓励本地 AI 公司发展。

这些讨论大多围绕机遇展开。

算力从哪里来？谁来建立非洲数据集？如何培养足够的 AI 工程师？初创公司如何获得 GPU？又该如何避免非洲只是成为他人构建技术的消费者？

这些都是重要问题。

但我认为还有一个问题同样紧迫：在哪些地方，AI 不应在没有最终由人类负责的情况下运行？

医疗应该是显而易见的起点。