南非劳工法院已暂停针对 Matjhabeng Local Municipality 三名员工的纪律处分程序，此前这些员工的律师提交了初步证据，显示听证会主席在作出关键裁决时可能依赖了由 AI 生成的“幻觉”法律依据。

员工律师指出，除一个被引用的权威来源外，听证会主席在 6 月裁决中引用的法律来源要么并不存在，要么其内容与主席声称的内容相去甚远。该质疑针对主席作出的两项裁决，并对纪律处分程序的完整性提出了严重疑问。

在判决中，K Allen-Yaman 法官并未直接认定人工智能为主席撰写了裁决理由。不过，她警告称，如果这些引用是由 AI 工具生成的，“the ruling cannot stand”，并表示，按照南非法院已经确立的标准，盲目依赖聊天机器人是不可接受的。在这一语境下，“幻觉”指的是大型语言模型生成流畅、看似自信的文本的倾向——包括案件名称、引用和法律原则——但这些内容可能是虚构的，因为模型是在预测看似合理的语言，而不是检索经过验证的事实。

该案发生前不到三个月，南非 Department of Communications and Digital Technologies 被迫撤回其 Draft National Artificial Intelligence Policy。此前 News24 发现，该政策 67 条学术参考文献中有一部分是虚构的，或指向并未发表相关研究的期刊。在支撑该文件的学术来源准确性得到核查之前，该文件已经获得 Cabinet 批准，并刊登在政府公报中征求公众意见。该部门两名高级官员随后在 Rapport 的一项调查中被点名，并被要求在 4 月底前作出解释。

这并不是近期唯一一起涉及南非政府机构的引用争议。不久前，Department of Home Affairs 也面临类似问题，记者在 Revised White Paper on Citizenship, Immigration and Refugees 的参考文献列表中发现了 100 多条虚构引用。该部门辩称，这些虚构引用仅限于一个独立列表，并未影响政策实质内容。这一辩护与 AI 政策事件中的说法相呼应：来源不正确，但结论正确。

至少自 2025 年 1 月以来，南非司法系统一直在应对同一问题。当时，KwaZulu-Natal High Court 在 Mavundla v MEC for Co-Operative Government and Traditional Affairs 一案中的判决披露，一名候选律师使用 ChatGPT 起草了辩论要点。该提交文件包含一个虚构案件 “Hassan v Coetzee”，其依据的法律原则看似合理，但完全是编造的。

此后，Johannesburg High Court 已将因在 Northbound Processing v South African Diamond and Precious Metals Regulator 一案中使用虚假法律依据的律师移交给 Legal Practice Council。在该事项中，一名法官甚至在法庭上通过现场提示演示了 ChatGPT 可以多么容易地编造案件。

南非反复面临 AI 引用丑闻

这些案件并不只是指向个别从业者或官员的孤立鲁莽行为。它们也反映出更广泛的制度性失误：依赖那些无法被信任去核查其生成材料准确性的工具。生成式 AI 模型旨在生成流畅且自信的文本，而不一定是准确的文本。一份虚构的 Constitutional Court 判决，在有人尝试查找并核实之前，可能读起来像真实判决一样。

通过一再发生的丑闻，南非法院和政府部门正在发现，看起来正确与实际正确是两回事。Legal Practice Council 和 Labour Court 都已表明会严格对待虚假权威来源的使用，而 Matjhabeng 案显示，这一问题已经超出在期限压力下工作的初级律师范围。

该问题现在延伸到准司法决策领域，在那里，裁决可能影响员工的工作和生计。如果一名纪律听证会主席可以依赖“幻觉”引用来为涉及三名员工的裁决提供依据，那么在任何要求公职人员行使独立判断、而不是照搬聊天机器人生成内容的场景中，都可能出现同样的风险。

国际数据表明，这一风险正在上升。Damien Charlotin 的数据库已记录全球法院中超过 1,300 起确认的 AI“幻觉”案例： 2023 年美国 Mata v. Avianca 案，纽约一名联邦法官制裁了两名提交法律文书的律师，该文书包含 ChatGPT 生成的六个不存在案件，其中一名律师还曾使用该工具核查另一名律师提供的引用。Nature 发表的研究发现，含有至少一条虚构引用的学术论文比例在 2024 年至 2025 年间大约增加了九倍。

在 AI 生成虚假引用这一更广泛问题上，南非并非特例。它是最清晰的例子之一，显示机构对 AI 辅助工作的信任可以多么迅速地超前于机构核查其内容的能力。