南アフリカ労働裁判所は、Matjhabeng Local Municipalityの職員3人に対する懲戒手続きを停止した。職員側の弁護士が、審問の議長が重要な判断を下す際、AIが生成したハルシネーションによる法的根拠に依拠した可能性を示す一応の証拠を提示したためだ。

職員側の弁護士は、引用された根拠のうち1件を除き、6月の判断で審問の議長が参照した法的資料は存在しないか、議長が述べた内容とは大きく異なるものだったことを示した。この異議申し立ては、議長が下した2件の判断を対象としており、懲戒手続きの公正性について重大な疑問を提起した。

K Allen-Yaman判事は判決で、人工知能が議長の理由付けを書いたと認定するには至らなかった。しかし、AIツールがその引用を生成していたのであれば「the ruling cannot stand」と警告し、チャットボットへの盲目的な依存は、南アフリカの裁判所が既に示している基準の下では容認できないと述べた。この文脈における「ハルシネーション」とは、大規模言語モデルが、検証済みの事実を検索するのではなく、もっともらしい言語を予測することで、事件名、引用、法的原則などを含む、流暢で自信に満ちたように見えるものの捏造された文章を生成する傾向を指す。

この件は、南アフリカのDepartment of Communications and Digital Technologiesが、News24によって67件の学術参考文献の一部が捏造されていた、または引用された研究を掲載していない学術誌を指していたことが判明し、Draft National Artificial Intelligence Policyの撤回を余儀なくされてから、わずか3カ月ほど後に起きた。同文書は、それを支える学術的根拠の正確性が確認される前に、既に内閣の承認を受け、官報に掲載されて意見公募に付されていた。同省の上級職員2人はその後、Rapportの調査で名前を挙げられ、4月末までに説明を行うよう求められた。

この出来事は、南アフリカ政府機関をめぐる最近の引用問題として唯一のものではなかった。その少し前には、Department of Home Affairsが同様の問題に直面していた。記者らが、Revised White Paper on Citizenship, Immigration and Refugeesの参考文献リストに100件を超える架空の参考文献が含まれていることを特定したためだ。同省は、捏造された引用は独立したリストに限られ、政策の実質には影響しないと主張した。この弁明は、AI政策の件で示された主張と重なる。すなわち、出典は誤っているが、結論は正しいというものだ。

南アフリカの司法も、少なくとも2025年1月以降、同じ問題に直面してきた。KwaZulu-Natal High CourtのMavundla v MEC for Co-Operative Government and Traditional Affairsにおける判決で、候補弁護士がChatGPTを使って作成した弁論要旨が明らかになったためだ。その提出書面には、「Hassan v Coetzee」という架空の事件が含まれており、もっともらしく見えるが完全に捏造された法的原則に基づいていた。

その後、Johannesburg High Courtは、Northbound Processing v South African Diamond and Precious Metals Regulatorで架空の法的根拠を使用したとして、弁護士らをLegal Practice Councilに付託した。この件では、ある判事が法廷でライブプロンプトを実行し、ChatGPTがいかに容易に事件を作り出せるかを実演した。

南アフリカで相次ぐAI引用スキャンダル

これらの事例は、個々の実務家や当局者による孤立した無謀さだけを示すものではない。より広範な制度的失敗も反映している。つまり、生成された資料の正確性を検証するうえで信頼できないツールに依存しているという問題だ。生成AIモデルは、流暢で自信に満ちた文章を作るよう設計されているが、必ずしも正確な文章を作るよう設計されているわけではない。捏造されたConstitutional Courtの判決も、誰かがそれを探して検証しようとするまでは、本物のように読めてしまう。

南アフリカの裁判所と政府省庁は、相次ぐスキャンダルを通じて、正しそうに聞こえることと実際に正しいことは別物であると認識しつつある。Legal Practice Councilと労働裁判所はいずれも、虚偽の法的根拠の使用に対して厳格な姿勢を示しており、Matjhabengの事案は、この問題が期限に追われる若手弁護士の範囲を超えていることを示している。

問題は今や、労働者の雇用や生活に影響し得る判断が下される準司法的な意思決定の領域にまで及んでいる。懲戒手続きの議長が、3人の職員に関わる判断を正当化するためにハルシネーションによる引用に依拠できるのであれば、公務員がチャットボットの出力をそのまま再現するのではなく独立した判断を行うことを求められるあらゆる場面で、同じリスクが生じ得る。

国際的なデータは、このリスクが高まっていることを示している。Damien Charlotinのデータベースは、世界中の裁判所で確認されたAIハルシネーション事例を1,300件以上記録している: 最も早く広く報じられた事例の一つは、2023年の米国のMata v. Avianca事件だった。この事件では、New Yorkの連邦判事が、ChatGPTによって生成された存在しない6件の事件を含む準備書面を提出した弁護士2人に制裁を科した。そのうち1人は、もう1人が作成した引用を検証するために同ツールを使っていた。Natureに掲載された研究では、少なくとも1件の捏造引用を含む学術論文の割合が、2024年から2025年の間におよそ9倍に増加したことが示された。

南アフリカは、AIが生成する虚偽の引用という広範な問題における例外ではない。AI支援による作業への組織的信頼が、それを検証する組織の能力をいかに急速に上回り得るかを示す、最も明確な事例の一つである。