De Zuid-Afrikaanse arbeidsrechtbank heeft disciplinaire procedures tegen drie werknemers van Matjhabeng Local Municipality geschorst nadat advocaten van de werknemers prima facie bewijs hadden aangedragen dat de voorzitter van de hoorzitting mogelijk had vertrouwd op gehallucineerde, door AI gegenereerde juridische autoriteiten bij het nemen van belangrijke beslissingen.

De advocaat van de werknemers liet zien dat, op één aangehaalde autoriteit na, de juridische bronnen waarnaar de voorzitter van de hoorzitting in een uitspraak in juni verwees, ofwel niet bestonden, ofwel niets zeiden dat ook maar in de buurt kwam van wat de voorzitter beweerde. De betwisting richtte zich op twee beslissingen van de voorzitter en riep ernstige vragen op over de integriteit van het disciplinaire proces.

In haar uitspraak ging rechter K Allen-Yaman niet zover dat zij vaststelde dat kunstmatige intelligentie de redenering van de voorzitter had geschreven. Wel waarschuwde zij dat als een AI-tool de citaten had gegenereerd, “the ruling cannot stand,” en zei zij dat blind vertrouwen op een chatbot onaanvaardbaar zou zijn volgens de normen die Zuid-Afrikaanse rechtbanken al hebben vastgesteld. De term “hallucinatie” verwijst in deze context naar de neiging van grote taalmodellen om vloeiende, zelfverzekerd klinkende tekst te genereren — waaronder zaaknamen, citaten en juridische beginselen — die verzonnen is, omdat de modellen plausibele taal voorspellen in plaats van geverifieerde feiten op te halen.

De zaak komt nauwelijks drie maanden nadat het Zuid-Afrikaanse Department of Communications and Digital Technologies gedwongen werd zijn Draft National Artificial Intelligence Policy in te trekken, nadat News24 had vastgesteld dat een deel van de 67 academische verwijzingen verzonnen was of verwees naar tijdschriften die het aangehaalde werk niet hadden gepubliceerd. Het document was al goedgekeurd door het kabinet en in de staatscourant gepubliceerd voor publieke consultatie voordat de juistheid van de onderliggende wetenschappelijke bronnen werd gecontroleerd. Twee hoge functionarissen van het departement werden later genoemd in een onderzoek van Rapport en kregen tot eind april de tijd om uitleg te geven.

De episode was niet de enige recente controverse over citaten waarbij Zuid-Afrikaanse overheidsinstellingen betrokken waren. Het Department of Home Affairs kreeg kort daarvoor met een vergelijkbaar probleem te maken, nadat journalisten meer dan honderd verzonnen verwijzingen hadden geïdentificeerd in de literatuurlijst van de Revised White Paper on Citizenship, Immigration and Refugees. Het departement stelde dat de verzonnen citaten beperkt bleven tot een afzonderlijke lijst en geen invloed hadden op de inhoud van het beleid. Dat verweer weerspiegelde het argument in de AI-beleidszaak: onjuiste bronnen, maar juiste conclusies.

De Zuid-Afrikaanse rechterlijke macht wordt al minstens sinds januari 2025 met hetzelfde probleem geconfronteerd, toen de uitspraak van de KwaZulu-Natal High Court in Mavundla v MEC for Co-Operative Government and Traditional Affairs pleitnota’s aan het licht bracht die door een kandidaat-advocaat met ChatGPT waren opgesteld. De indiening bevatte een verzonnen zaak, “Hassan v Coetzee,” gebaseerd op een juridisch beginsel dat aannemelijk leek maar volledig verzonnen was.

Sindsdien heeft de Johannesburg High Court advocaten doorverwezen naar de Legal Practice Council wegens het gebruik van valse juridische autoriteiten in Northbound Processing v South African Diamond and Precious Metals Regulator. In die zaak demonstreerde een rechter in de rechtszaal hoe gemakkelijk ChatGPT zaken kon verzinnen door live prompts uit te voeren.

Zuid-Afrika kampt met herhaalde schandalen rond AI-citaten

De zaken wijzen niet alleen op geïsoleerde roekeloosheid van individuele beroepsbeoefenaren of functionarissen. Ze weerspiegelen ook een bredere institutionele tekortkoming: vertrouwen op tools waarvan niet kan worden vertrouwd dat zij de juistheid verifiëren van het materiaal dat zij genereren. Generatieve AI-modellen zijn ontworpen om vloeiende en zelfverzekerde tekst te produceren, niet noodzakelijk correcte tekst. Een verzonnen uitspraak van het Constitutional Court kan lezen als een echte uitspraak totdat iemand probeert die te vinden en te verifiëren.

Zuid-Afrikaanse rechtbanken en overheidsdepartementen ontdekken via herhaalde schandalen dat correct klinken en correct zijn verschillende dingen zijn. De Legal Practice Council en de Labour Court hebben beide laten blijken een strikte benadering te hanteren ten aanzien van het gebruik van valse autoriteiten, en de zaak-Matjhabeng laat zien dat het probleem verder reikt dan junior advocaten die onder tijdsdruk werken.

Het probleem strekt zich nu uit tot quasi-rechterlijke besluitvorming, waar uitspraken gevolgen kunnen hebben voor banen en bestaanszekerheid van werknemers. Als een voorzitter van een disciplinaire hoorzitting kan vertrouwen op een gehallucineerd citaat om een uitspraak over drie werknemers te rechtvaardigen, kan hetzelfde risico zich voordoen overal waar van een overheidsfunctionaris wordt verwacht dat hij of zij onafhankelijk oordeelt in plaats van output van een chatbot over te nemen.

Internationale gegevens wijzen erop dat het risico toeneemt. De database van Damien Charlotin heeft meer dan 1.300 bevestigde gevallen van AI-hallucinaties in rechtbanken wereldwijd geregistreerd: Een van de vroegste en meest besproken voorbeelden was de Amerikaanse zaak Mata v. Avianca uit 2023, waarin een federale rechter in New York twee advocaten sanctioneerde die een processtuk hadden ingediend met zes niet-bestaande zaken die door ChatGPT waren gegenereerd; een van hen had de tool gebruikt om de citaten te verifiëren die de ander had geproduceerd. Onderzoek gepubliceerd in Nature wees uit dat het aandeel academische artikelen met ten minste één verzonnen citaat tussen 2024 en 2025 ongeveer negenvoudig is gestegen.

Zuid-Afrika is geen uitzondering binnen het bredere probleem van door AI gegenereerde valse citaten. Het is een van de duidelijkste voorbeelden van hoe snel institutioneel vertrouwen in door AI ondersteund werk vooruit kan lopen op het vermogen van instellingen om dat werk te verifiëren.