Das südafrikanische Arbeitsgericht hat Disziplinarverfahren gegen drei Beschäftigte der Matjhabeng Local Municipality ausgesetzt, nachdem Anwälte der Beschäftigten Prima-facie-Beweise dafür vorgelegt hatten, dass der Vorsitzende der Anhörung sich bei wichtigen Entscheidungen möglicherweise auf halluzinierte, KI-generierte Rechtsquellen gestützt hatte.

Der Anwalt der Beschäftigten zeigte, dass die vom Vorsitzenden der Anhörung in einer Entscheidung vom Juni angeführten Rechtsquellen — bis auf eine zitierte Quelle — entweder nicht existierten oder nichts enthielten, was auch nur annähernd dem entsprach, was der Vorsitzende ihnen zugeschrieben hatte. Die Anfechtung richtete sich gegen zwei Entscheidungen des Vorsitzenden und warf ernste Fragen zur Integrität des Disziplinarverfahrens auf.

In ihrem Urteil hielt sich Richterin K Allen-Yaman damit zurück, festzustellen, dass künstliche Intelligenz die Begründung des Vorsitzenden verfasst habe. Sie warnte jedoch, dass, falls ein KI-Tool die Zitate erzeugt habe, “the ruling cannot stand,” und erklärte, ein blindes Vertrauen in einen Chatbot sei nach den von südafrikanischen Gerichten bereits gesetzten Standards unzulässig. Der Begriff „Halluzination“ bezeichnet in diesem Zusammenhang die Tendenz großer Sprachmodelle, flüssige und überzeugend klingende Texte zu erzeugen — einschließlich Fallnamen, Zitaten und Rechtsgrundsätzen —, die erfunden sind, weil die Modelle plausible Sprache vorhersagen, statt verifizierte Fakten abzurufen.

Der Fall kommt kaum drei Monate, nachdem Südafrikas Department of Communications and Digital Technologies gezwungen war, seinen Draft National Artificial Intelligence Policy zurückzuziehen, nachdem News24 festgestellt hatte, dass ein Teil der 67 akademischen Quellenangaben erfunden war oder auf Fachzeitschriften verwies, die die zitierten Arbeiten nicht veröffentlicht hatten. Das Dokument war bereits vom Kabinett gebilligt und zur öffentlichen Stellungnahme im Amtsblatt veröffentlicht worden, bevor die Genauigkeit der zugrunde liegenden wissenschaftlichen Nachweise überprüft wurde. Zwei hochrangige Beamte des Ministeriums wurden später in einer Rapport-Untersuchung namentlich genannt und erhielten bis Ende April Zeit, Erklärungen abzugeben.

Der Vorgang war nicht die einzige jüngere Zitationskontroverse, an der südafrikanische Regierungsinstitutionen beteiligt waren. Das Department of Home Affairs sah sich kurz zuvor mit einem ähnlichen Problem konfrontiert, nachdem Journalisten mehr als hundert erfundene Quellenangaben im Literaturverzeichnis des Revised White Paper on Citizenship, Immigration and Refugees identifiziert hatten. Das Ministerium argumentierte, die erfundenen Zitate seien auf eine eigenständige Liste beschränkt gewesen und hätten den Inhalt der Politik nicht berührt. Diese Verteidigung ähnelte dem Argument im Fall der KI-Politik: falsche Quellen, aber richtige Schlussfolgerungen.

Die südafrikanische Justiz setzt sich spätestens seit Januar 2025 mit demselben Problem auseinander, als das Urteil des KwaZulu-Natal High Court in Mavundla v MEC for Co-Operative Government and Traditional Affairs Schriftsätze offenlegte, die von einem angehenden Anwalt mit ChatGPT erstellt worden waren. Die Eingabe enthielt einen erfundenen Fall, “Hassan v Coetzee,” der auf einem Rechtsgrundsatz beruhte, der plausibel erschien, aber vollständig erfunden war.

Seitdem hat der Johannesburg High Court Anwälte wegen der Verwendung falscher Rechtsquellen in Northbound Processing v South African Diamond and Precious Metals Regulator an den Legal Practice Council verwiesen. In dieser Angelegenheit demonstrierte ein Richter im Gerichtssaal anhand von Live-Prompts, wie leicht ChatGPT Fälle erfinden kann.

Südafrika erlebt wiederholte KI-Zitationsskandale

Die Fälle deuten nicht nur auf vereinzelte Fahrlässigkeit einzelner Praktiker oder Amtsträger hin. Sie spiegeln auch ein breiteres institutionelles Versagen wider: die Abhängigkeit von Werkzeugen, denen bei der Überprüfung der Genauigkeit des von ihnen erzeugten Materials nicht vertraut werden kann. Generative KI-Modelle sind darauf ausgelegt, flüssige und selbstsichere Texte zu produzieren, nicht zwangsläufig korrekte Texte. Ein erfundenes Urteil des Constitutional Court kann sich wie ein echtes lesen, bis jemand versucht, es zu finden und zu verifizieren.

Südafrikanische Gerichte und Regierungsstellen erkennen durch wiederholte Skandale, dass korrekt zu klingen und korrekt zu sein zwei verschiedene Dinge sind. Der Legal Practice Council und das Arbeitsgericht haben beide eine strenge Haltung gegenüber der Verwendung falscher Rechtsquellen signalisiert, und der Fall Matjhabeng zeigt, dass das Problem über junge Anwälte hinausgewachsen ist, die unter Termindruck arbeiten.

Das Problem reicht nun in quasi-gerichtliche Entscheidungsprozesse hinein, in denen Entscheidungen Arbeitsplätze und Lebensgrundlagen von Beschäftigten betreffen können. Wenn ein Vorsitzender eines Disziplinarverfahrens sich auf ein halluziniertes Zitat stützen kann, um eine Entscheidung zu rechtfertigen, die drei Beschäftigte betrifft, kann dasselbe Risiko überall dort entstehen, wo von einem Amtsträger erwartet wird, unabhängiges Ermessen auszuüben, statt von einem Chatbot erzeugte Ausgaben zu übernehmen.

Internationale Daten deuten darauf hin, dass das Risiko zunimmt. Damien Charlotins Datenbank hat weltweit mehr als 1.300 bestätigte Fälle von KI-Halluzinationen vor Gerichten erfasst: Einer der frühesten und am breitesten berichteten Fälle war der US-Fall Mata v. Avianca aus dem Jahr 2023, in dem ein Bundesrichter in New York zwei Anwälte sanktionierte, die einen Schriftsatz mit sechs nicht existierenden, von ChatGPT erzeugten Fällen eingereicht hatten; einer von ihnen hatte das Tool verwendet, um die vom anderen erstellten Zitate zu überprüfen. In Nature veröffentlichte Forschung ergab, dass der Anteil wissenschaftlicher Arbeiten mit mindestens einem erfundenen Zitat zwischen 2024 und 2025 um etwa das Neunfache stieg.

Südafrika ist bei dem umfassenderen Problem KI-generierter falscher Zitate kein Ausreißer. Es ist eines der deutlichsten Beispiele dafür, wie schnell institutionelles Vertrauen in KI-gestützte Arbeit der Fähigkeit von Institutionen, diese zu überprüfen, vorauslaufen kann.