Południowoafrykański Sąd Pracy wstrzymał postępowanie dyscyplinarne przeciwko trzem pracownikom gminy lokalnej Matjhabeng, po tym jak prawnicy pracowników przedstawili dowody prima facie wskazujące, że przewodniczący rozprawy mógł polegać na zmyślonych, wygenerowanych przez sztuczną inteligencję podstawach prawnych przy wydawaniu kluczowych orzeczeń.

Prawnik pracowników wykazał, że poza jednym cytowanym źródłem, podstawy prawne przywoływane przez przewodniczącego rozprawy w czerwcowym orzeczeniu albo nie istniały, albo nie mówiły niczego zbliżonego do tego, co przewodniczący twierdził, że mówiły. Zastrzeżenia objęły dwa orzeczenia wydane przez przewodniczącego i podniosły poważne pytania o integralność procesu dyscyplinarnego.

W swoim orzeczeniu sędzia K Allen-Yaman nie poszła tak daleko, by stwierdzić, że sztuczna inteligencja napisała uzasadnienie przewodniczącego. Ostrzegła jednak, że gdyby narzędzie AI wygenerowało te cytaty, „orzeczenie nie może się utrzymać”, i stwierdziła, że ślepe poleganie na chatbocie byłoby niedopuszczalne według standardów już ustalonych przez południowoafrykańskie sądy. Termin „halucynacja” w tym kontekście odnosi się do tendencji dużych modeli językowych do generowania płynnego, pewnie brzmiącego tekstu — w tym nazw spraw, cytatów i zasad prawnych — który jest zmyślony, ponieważ modele te przewidują prawdopodobny język, a nie wyszukują zweryfikowane fakty.

Sprawa pojawia się niespełna trzy miesiące po tym, jak południowoafrykański Departament Komunikacji i Technologii Cyfrowych został zmuszony do wycofania swojego projektu Krajowej Polityki Sztucznej Inteligencji, po tym jak News24 odkrył, że część z 67 odniesień akademickich zostało zmyślonych lub wskazywało na czasopisma, które nie opublikowały cytowanych prac. Dokument został już zatwierdzony przez Gabinet i opublikowany w dzienniku urzędowym w celu konsultacji publicznych, zanim sprawdzono dokładność naukowych podstaw go wspierających. Dwóch wysokich urzędników departamentu zostało później wymienionych z nazwiska w śledztwie Rapport i otrzymało do końca kwietnia czas na udzielenie wyjaśnień.

Incydent nie był jedyną niedawną kontrowersją wokół cytatów z udziałem instytucji rządowych RPA. Departament Spraw Wewnętrznych zmagał się z podobnym problemem niedługo wcześniej, po tym jak dziennikarze zidentyfikowali ponad sto wymyślonych odniesień na liście bibliograficznej Zrewidowanej Białej Księgi ds. Obywatelstwa, Imigracji i Uchodźców. Departament argumentował, że zmyślone cytaty były ograniczone do odrębnej listy i nie wpływały na istotę polityki. Ta obrona brzmiała znajomo dla każdego, kto śledził sprawę polityki AI — to ten sam argument: błędne źródła, ale właściwe wnioski.

Wymiar sprawiedliwości RPA zmaga się z tym samym problemem od co najmniej stycznia 2025 r., kiedy wyrok Sądu Najwyższego KwaZulu-Natal w sprawie Mavundla v MEC for Co-Operative Government and Traditional Affairs ujawnił tezy argumentacyjne sporządzone za pomocą ChatGPT przez aplikanta adwokackiego. Pismo zawierało wymyśloną sprawę, „Hassan v Coetzee”, opartą na zasadzie prawnej, która brzmiała wiarygodnie, ale była całkowicie zmyślona.

Od tego czasu Wysoki Sąd w Johannesburgu skierował prawników do Rady Praktyki Prawniczej za używanie fałszywych podstaw prawnych w sprawie Northbound Processing v South African Diamond and Precious Metals Regulator. W tej sprawie jeden z sędziów zademonstrował na sali rozpraw, jak łatwo ChatGPT może wymyślać sprawy, uruchamiając podpowiedzi na żywo.

RPA mierzy się z powtarzającymi się skandalami z cytatami AI

Te sprawy nie wskazują wyłącznie na odizolowaną lekkomyślność poszczególnych praktyków czy urzędników. Odzwierciedlają również szerszą instytucjonalną porażkę: poleganie na narzędziach, którym nie można ufać w kwestii weryfikacji dokładności generowanych przez nie materiałów. Generatywne modele AI są projektowane tak, aby tworzyć płynny i pewny siebie tekst, a niekoniecznie dokładny tekst. Zmyślony wyrok Sądu Konstytucyjnego może brzmieć jak prawdziwy, dopóki ktoś nie spróbuje go zlokalizować i zweryfikować.

Południowoafrykańskie sądy i departamenty rządowe odkrywają, poprzez powtarzające się skandale, że brzmienie poprawnie i bycie poprawnym to dwie różne rzeczy. Rada Praktyki Prawniczej i Sąd Pracy sygnalizowały rygorystyczne podejście do stosowania fałszywych podstaw prawnych, a sprawa Matjhabeng pokazuje, że problem wyszedł poza młodych prawników pracujących pod presją terminów.

Problem obejmuje teraz decyzje o charakterze quasi-sądowym, gdzie orzeczenia mogą wpływać na miejsca pracy i środki do życia pracowników. Jeśli przewodniczący postępowania dyscyplinarnego może polegać na zmyślonym cytacie, by uzasadnić orzeczenie dotyczące trzech pracowników, to samo ryzyko może pojawić się wszędzie tam, gdzie od urzędnika państwowego oczekuje się samodzielnego osądu, a nie odtwarzania wyników wygenerowanych przez chatbota.

Dane międzynarodowe wskazują, że ryzyko rośnie. Baza danych Damiena Charlotina odnotowała ponad 1300 potwierdzonych przypadków halucynacji AI w sądach na całym świecie: Jedną z najwcześniejszych i naj szerzej relacjonowanych była sprawa z 2023 r. w USA — Mata v. Avianca — w której sędzia federalny w Nowym Jorku ukarał dwóch prawników za złożenie pisma procesowego zawierającego sześć nieistniejących spraw wygenerowanych przez ChatGPT; jeden z nich użył narzędzia do weryfikacji cytatów wygenerowanych przez drugiego. Badania opublikowane w Nature wykazały, że odsetek prac naukowych zawierających co najmniej jeden zmyślony cytat wzrósł około dziewięciokrotnie między 2024 a 2025 rokiem.

RPA nie jest wyjątkiem w szerszym problemie fałszywych cytatów generowanych przez AI. Jest jednym z najjaskrawiejszych przykładów tego, jak szybko instytucjonalne zaufanie do pracy wspieranej przez AI może wyprzedzać zdolność instytucji do jej weryfikacji.