Od błędnego odczytania wysokości Nairobi po podawanie szkodliwych porad klinicznych w kenijskich badaniach — globalne modele AI wchodzą w decyzje o życiu i śmierci w całej Afryce, a obecne standardy dokładności nie wystarczają, by chronić użytkowników, pisze ADONIJAH NDEGE.

Przeczytałem w tym tygodniu na NPR niepokojącą historię. Dotyczyła Sophie Rottenberg, 29-letniej kobiety, która zmarła w wyniku samobójstwa w lutym 2025 roku po miesiącach rozmów z ChatGPT o swoim zdrowiu psychicznym.

Dziennikarka NPR Rhitu Chatterjee odtworzyła te rozmowy na podstawie niemal 1,800 stron logów czatu udostępnionych przez matkę Rottenberg, dziennikarkę Laurę Reiley. Rottenberg stworzyła w ChatGPT personę o imieniu „Harry” i poprosiła ją, by pełniła rolę terapeuty. Rozmawiała z nią o swojej depresji, lekach i ostatecznie o myślach samobójczych.

Ludzie wokół niej nie znali pełnej skali tego, przez co przechodziła. ChatGPT tak. Ten szczegół nie daje mi spokoju.

Spędzam dużo czasu na myśleniu i pisaniu o tym, co sztuczna inteligencja (AI) mogłaby zrobić dla Afryki. Są ku temu dobre powody. Mamy zbyt mało lekarzy, nauczycieli i innych wykwalifikowanych specjalistów. Rządy mają trudności z zapewnianiem usług szybko rosnącym populacjom, a firmy szukają sposobów na obniżenie kosztów.

AI obiecuje uczynić wiedzę specjalistyczną tańszą i dostępną dla milionów kolejnych osób. Ale lektura materiału Chatterjee sprawiła, że pomyślałem o drugiej stronie tej obietnicy.

Co się dzieje, gdy technologia staje się na tyle dobra, że zaczynamy jej ufać tam, gdzie błąd może zrujnować komuś życie?

I, być może ważniejsze dla Afryki, co się dzieje, gdy ludzie zaczynają korzystać z AI nie dlatego, że jest lepsza od lekarza, terapeuty, prawnika czy doradcy finansowego, lecz dlatego, że ludzka alternatywa jest niedostępna albo zbyt droga?

To zupełnie inny problem związany z AI.

Niektóre błędy mają większe znaczenie niż inne

Zwykle mówimy o dokładności AI tak, jakby każdy błąd miał mniej więcej taką samą wagę. Tak nie jest.

Jeśli ChatGPT poleci restaurację, która zamknęła się sześć miesięcy temu, tracę wieczór. Jeśli asystent kodowania oparty na AI wygeneruje zły kod, inżynier zapewne może to wychwycić.

Ale wyobraźmy sobie system AI, który błędnie mówi pacjentowi, że ból w klatce piersiowej albo coś innego nie jest niczym poważnym. Albo doradza komuś w kryzysie zdrowia psychicznego. Albo uznaje, że pożyczkobiorca jest zbyt ryzykowny, by udzielić mu kredytu. Albo pomaga zdecydować, czy ktoś powinien zostać aresztowany, oskarżony czy zwolniony.

Podstawowy problem techniczny nadal może być halucynacją albo błędną prognozą. Ale konsekwencja dla człowieka jest całkowicie inna.

Dlatego uważam, że powinniśmy zacząć oddzielać zwykłą AI od tego, co nazwałbym „AI wysokiej konsekwencji”.

Opieka zdrowotna należy do tej kategorii. Tak samo zdrowie psychiczne. Prawdopodobnie także kredyt, ubezpieczenia, policja, wymiar sprawiedliwości i część edukacji. Śledztwo NPR pokazuje, dlaczego.

Według materiału Chatterjee chatbot Rottenberg czasami zachęcał ją do szukania pomocy poza rozmową. Ale ona nadal do niego wracała. Mogła rozmawiać z „Harrym”, kiedy tylko chciała. Odpowiadał bez zniecierpliwienia i pamiętał kontekst. I, w przeciwieństwie do drugiego człowieka, był dostępny praktycznie o każdej porze.

Jest w tym coś niezwykle użytecznego, ale jednocześnie coś potencjalnie niebezpiecznego.

Chatbot może brzmieć empatycznie, nie rozumiejąc cierpienia, i generować terapeutyczny język, nie będąc terapeutą. A ponieważ nowoczesne systemy AI są wyjątkowo dobre w prowadzeniu rozmowy, różnica ta może stać się niewidoczna dla osoby, która z nich korzysta.

To szczególnie niepokojące, gdy ktoś jest wrażliwy.

Badacze zaczynają dostrzegać ten sam problem. Niedawne badanie w npj Digital Medicine wykazało, że chatboty AI miały większe trudności z identyfikacją ryzyka samobójstwa, gdy cierpienie było wyrażane pośrednio lub niejednoznacznie, a nie poprzez oczywiste stwierdzenia o samobójstwie.

To ważne, ponieważ ludzkie cierpienie nie pojawia się w idealnie sformułowanym promptcie.

Pomyślmy teraz o Afryce

To właśnie tutaj historia NPR zaczęła mnie niepokoić bardziej niż tylko jako tragedia jednej rodziny. Afryka jest dokładnie takim miejscem, gdzie AI mogłaby być przełomowa w wrażliwych obszarach. Jest też dokładnie takim miejscem, gdzie powinniśmy zachować wyjątkową ostrożność.

Weźmy opiekę zdrowotną. W wielu krajach Afryki po prostu nie ma wystarczającej liczby pracowników ochrony zdrowia, by odpowiednio obsłużyć populację. Specjaliści są jeszcze rzadsi i w dużej mierze skupieni w dużych miastach.

Opieka nad zdrowiem psychicznym wygląda jeszcze gorzej. Światowa Organizacja Zdrowia szacuje, że niemal 150 milionów ludzi w Afryce żyje z zaburzeniami psychicznymi, podczas gdy dostęp do leczenia pozostaje bardzo ograniczony.

Zestaw te dwie rzeczy z szybkim upowszechnianiem się smartfonów i generatywnej AI, a zobaczysz, dokąd to zmierza.

Osoba w Nairobi, która ma pieniądze, może zapytać ChatGPT o swoje objawy, a potem pójść do lekarza. Ktoś, kto mieszka setki kilometrów od najbliższego specjalisty, może zadać to samo pytanie i nie mieć dokąd pójść.

Pierwsza osoba korzysta z AI jako asystenta. Dla drugiej AI w praktyce staje się lekarzem. Ta różnica powinna nas niepokoić.

Mamy już dowody z Kenii

To nie jest całkiem hipotetyczne.

Badacze niedawno analizowali system AI wspierający decyzje kliniczne w 16 podstawowych placówkach ochrony zdrowia w Kenii. Lekarze przejrzeli 1,469 przypadków pacjentów, w których personel otrzymał rekomendacje generowane przez AI.

Wyniki były pod wieloma względami zachęcające. Badacze stwierdzili, że zalecenia AI dotyczące postępowania klinicznego były zgodne z lokalnymi wytycznymi w 99% przypadków. Halucynacje wystąpiły w 3.4% przypadków.

Ale inny wynik od razu zwrócił moją uwagę. Badacze zidentyfikowali potencjalnie szkodliwe rekomendacje w 115 przypadkach, co odpowiada 7.8% analizowanych sytuacji. Część z tych rekomendacji później pojawiła się w końcowej dokumentacji klinicystów.

System nie był bezużyteczny. Wręcz przeciwnie. Badacze znaleźli też przykłady, w których AI korygowała potencjalnie szkodliwe decyzje podjęte przez klinicystów.

Właśnie dlatego ta debata jest tak trudna. AI może poprawiać opiekę zdrowotną, a jednocześnie wprowadzać nowe ryzyka, więc pytanie nie brzmi, czy działa czasami, lecz czy otaczający ją proces potrafi wychwycić moment, w którym nie działa.

Późniejsze randomizowane badanie z udziałem 9,691 pacjentów i 103 pracowników klinicznych w 16 kenijskich placówkach nie wykazało poważnych zdarzeń niepożądanych przypisywanych systemowi AI. Badacze nie stwierdzili jednak także statystycznie istotnego spadku niepowodzeń leczenia u pacjentów, których klinicyści korzystali ze wsparcia AI.

Wniosek, jaki wyciągam z tych badań, nie jest taki, że afrykańskie szpitale powinny przestać eksperymentować z AI. Chodzi o to, że „AI jest dokładna” to niewystarczający standard bezpieczeństwa.

Musimy pytać, co dzieje się wtedy, gdy nie jest.

Kontekst tworzy kolejny problem

W kenijskich badaniach pojawił się jeszcze jeden fascynujący szczegół. W jednym przypadku AI uznała odczyt saturacji na poziomie 95% za nieprawidłowy, nie uwzględniając w wystarczającym stopniu wysokości Nairobi.

W innym zinterpretowała skrót kliniczny „FGC”, który w tym kontekście oznaczał „fair general condition”, jako „female genital circumcision”.

Brzmi to jak drobne błędy. Ale pokazują coś ważnego o wdrażaniu AI w Afryce.

Model może dysponować ogromną wiedzą medyczną, a mimo to źle rozumieć środowisko, w którym ta wiedza jest wykorzystywana.

Język ma znaczenie. Lokalne praktyki medyczne mają znaczenie. Geografia ma znaczenie. Częstość występowania chorób ma znaczenie. Nawet skróty mają znaczenie.

Tymczasem wiele z najpotężniejszych systemów AI, na których zaczynają polegać Afrykańczycy, zostało w ogromnej mierze zbudowanych i wytrenowanych poza kontynentem.

Nie możemy więc zakładać, że model działający dobrze globalnie będzie działał równie dobrze w Akrze, Lagos, Nairobi czy na wiejskich obszarach Zambii. Testowanie musi odbywać się tutaj.

Opieka zdrowotna to dopiero początek

Kiedy zacząłem myśleć o historii NPR w ten sposób, problem stał się znacznie większy niż terapia przez ChatGPT.

Afrykańskie banki coraz częściej eksperymentują z AI. Firmy fintechowe używają algorytmów do wykrywania oszustw, udzielania kredytów i obsługi klienta. Rządy badają zastosowania AI w usługach publicznych. Ubezpieczyciele mogą używać algorytmów do oceny ryzyka.

Wszystkie te systemy mogą być użyteczne. Ale wyobraźmy sobie, że odmówiono ci pożyczki, bo model AI błędnie sklasyfikował cię jako osobę wysokiego ryzyka.

Wyobraźmy sobie zautomatyzowany system, który błędnie oznacza transakcje mobilnego pieniądza jako oszukańcze. Wyobraźmy sobie policję opierającą się na algorytmie, który nieproporcjonalnie często uznaje osoby z określonych społeczności za podejrzane.

Wyobraźmy sobie ucznia otrzymującego błędne informacje od tutora AI, kiedy nie ma wokół wykwalifikowanego nauczyciela, który mógłby je skorygować. Zagrożeniem nie musi być to, że AI będzie działać gorzej niż ludzie.

Ludzie też podejmują fatalne decyzje. Różnica tkwi w skali. Jeden źle wyszkolony specjalista może podejmować złe decyzje wobec dziesiątek lub setek osób. Źle zaprojektowany algorytm może robić to wobec około miliona.

Potrzebujemy kategorii dla AI wysokiej konsekwencji.

Afrykańskie rządy, co zrozumiałe, koncentrują się na tym, by ich kraje weszły do wyścigu AI.

Unia Afrykańska przyjęła kontynentalną strategię sztucznej inteligencji. Kenia, Nigeria, Rwanda, Egipt, Ghana i inne kraje opracowują strategie, przyciągają centra danych, szkolą talenty i zachęcają lokalne firmy AI.

Większość tych rozmów dotyczy szans.

Skąd weźmiemy moc obliczeniową? Kto zbuduje afrykańskie zbiory danych? Jak wyszkolić wystarczającą liczbę inżynierów AI? Jak startupy mogą uzyskać dostęp do GPU? Jak zapobiec temu, by Afryka stała się jedynie konsumentem technologii zbudowanej gdzie indziej?

To ważne pytania.

Ale uważam, że inne pytanie zasługuje na taką samą pilność: gdzie AI nie powinno być dopuszczane do działania bez ostatecznej odpowiedzialności człowieka?

Opieka zdrowotna powinna być oczywistym punktem wyjścia.