Vom falschen Verständnis der Höhe Nairobis bis hin zu schädlichen klinischen Ratschlägen in kenianischen Studien dringen globale KI-Modelle in lebensentscheidende Situationen in ganz Afrika vor — und die derzeitigen Genauigkeitsstandards reichen nicht aus, um Nutzer zu schützen, schreibt ADONIJAH NDEGE.

Ich habe diese Woche auf NPR eine verstörende Geschichte gelesen. Es ging um Sophie Rottenberg, eine 29-jährige Frau, die sich im Februar 2025 nach monatelangen Gesprächen mit ChatGPT über ihre psychische Gesundheit das Leben nahm.

NPR-Reporterin Rhitu Chatterjee rekonstruierte diese Gespräche aus fast 1.800 Seiten Chatprotokollen, die von Rottenbergs Mutter, der Journalistin Laura Reiley, zur Verfügung gestellt worden waren. Rottenberg hatte eine ChatGPT-Persona namens „Harry“ erstellt und das System gebeten, als Therapeut zu fungieren. Mit ihm sprach sie über ihre Depression, ihre Medikamente und schließlich auch über Suizidgedanken.

Die Menschen in ihrem Umfeld kannten das ganze Ausmaß dessen, was sie durchmachte, nicht. ChatGPT wusste es. Dieses Detail lässt mich nicht los.

Ich denke und schreibe viel darüber, was künstliche Intelligenz (KI) für Afrika leisten könnte. Es gibt gute Gründe für diesen Optimismus. Es gibt zu wenige Ärzte, Lehrkräfte und andere Fachkräfte. Regierungen haben Mühe, Dienstleistungen für schnell wachsende Bevölkerungen bereitzustellen, während Unternehmen Wege suchen, Kosten zu senken.

KI verspricht, Fachwissen günstiger zu machen und Millionen weiteren Menschen zugänglich zu machen. Doch Chatterjees Bericht ließ mich über die Kehrseite dieses Versprechens nachdenken.

Was passiert, wenn die Technologie so gut wird, dass wir ihr an Orten vertrauen, an denen ein Fehler ein Leben zerstören kann?

Und, vielleicht noch wichtiger für Afrika: Was passiert, wenn Menschen KI nicht deshalb nutzen, weil sie besser ist als ein Arzt, Therapeut, Anwalt oder Finanzberater, sondern weil die menschliche Alternative nicht verfügbar oder unerschwinglich ist?

Das ist ein ganz anderes KI-Problem.

Manche Fehler wiegen schwerer als andere

Wir sprechen über die Genauigkeit von KI oft so, als hätte jeder Fehler ungefähr dasselbe Gewicht. Das ist nicht so.

Wenn ChatGPT ein Restaurant empfiehlt, das vor sechs Monaten geschlossen hat, verliere ich einen Abend. Wenn ein KI-Coding-Assistent schlechten Code erzeugt, kann ein Ingenieur das hoffentlich erkennen.

Aber stellen wir uns vor, ein KI-System teilt einem Patienten fälschlicherweise mit, Brustschmerzen oder etwas anderes sei nichts Ernstes. Oder es rät jemandem in einer psychischen Krise. Oder es entscheidet, dass ein Kreditnehmer zu riskant für einen Kredit ist. Oder es hilft bei der Entscheidung, ob jemand verhaftet, angeklagt oder freigelassen werden soll.

Das zugrunde liegende technische Problem mag weiterhin eine Halluzination oder eine schlechte Vorhersage sein. Die menschlichen Folgen sind jedoch völlig andere.

Deshalb denke ich, dass wir gewöhnliche KI von dem unterscheiden müssen, was ich „KI mit hohen Folgen“ nennen würde.

Gesundheitswesen gehört in diese Kategorie. Psychische Gesundheit ebenfalls. Kredit, Versicherungen, Polizeiarbeit, Justiz und vermutlich auch Teile des Bildungswesens. Die NPR-Recherche zeigt warum.

Laut Chatterjees Bericht ermutigte Rottenbergs Chatbot sie gelegentlich, sich außerhalb der Unterhaltung Hilfe zu suchen. Doch sie kehrte immer wieder zu ihm zurück. Sie konnte jederzeit mit „Harry“ sprechen. Er reagierte ohne Ungeduld und merkte sich den Kontext. Und anders als ein anderer Mensch war er praktisch zu jeder Uhrzeit verfügbar.

Daran ist unglaublich viel Nützliches — und zugleich auch etwas potenziell Gefährliches.

Ein Chatbot kann empathisch klingen, ohne Belastung wirklich zu verstehen, und therapeutische Sprache erzeugen, ohne ein Therapeut zu sein. Und weil moderne KI-Systeme in Gesprächen bemerkenswert gut sind, kann dieser Unterschied für die nutzende Person unsichtbar werden.

Das ist besonders problematisch, wenn jemand verletzlich ist.

Forscher beginnen, dasselbe Problem zu erkennen. Eine aktuelle Studie in npj Digital Medicine ergab, dass KI-Chatbots größere Schwierigkeiten hatten, Suizidrisiken zu erkennen, wenn Belastung indirekt oder uneindeutig ausgedrückt wurde, statt durch offensichtliche Aussagen über Suizid.

Das ist wichtig, weil menschliche Belastung nicht als perfekt formulierter Prompt bei KI-Chatbots ankommt.

Denken wir nun an Afrika

Hier begann mich die NPR-Geschichte über die Tragödie einer einzelnen Familie hinaus zu beschäftigen. Afrika ist genau der Ort, an dem KI in sensiblen Bereichen transformativ sein könnte. Es ist aber auch genau der Ort, an dem wir extrem vorsichtig sein sollten.

Nehmen wir das Gesundheitswesen. In vielen afrikanischen Ländern gibt es schlicht nicht genug medizinisches Personal, um die Bevölkerung angemessen zu versorgen. Fachärzte sind noch seltener und stark auf große Städte konzentriert.

Die Versorgung im Bereich der psychischen Gesundheit ist noch schlechter. Die Weltgesundheitsorganisation schätzt, dass fast 150 Millionen Menschen in Afrika mit psychischen Erkrankungen leben, während der Zugang zu Behandlung weiterhin stark eingeschränkt ist.

Setzt man diese beiden Fakten neben die rasante Verbreitung von Smartphones und generativer KI, wird klar, wohin sich das entwickelt.

Jemand in Nairobi, der Geld hat, kann ChatGPT nach seinen Symptomen fragen und dann einen Arzt aufsuchen. Jemand, der Hunderte Kilometer vom nächsten Facharzt entfernt lebt, stellt vielleicht dieselbe Frage und hat keinen anderen Ort, an den er sich wenden kann.

Die erste Person nutzt KI als Assistenten. Für die zweite ist KI faktisch zum Arzt geworden. Dieser Unterschied sollte uns beunruhigen.

Dafür gibt es bereits Belege aus Kenia

Das ist nicht völlig hypothetisch.

Forscher untersuchten kürzlich ein KI-gestütztes klinisches Entscheidungssystem in 16 primären Gesundheitszentren in Kenia. Ärzte prüften 1.469 Patientenkontakte, bei denen Kliniker KI-generierte Empfehlungen erhielten.

Die Ergebnisse waren in vielerlei Hinsicht ermutigend. Die Forscher stellten fest, dass die Empfehlungen des Systems für das klinische Management in 99% der Fälle mit den lokalen Leitlinien übereinstimmten. Halluzinationen traten in 3.4% der Fälle auf.

Doch ein anderes Ergebnis fiel mir besonders auf. Die Forscher identifizierten potenziell schädliche Empfehlungen in 115 Fällen, was 7.8% der geprüften Fälle entsprach. Einige dieser Empfehlungen erschienen später in der finalen Dokumentation der Behandelnden.

Das System war nicht nutzlos. Ganz im Gegenteil. Die Forscher fanden auch Beispiele, in denen KI potenziell schädliche Entscheidungen von Klinikern korrigierte.

Genau deshalb ist diese Debatte so schwierig. KI kann die Gesundheitsversorgung verbessern und zugleich neue Risiken einführen. Die relevante Frage ist also nicht, ob sie gelegentlich funktioniert, sondern ob der umgebende Prozess sie auffängt, wenn sie es nicht tut.

Eine spätere randomisierte Studie mit 9.691 Patienten und 103 Clinical Officers in 16 kenianischen Einrichtungen fand keine schweren unerwünschten Ereignisse, die dem KI-System zugeschrieben wurden. Die Forscher fanden jedoch auch keine statistisch signifikante Verringerung des Behandlungsversagens bei Patienten, deren Behandler KI-Unterstützung erhielten.

Die Lehre, die ich aus diesen Studien ziehe, ist nicht, dass afrikanische Krankenhäuser aufhören sollten, mit KI zu experimentieren. Sondern dass „die KI ist genau“ kein ausreichender Sicherheitsstandard ist.

Wir müssen fragen, was in den Fällen passiert, in denen sie es nicht ist.

Kontext schafft ein weiteres Problem

In der kenianischen Forschung gab es noch ein weiteres faszinierendes Detail. In einem Fall bewertete die KI eine Sauerstoffsättigung von 95% als abnormal, ohne Nairobis Höhenlage ausreichend zu berücksichtigen.

In einem anderen Fall interpretierte sie die klinische Abkürzung „FGC“, die in diesem Kontext „fair general condition“ bedeutete, als „female genital circumcision“.

Das klingen nach kleinen Fehlern. Aber sie zeigen etwas Wichtiges über den Einsatz von KI in Afrika.

Ein Modell kann über enormes medizinisches Wissen verfügen und dennoch die Umgebung missverstehen, in der dieses Wissen angewendet wird.

Sprache ist wichtig. Lokale medizinische Praxis ist wichtig. Geografie ist wichtig. Krankheitsprävalenz ist wichtig. Selbst Abkürzungen sind wichtig.

Doch viele der leistungsstärksten KI-Systeme, auf die sich Afrikaner zunehmend verlassen, wurden überwiegend außerhalb des Kontinents gebaut und trainiert.

Wir können daher nicht davon ausgehen, dass ein Modell, das global gut funktioniert, in Accra, Lagos, Nairobi oder im ländlichen Sambia ebenso gut funktioniert. Tests müssen hier stattfinden.

Das Gesundheitswesen ist erst der Anfang

Als ich anfing, die NPR-Geschichte so zu betrachten, wurde das Problem viel größer als ChatGPT-Therapie.

Afrikanische Banken experimentieren zunehmend mit KI. Fintech-Unternehmen nutzen Algorithmen für Betrugserkennung, Kreditvergabe und Kundenservice. Regierungen prüfen KI für öffentliche Dienstleistungen. Versicherer können Algorithmen zur Risikobewertung einsetzen.

All diese Systeme können nützlich sein. Aber stellen wir uns vor, Ihnen wird ein Kredit verweigert, weil ein KI-Modell Sie fälschlicherweise als hohes Risiko eingestuft hat.

Stellen wir uns vor, ein automatisiertes System stuft Ihre Mobile-Money-Transaktionen fälschlicherweise als betrügerisch ein. Stellen wir uns vor, die Polizei verlässt sich auf einen Algorithmus, der Menschen aus bestimmten Gemeinschaften überproportional als verdächtig identifiziert.

Stellen wir uns vor, ein Schüler erhält falsche Informationen von einem KI-Tutor, wenn kein qualifizierter Lehrer da ist, um das zu korrigieren. Die Gefahr besteht nicht unbedingt darin, dass KI schlechter abschneidet als Menschen.

Menschen treffen ebenfalls schreckliche Entscheidungen. Der Unterschied ist der Maßstab. Ein schlecht ausgebildeter Fachmann kann schlechte Entscheidungen über Dutzende oder Hunderte von Menschen treffen. Ein schlecht gestalteter Algorithmus kann sie über etwa eine Million Menschen treffen.

Wir brauchen eine Kategorie für KI mit hohen Folgen.

Afrikanische Regierungen konzentrieren sich verständlicherweise darauf, ihre Länder in den KI-Wettlauf zu bringen.

Die Afrikanische Union hat eine kontinentale Strategie für künstliche Intelligenz verabschiedet. Kenia, Nigeria, Ruanda, Ägypten, Ghana und andere entwickeln Strategien, ziehen Rechenzentren an, bilden Talente aus und fördern lokale KI-Unternehmen.

Die meisten dieser Gespräche drehen sich um Chancen.

Woher kommt die Rechenleistung? Wer baut afrikanische Datensätze auf? Wie bilden wir genügend KI-Ingenieure aus? Wie erhalten Start-ups Zugang zu GPUs? Wie verhindern wir, dass Afrika bloß zum Konsumenten von Technologie wird, die anderswo entwickelt wurde?

Das sind wichtige Fragen.

Aber ich finde, eine andere Frage verdient die gleiche Dringlichkeit: Wo sollte KI nicht ohne einen Menschen eingesetzt werden dürfen, der letztlich verantwortlich ist?

Das Gesundheitswesen sollte ein offensichtlicher Ausgangspunkt sein.