Van het verkeerd inschatten van Nairobi’s hoogte tot het geven van schadelijk klinisch advies in Keniaanse proeven: wereldwijde AI-modellen dringen door tot beslissingen over leven en dood in heel Afrika — en de huidige nauwkeurigheidsnormen zijn niet voldoende om gebruikers te beschermen, schrijft ADONIJAH NDEGE.

Ik las deze week een verontrustend verhaal op NPR. Het ging over Sophie Rottenberg, een 29-jarige vrouw die in februari 2025 door zelfdoding om het leven kwam na maandenlange gesprekken met ChatGPT over haar geestelijke gezondheid.

NPR-verslaggever Rhitu Chatterjee reconstrueerde die gesprekken op basis van bijna 1.800 pagina’s aan chatlogs die waren gedeeld door Rottenbergs moeder, journaliste Laura Reiley. Rottenberg had een ChatGPT-persona gecreëerd met de naam “Harry” en het gevraagd zich als haar therapeut voor te doen. Ze besprak met het systeem haar depressie, medicatie en uiteindelijk gedachten aan zelfdoding.

De mensen om haar heen wisten niet hoe ernstig haar situatie werkelijk was. ChatGPT wel. Dat detail is me bijgebleven.

Ik denk en schrijf veel over wat kunstmatige intelligentie (AI) voor Afrika zou kunnen betekenen. Daar zijn goede redenen voor. We hebben te weinig artsen, leraren en andere hoogopgeleide professionals. Regeringen worstelen om diensten te leveren aan snel groeiende bevolkingen, terwijl bedrijven manieren zoeken om kosten te verlagen.

AI belooft expertise goedkoper te maken en beschikbaar voor miljoenen extra mensen. Maar door Chatterjee’s verslaggeving begon ik ook na te denken over de andere kant van die belofte.

Wat gebeurt er wanneer de technologie goed genoeg wordt dat we haar gaan vertrouwen op plaatsen waar een fout iemands leven kan ruïneren?

En, misschien nog belangrijker voor Afrika, wat gebeurt er wanneer mensen AI gaan gebruiken niet omdat het beter is dan een arts, therapeut, advocaat of financieel adviseur, maar omdat het menselijke alternatief niet beschikbaar of onbetaalbaar is?

Dat is een heel ander AI-probleem.

Sommige fouten tellen zwaarder dan andere

We hebben de neiging om over AI-nauwkeurigheid te praten alsof elke fout ongeveer even zwaar weegt. Dat is niet zo.

Als ChatGPT een restaurant aanbeveelt dat zes maanden geleden is gesloten, ben ik een avond kwijt. Als een AI-codingassistent slechte code produceert, kan een ingenieur dat hopelijk opvangen.

Maar stel je voor dat een AI-systeem een patiënt ten onrechte vertelt dat pijn op de borst, of iets anders, niets ernstigs is. Of iemand adviseert die midden in een geestelijke crisis zit. Of beslist dat een lener te risicovol is om krediet te krijgen. Of helpt bepalen of iemand moet worden gearresteerd, vervolgd of vrijgelaten.

Het onderliggende technische probleem kan nog steeds een hallucinatie of een slechte voorspelling zijn. Maar het menselijke gevolg is totaal anders.

Daarom vind ik dat we gewone AI moeten gaan scheiden van wat ik “AI met hoge gevolgen” zou noemen.

Gezondheidszorg hoort in die categorie. Geestelijke gezondheid ook. Krediet, verzekeringen, politie, justitie en waarschijnlijk ook sommige delen van het onderwijs eveneens. Het NPR-onderzoek laat zien waarom.

Volgens Chatterjee’s verslag moedigde Rottenbergs chatbot haar soms aan om buiten het gesprek hulp te zoeken. Maar ze bleef terugkomen. Ze kon met “Harry” praten wanneer ze wilde. Het reageerde zonder ongeduld en onthield de context. En, in tegenstelling tot een mens, was het vrijwel op elk uur beschikbaar.

Daar zit iets ontzettend nuttigs in, maar tegelijk ook iets potentieel gevaarlijks.

Een chatbot kan empathisch klinken zonder nood echt te begrijpen en therapeutische taal produceren zonder een therapeut te zijn. En omdat moderne AI-systemen opmerkelijk goed zijn in gesprek voeren, kan het onderscheid voor de gebruiker onzichtbaar worden.

Dat is vooral zorgelijk wanneer iemand kwetsbaar is.

Onderzoekers beginnen hetzelfde probleem terug te zien. Een recente studie in npj Digital Medicine vond dat AI-chatbots meer moeite hadden om suïciderisico te herkennen wanneer nood indirect of vaag werd geuit, in plaats van via duidelijke uitspraken over zelfdoding.

Dat is belangrijk, omdat menselijke nood niet komt in een perfect geformuleerde prompt.

Denk nu aan Afrika

Hier begon het NPR-verhaal me, los van de tragedie van één gezin, echt bezig te houden. Afrika is precies het soort plek waar AI transformerend kan zijn in gevoelige sectoren. Het is ook precies het soort plek waar we uiterst voorzichtig moeten zijn.

Neem de gezondheidszorg. Veel Afrikaanse landen hebben simpelweg niet genoeg zorgverleners om hun bevolking adequaat te bedienen. Specialisten zijn nog schaarser en sterk geconcentreerd in grote steden.

De geestelijke gezondheidszorg is nog slechter. De Wereldgezondheidsorganisatie schat dat bijna 150 miljoen mensen in Afrika leven met psychische aandoeningen, terwijl toegang tot behandeling ernstig beperkt blijft.

Zet die twee feiten naast de snelle verspreiding van smartphones en generatieve AI, en je ziet waar dit naartoe gaat.

Iemand in Nairobi met geld kan ChatGPT vragen naar klachten en daarna naar een arts gaan. Iemand honderden kilometers van de dichtstbijzijnde specialist kan dezelfde vraag stellen en nergens anders heen kunnen.

De eerste persoon gebruikt AI als assistent. Voor de tweede is AI feitelijk de arts geworden. Dat onderscheid zou ons zorgen moeten baren.

We hebben al bewijs uit Kenia

Dit is niet volledig hypothetisch.

Onderzoekers bestudeerden onlangs een AI-systeem voor klinische beslissingsondersteuning in 16 eerstelijnszorgklinieken in Kenia. Artsen beoordeelden 1.469 patiëntcontacten waarbij zorgverleners AI-gegenereerde aanbevelingen ontvingen.

De resultaten waren in veel opzichten bemoedigend. De onderzoekers ontdekten dat de aanbevelingen voor klinisch beleid van de AI in 99% van de gevallen overeenkwamen met lokale richtlijnen. Hallucinaties kwamen voor in 3,4% van de contacten.

Maar een andere bevinding sprong er voor mij uit. Onderzoekers identificeerden potentieel schadelijke aanbevelingen in 115 contacten, overeenkomend met 7,8% van de bestudeerde gevallen. Sommige van die aanbevelingen verschenen later in de einddocumentatie van artsen.

Het systeem was niet nutteloos. Integendeel. De onderzoekers vonden ook voorbeelden waarin AI mogelijk schadelijke beslissingen van zorgverleners corrigeerde.

Juist daarom is dit debat zo lastig. AI kan de gezondheidszorg verbeteren en tegelijk nieuwe risico’s introduceren. De relevante vraag is dus niet of het soms werkt, maar of het omliggende proces het opvangt wanneer het dat niet doet.

Een latere gerandomiseerde proef met 9.691 patiënten en 103 klinisch medewerkers in 16 Keniaanse zorginstellingen vond geen ernstige bijwerkingen die aan het AI-systeem konden worden toegeschreven. Maar de onderzoekers vonden ook geen statistisch significante vermindering van behandelingsfalen bij patiënten van wie de zorgverleners AI-ondersteuning kregen.

De les die ik uit deze studies trek, is niet dat Afrikaanse ziekenhuizen moeten stoppen met experimenteren met AI. Het is dat “de AI is nauwkeurig” een ontoereikende veiligheidsnorm is.

We moeten vragen wat er gebeurt op de momenten dat dat niet zo is.

Context schept nog een ander probleem

Er was nog een fascinerend detail in het Keniaanse onderzoek. In één geval beschouwde de AI een zuurstofsaturatie van 95% als afwijkend zonder voldoende rekening te houden met de hoogte van Nairobi.

In een ander geval interpreteerde het de klinische afkorting “FGC”, die in die context “fair general condition” betekende, als “female genital circumcision”.

Dat klinken als kleine fouten. Maar ze laten iets belangrijks zien over het inzetten van AI in Afrika.

Een model kan enorme hoeveelheden medische kennis bezitten en toch de omgeving waarin die kennis wordt toegepast verkeerd begrijpen.

Taal doet ertoe. Lokale medische praktijk doet ertoe. Geografie doet ertoe. Ziekteprevalentie doet ertoe. Zelfs afkortingen doen ertoe.

Toch zijn veel van de krachtigste AI-systemen waarop Afrikanen steeds meer gaan vertrouwen grotendeels buiten het continent gebouwd en getraind.

We kunnen er daarom niet van uitgaan dat een model dat wereldwijd goed presteert, even goed presteert in Accra, Lagos, Nairobi of landelijk Zambia. Testen moet hier gebeuren.

Gezondheidszorg is nog maar het begin

Toen ik op deze manier over het NPR-verhaal begon na te denken, werd het probleem veel groter dan ChatGPT-therapie.

Afrikaanse banken experimenteren steeds vaker met AI. Fintechbedrijven gebruiken algoritmen voor fraudedetectie, kredietverlening en klantenservice. Overheden onderzoeken AI voor publieke diensten. Verzekeraars kunnen algoritmen gebruiken om risico’s in te schatten.

Al deze systemen kunnen nuttig zijn. Maar stel je voor dat je een lening wordt geweigerd omdat een AI-model je ten onrechte als hoog risico classificeert.

Stel je voor dat een geautomatiseerd systeem je mobiele geldtransacties ten onrechte als frauduleus aanmerkt. Stel je voor dat de politie vertrouwt op een algoritme dat mensen uit bepaalde gemeenschappen onevenredig vaak als verdacht identificeert.

Stel je voor dat een student onjuiste informatie krijgt van een AI-docent terwijl er geen gekwalificeerde leraar in de buurt is om dat te corrigeren. Het gevaar is niet noodzakelijk dat AI slechter presteert dan mensen.

Mensen maken ook verschrikkelijke beslissingen. Het verschil is schaal. Eén slecht opgeleide professional kan foute beslissingen nemen over tientallen of honderden mensen. Een slecht ontworpen algoritme kan dat over ongeveer een miljoen mensen doen.

We hebben een categorie nodig voor AI met hoge gevolgen.

Afrikaanse regeringen zijn begrijpelijkerwijs gericht op het meenemen van hun landen in de AI-race.

De Afrikaanse Unie heeft een continentale strategie voor kunstmatige intelligentie aangenomen. Kenia, Nigeria, Rwanda, Egypte, Ghana en anderen ontwikkelen strategieën, trekken datacenters aan, leiden talent op en moedigen lokale AI-bedrijven aan.

De meeste van deze gesprekken gaan over kansen.

Waar komt de rekenkracht vandaan? Wie bouwt Afrikaanse datasets? Hoe leiden we genoeg AI-ingenieurs op? Hoe krijgen startups toegang tot GPU’s? Hoe voorkomen we dat Afrika slechts consument wordt van technologie die elders is gebouwd?

Dat zijn belangrijke vragen.

Maar ik denk dat nog een vraag even dringend is: Waar zou AI niet zonder menselijke eindverantwoordelijkheid mogen opereren?

Gezondheidszorg zou een voor de hand liggend vertrekpunt moeten zijn.