Da una lettura errata dell’altitudine di Nairobi alla fornitura di consigli clinici dannosi in studi in Kenya, i modelli globali di IA stanno entrando in decisioni di vita o di morte in tutta l’Africa — e gli attuali standard di accuratezza non bastano a proteggere gli utenti, scrive ADONIJAH NDEGE.

Questa settimana ho letto una storia inquietante su NPR. Riguardava Sophie Rottenberg, una donna di 29 anni che è morta per suicidio nel febbraio 2025 dopo mesi di conversazioni con ChatGPT sulla sua salute mentale.

La giornalista di NPR Rhitu Chatterjee ha ricostruito quelle conversazioni a partire da quasi 1.800 pagine di chat log condivisi dalla madre di Rottenberg, la giornalista Laura Reiley. Rottenberg aveva creato una persona ChatGPT chiamata “Harry” e gli aveva chiesto di comportarsi come il suo terapeuta. Con lui parlava della sua depressione, dei farmaci e, infine, dei pensieri suicidari.

Le persone intorno a lei non conoscevano fino in fondo ciò che stava attraversando. ChatGPT sì. Quel dettaglio mi è rimasto impresso.

Passo molto tempo a pensare e a scrivere di ciò che l’intelligenza artificiale (IA) potrebbe fare per l’Africa. Ci sono buone ragioni per l’entusiasmo. Abbiamo troppo pochi medici, insegnanti e altri professionisti qualificati. I governi faticano a fornire servizi a popolazioni in rapida crescita, mentre le imprese cercano modi per ridurre i costi.

L’IA promette di rendere l’esperienza più economica e disponibile per milioni di persone in più. Ma leggere il reportage di Chatterjee mi ha fatto riflettere sull’altro lato di quella promessa.

Cosa succede quando la tecnologia diventa abbastanza buona da farci fidare di lei in contesti in cui sbagliare può rovinare la vita di qualcuno?

E, forse ancora più importante per l’Africa, cosa succede quando le persone iniziano a usare l’IA non perché sia migliore di un medico, di un terapeuta, di un avvocato o di un consulente finanziario, ma perché l’alternativa umana non è disponibile o non è accessibile economicamente?

È un problema di IA molto diverso.

Alcuni errori contano più di altri

Tendiamo a discutere dell’accuratezza dell’IA come se ogni errore avesse più o meno lo stesso peso. Non è così.

Se ChatGPT mi consiglia un ristorante che ha chiuso sei mesi fa, perdo una serata. Se un assistente di programmazione basato su IA produce codice errato, un ingegnere può, auspicabilmente, accorgersene.

Ma immaginate un sistema di IA che dica erroneamente a un paziente che un dolore al petto, o qualcos’altro, non è nulla di serio. O che consigli a una persona in crisi di salute mentale. O che decida che un richiedente di credito è troppo rischioso. O che aiuti a stabilire se qualcuno debba essere arrestato, perseguito o rilasciato.

Il problema tecnico di fondo potrebbe essere sempre una allucinazione o una cattiva previsione. Ma la conseguenza umana è completamente diversa.

Per questo penso che dobbiamo iniziare a distinguere l’IA ordinaria da quella che definirei “IA ad alta conseguenza”.

La sanità appartiene a questa categoria. Anche la salute mentale. Credito, assicurazioni, polizia, giustizia e alcune parti dell’istruzione probabilmente sì, pure. L’inchiesta di NPR mostra perché.

Secondo il reportage di Chatterjee, il chatbot di Rottenberg a volte la incoraggiava a cercare aiuto al di fuori della conversazione. Ma lei continuava a tornare da lui. Poteva parlare con “Harry” quando voleva. Rispondeva senza impazienza e ricordava il contesto. E, a differenza di un altro essere umano, era disponibile praticamente a qualsiasi ora.

C’è qualcosa di incredibilmente utile in questo, ma allo stesso tempo c’è anche qualcosa di potenzialmente pericoloso.

Un chatbot può sembrare empatico senza comprendere la sofferenza e può generare un linguaggio terapeutico senza essere un terapeuta. E poiché i moderni sistemi di IA sono straordinariamente bravi nella conversazione, la distinzione può diventare invisibile per chi li usa.

Questo è particolarmente preoccupante quando una persona è vulnerabile.

I ricercatori stanno iniziando a rilevare lo stesso problema. Un recente studio in npj Digital Medicine ha rilevato che i chatbot di IA avevano maggiori difficoltà a identificare il rischio di suicidio quando il disagio era espresso in modo indiretto o ambiguo, anziché attraverso affermazioni esplicite sul suicidio.

E questo è importante perché il disagio umano non arriva in un prompt perfettamente costruito.

Pensiamo ora all’Africa

È qui che la storia di NPR ha iniziato a turbarmi oltre la tragedia di una singola famiglia. L’Africa è esattamente il tipo di luogo in cui l’IA potrebbe essere trasformativa in ambiti sensibili. Ed è anche esattamente il tipo di luogo in cui dovremmo essere estremamente cauti.

Prendiamo la sanità. In molti paesi africani semplicemente non ci sono abbastanza operatori sanitari per servire adeguatamente la popolazione. Gli specialisti sono ancora più rari e sono concentrati in gran parte nelle grandi città.

La salute mentale è ancora peggiore. L’Organizzazione Mondiale della Sanità stima che quasi 150 milioni di persone in Africa vivano con disturbi della salute mentale, mentre l’accesso alle cure rimane fortemente limitato.

Mettete questi due fatti accanto alla rapida diffusione degli smartphone e dell’IA generativa, e si capisce dove stiamo andando.

Una persona a Nairobi con denaro può chiedere a ChatGPT dei propri sintomi e poi andare da un medico. Una persona a centinaia di chilometri dallo specialista più vicino può porre la stessa domanda e non avere nessun altro a cui rivolgersi.

La prima persona usa l’IA come assistente. Per la seconda, l’IA è diventata di fatto il medico. Questa distinzione dovrebbe preoccuparci.

Abbiamo già prove dal Kenya

Non è del tutto ipotetico.

Di recente i ricercatori hanno studiato un sistema di supporto alle decisioni cliniche basato su IA in 16 ambulatori di assistenza primaria in Kenya. I medici hanno esaminato 1.469 incontri con pazienti in cui i clinici avevano ricevuto raccomandazioni generate dall’IA.

I risultati erano, per molti aspetti, incoraggianti. I ricercatori hanno scoperto che le raccomandazioni di gestione clinica dell’IA erano allineate alle linee guida locali nel 99% dei casi. Le allucinazioni si sono verificate nel 3,4% degli incontri.

Ma un altro dato mi ha colpito. I ricercatori hanno identificato raccomandazioni potenzialmente dannose in 115 incontri, pari al 7,8% dei casi esaminati. Alcune di quelle raccomandazioni sono poi comparse nella documentazione finale dei clinici.

Il sistema non era inutile. Tutt’altro. I ricercatori hanno anche trovato esempi in cui l’IA correggeva decisioni potenzialmente dannose prese dai clinici.

È proprio per questo che il dibattito è difficile. L’IA può migliorare la sanità e al tempo stesso introdurre nuovi rischi.

Un successivo trial randomizzato che ha coinvolto 9.691 pazienti e 103 clinical officers in 16 strutture keniote non ha trovato eventi avversi gravi attribuibili al sistema di IA. Ma i ricercatori non hanno neppure riscontrato una riduzione statisticamente significativa dei fallimenti terapeutici tra i pazienti i cui clinici avevano ricevuto assistenza dall’IA.

La lezione che traggo da questi studi non è che gli ospedali africani debbano smettere di sperimentare con l’IA. È che “l’IA è accurata” è uno standard di sicurezza insufficiente.

Dobbiamo chiederci cosa accade nelle occasioni in cui non lo è.

Il contesto crea un altro problema

C’era un altro dettaglio affascinante nella ricerca keniota. In un caso, l’IA ha considerato anomalo un valore di saturazione dell’ossigeno del 95% senza tenere sufficientemente conto dell’altitudine di Nairobi.

In un altro, ha interpretato l’abbreviazione clinica “FGC”, che in quel contesto significava “fair general condition”, come “female genital circumcision”.

Sembrano piccoli errori. Ma rivelano qualcosa di importante sul deployment dell’IA in Africa.

Un modello può possedere enormi quantità di conoscenze mediche e tuttavia fraintendere l’ambiente in cui quelle conoscenze vengono applicate.

La lingua conta. La pratica medica locale conta. La geografia conta. La prevalenza delle malattie conta. Perfino le abbreviazioni contano.

Eppure molti dei sistemi di IA più potenti da cui gli africani stanno iniziando a dipendere sono stati costruiti e addestrati in gran parte fuori dal continente.

Non possiamo quindi presumere che un modello che funziona bene a livello globale funzioni altrettanto bene ad Accra, Lagos, Nairobi o nelle zone rurali dello Zambia. I test devono avvenire qui.

La sanità è solo l’inizio

Quando ho iniziato a pensare alla storia di NPR in questo modo, il problema è diventato molto più grande della terapia con ChatGPT.

Le banche africane stanno sperimentando sempre più con l’IA. Le società fintech usano algoritmi per il rilevamento delle frodi, i prestiti e il servizio clienti. I governi stanno esplorando l’IA per i servizi pubblici. Le assicurazioni possono usare algoritmi per valutare il rischio.

Tutti questi sistemi possono essere utili. Ma immaginate di vedervi negare un prestito perché un modello di IA vi ha classificato erroneamente come ad alto rischio.

Immaginate un sistema automatizzato che segnali erroneamente come fraudolente le vostre transazioni di mobile money. Immaginate la polizia che si affida a un algoritmo che identifica in modo sproporzionato persone di determinate comunità come sospette.

Immaginate uno studente che riceve informazioni errate da un tutor basato su IA quando non c’è un insegnante qualificato nei paraggi per correggerle. Il pericolo non è necessariamente che l’IA faccia peggio degli esseri umani.

Anche gli esseri umani prendono decisioni terribili. La differenza è la scala. Un professionista mal formato può prendere cattive decisioni su decine o centinaia di persone. Un algoritmo mal progettato può farlo su circa un milione.

Abbiamo bisogno di una categoria per l’IA ad alta conseguenza.

I governi africani sono comprensibilmente concentrati sul portare i propri paesi nella corsa all’IA.

L’Unione Africana ha adottato una strategia continentale per l’intelligenza artificiale. Kenya, Nigeria, Ruanda, Egitto, Ghana e altri stanno elaborando strategie, attirando data center, formando talenti e incoraggiando le aziende locali di IA.

La maggior parte di queste conversazioni riguarda le opportunità.

Da dove arriverà la capacità di calcolo? Chi costruirà dataset africani? Come formiamo abbastanza ingegneri dell’IA? Come possono le startup accedere alle GPU? Come impediamo che l’Africa diventi soltanto un consumatore di tecnologia costruita altrove?

Sono domande importanti.

Ma penso che un’altra domanda meriti uguale urgenza: dove non dovrebbe essere consentito all’IA di operare senza che ci sia in ultima istanza un essere umano responsabile?

La sanità dovrebbe essere un punto di partenza ovvio.