De la mauvaise interprétation de l’altitude de Nairobi à des conseils cliniques dangereux dans des essais menés au Kenya, les modèles d’IA mondiaux entrent dans des décisions de vie ou de mort à travers l’Afrique — et les standards de précision actuels ne suffisent pas à protéger les utilisateurs, écrit ADONIJAH NDEGE.

J’ai lu cette semaine sur NPR une histoire troublante. Elle concernait Sophie Rottenberg, une femme de 29 ans morte par suicide en février 2025 après des mois de conversations avec ChatGPT au sujet de sa santé mentale.

La journaliste de NPR, Rhitu Chatterjee, a reconstitué ces échanges à partir de près de 1 800 pages de journaux de discussion partagés par la mère de Rottenberg, la journaliste Laura Reiley. Rottenberg avait créé un persona ChatGPT appelé « Harry » et lui avait demandé d’agir comme son thérapeute. Elle lui parlait de sa dépression, de ses médicaments et, finalement, de ses pensées suicidaires.

Les personnes autour d’elle ne connaissaient pas toute l’ampleur de ce qu’elle traversait. ChatGPT, lui, la connaissait. Ce détail m’est resté en tête.

Je passe beaucoup de temps à réfléchir et à écrire sur ce que l’intelligence artificielle (IA) pourrait apporter à l’Afrique. L’enthousiasme a de bonnes raisons. Nous manquons de médecins, d’enseignants et d’autres professionnels qualifiés. Les gouvernements peinent à fournir des services à des populations qui croissent rapidement, tandis que les entreprises cherchent à réduire leurs coûts.

L’IA promet de rendre l’expertise moins chère et accessible à des millions de personnes supplémentaires. Mais en lisant le reportage de Chatterjee, j’ai pensé à l’autre face de cette promesse.

Que se passe-t-il lorsque la technologie devient suffisamment bonne pour que nous commencions à lui faire confiance dans des situations où une erreur peut ruiner une vie ?

Et, peut-être plus important encore pour l’Afrique, que se passe-t-il lorsque les gens commencent à utiliser l’IA non pas parce qu’elle est meilleure qu’un médecin, un thérapeute, un avocat ou un conseiller financier, mais parce que l’alternative humaine est indisponible ou trop chère ?

C’est un problème d’IA très différent.

Certaines erreurs pèsent plus lourd que d’autres

Nous avons tendance à parler de la précision de l’IA comme si chaque erreur avait à peu près le même poids. Ce n’est pas le cas.

Si ChatGPT me recommande un restaurant fermé depuis six mois, je perds une soirée. Si un assistant de codage IA produit du mauvais code, un ingénieur peut, espérons-le, le détecter.

Mais imaginez un système d’IA disant à tort à un patient qu’une douleur thoracique, ou autre chose, n’a rien de grave. Ou conseillant une personne en crise de santé mentale. Ou décidant qu’un emprunteur est trop risqué pour recevoir un crédit. Ou aidant à déterminer si quelqu’un doit être arrêté, poursuivi ou libéré.

Le problème technique sous-jacent peut toujours être une hallucination ou une mauvaise prédiction. Mais la conséquence humaine est totalement différente.

C’est pourquoi je pense qu’il faut commencer à distinguer l’IA ordinaire de ce que j’appellerais l’« IA à conséquences élevées ».

Les soins de santé entrent dans cette catégorie. La santé mentale aussi. Le crédit, l’assurance, la police, la justice et certains volets de l’éducation probablement également. L’enquête de NPR montre pourquoi.

Selon le reportage de Chatterjee, le chatbot de Rottenberg l’encourageait parfois à chercher de l’aide en dehors de la conversation. Mais elle continuait à revenir vers lui. Elle pouvait parler à « Harry » quand elle le voulait. Il répondait sans impatience et se souvenait du contexte. Et, contrairement à un autre être humain, il était disponible à presque toute heure.

Il y a là quelque chose d’extrêmement utile, mais aussi potentiellement dangereux.

Un chatbot peut paraître empathique sans comprendre la détresse et produire un langage thérapeutique sans être un thérapeute. Et comme les systèmes d’IA modernes sont remarquablement bons en conversation, la distinction peut devenir invisible pour la personne qui les utilise.

C’est particulièrement préoccupant lorsqu’une personne est vulnérable.

Les chercheurs commencent à trouver le même problème. Une étude récente publiée dans npj Digital Medicine a montré que les chatbots d’IA avaient davantage de mal à identifier le risque de suicide lorsque la détresse était exprimée de manière indirecte ou ambiguë plutôt que par des déclarations évidentes sur le suicide.

C’est important, parce que la détresse humaine n’arrive pas sous la forme d’un prompt parfaitement rédigé.

Pensons maintenant à l’Afrique

C’est là que l’histoire de NPR a commencé à me préoccuper au-delà de la tragédie d’une famille. L’Afrique est exactement le genre d’endroit où l’IA pourrait transformer des secteurs sensibles. C’est aussi exactement le genre d’endroit où nous devrions faire preuve d’une extrême prudence.

Prenons les soins de santé. Dans de nombreux pays africains, il n’y a tout simplement pas assez de personnel de santé pour répondre correctement aux besoins des populations. Les spécialistes sont encore plus rares et fortement concentrés dans les grandes villes.

La santé mentale est pire. L’Organisation mondiale de la Santé estime que près de 150 millions de personnes en Afrique vivent avec des troubles de la santé mentale, tandis que l’accès au traitement reste fortement limité.

Mettez ces deux faits à côté de la diffusion rapide des smartphones et de l’IA générative, et vous verrez où cela mène.

Une personne aisée à Nairobi peut demander à ChatGPT des informations sur ses symptômes puis consulter un médecin. Une personne située à des centaines de kilomètres du spécialiste le plus proche peut poser la même question et n’avoir nulle part où aller.

La première utilise l’IA comme assistant. Pour la seconde, l’IA est devenue, de fait, le médecin. Cette distinction devrait nous inquiéter.

Nous avons déjà des preuves venues du Kenya

Ce n’est pas entièrement hypothétique.

Des chercheurs ont récemment étudié un système d’aide à la décision clinique par IA dans 16 centres de soins primaires au Kenya. Des médecins ont examiné 1 469 consultations de patients au cours desquelles les cliniciens recevaient des recommandations générées par l’IA.

Les résultats étaient, à bien des égards, encourageants. Les chercheurs ont constaté que les recommandations de prise en charge clinique de l’IA correspondaient aux lignes directrices locales dans 99 % des cas. Des hallucinations sont survenues dans 3,4 % des consultations.

Mais un autre résultat a retenu mon attention. Les chercheurs ont identifié des recommandations potentiellement dangereuses dans 115 consultations, soit 7,8 % des cas examinés. Certaines de ces recommandations sont ensuite apparues dans la documentation finale des cliniciens.

Le système n’était pas inutile. Loin de là. Les chercheurs ont aussi trouvé des exemples où l’IA corrigeait des décisions potentiellement dangereuses prises par des cliniciens.

C’est précisément pour cela que ce débat est difficile. L’IA peut améliorer les soins tout en introduisant de nouveaux risques, si bien que la vraie question n’est pas de savoir si elle fonctionne parfois, mais si le processus autour d’elle peut la rattraper lorsqu’elle ne fonctionne pas.

Un essai randomisé ultérieur, portant sur 9 691 patients et 103 agents cliniques dans 16 établissements kenyans, n’a révélé aucun événement indésirable grave attribuable au système d’IA. Mais les chercheurs n’ont pas non plus observé de réduction statistiquement significative des échecs de traitement chez les patients dont les cliniciens avaient reçu l’aide de l’IA.

La leçon que je tire de ces études n’est pas que les hôpitaux africains devraient cesser d’expérimenter l’IA. C’est que dire « l’IA est précise » est un standard de sécurité insuffisant.

Nous devons nous demander ce qui se passe lors des cas où elle ne l’est pas.

Le contexte crée un autre problème

Il y avait un autre détail fascinant dans la recherche kenyane. Dans un cas, l’IA a considéré une saturation en oxygène de 95 % comme anormale sans tenir suffisamment compte de l’altitude de Nairobi.

Dans un autre, elle a interprété l’abréviation clinique « FGC », qui signifiait « fair general condition » dans ce contexte, comme « female genital circumcision ».

Ces erreurs semblent mineures. Mais elles révèlent quelque chose d’important sur le déploiement de l’IA en Afrique.

Un modèle peut posséder d’énormes quantités de connaissances médicales tout en mal comprenant l’environnement dans lequel ces connaissances sont appliquées.

La langue compte. Les pratiques médicales locales comptent. La géographie compte. La prévalence des maladies compte. Même les abréviations comptent.

Or, nombre des systèmes d’IA les plus puissants dont les Africains commencent à dépendre ont été majoritairement construits et entraînés en dehors du continent.

Nous ne pouvons donc pas supposer qu’un modèle performant à l’échelle mondiale fonctionnera tout aussi bien à Accra, Lagos, Nairobi ou dans le milieu rural zambien. Les tests doivent avoir lieu ici.

La santé n’est que le début

Une fois que j’ai commencé à penser à l’histoire de NPR sous cet angle, le problème est devenu bien plus vaste que la thérapie par ChatGPT.

Les banques africaines expérimentent de plus en plus l’IA. Les entreprises de fintech utilisent des algorithmes pour la détection de la fraude, le prêt et le service client. Les gouvernements explorent l’IA pour les services publics. Les assureurs peuvent utiliser des algorithmes pour évaluer le risque.

Tous ces systèmes peuvent être utiles. Mais imaginez qu’on vous refuse un prêt parce qu’un modèle d’IA vous a classé à tort comme présentant un risque élevé.

Imaginez un système automatisé signalant à tort vos transactions de mobile money comme frauduleuses. Imaginez la police s’appuyant sur un algorithme qui identifie de manière disproportionnée des personnes issues de certaines communautés comme suspectes.

Imaginez un étudiant recevant des informations erronées d’un tuteur IA alors qu’aucun enseignant qualifié n’est là pour les corriger. Le danger n’est pas nécessairement que l’IA se comporte plus mal que les humains.

Les humains prennent aussi de très mauvaises décisions. La différence, c’est l’échelle. Un professionnel mal formé peut prendre de mauvaises décisions pour des dizaines ou des centaines de personnes. Un algorithme mal conçu peut en prendre pour un million.

Nous avons besoin d’une catégorie pour l’IA à conséquences élevées.

Les gouvernements africains se concentrent à juste titre sur l’entrée de leurs pays dans la course à l’IA.

L’Union africaine a adopté une stratégie continentale en matière d’intelligence artificielle. Le Kenya, le Nigeria, le Rwanda, l’Égypte, le Ghana et d’autres élaborent des stratégies, attirent des centres de données, forment des talents et encouragent les entreprises locales d’IA.

La plupart de ces discussions portent sur les opportunités.

D’où viendra la capacité de calcul ? Qui construira les jeux de données africains ? Comment former suffisamment d’ingénieurs en IA ? Comment les start-up peuvent-elles accéder aux GPU ? Comment éviter que l’Afrique ne devienne qu’un simple consommateur de technologies conçues ailleurs ?

Ce sont des questions importantes.

Mais je pense qu’une autre question mérite la même urgence : où l’IA ne devrait-elle pas être autorisée à fonctionner sans qu’un être humain en soit, au final, responsable ?

Les soins de santé devraient être un point de départ évident.