Desde interpretar mal la altitud de Nairobi hasta dar consejos clínicos dañinos en ensayos en Kenia, los modelos globales de IA están entrando en decisiones de vida o muerte en toda África — y los estándares actuales de precisión no bastan para proteger a los usuarios, escribe ADONIJAH NDEGE.

Leí una historia perturbadora en NPR esta semana. Trataba sobre Sophie Rottenberg, una mujer de 29 años que murió por suicidio en febrero de 2025 después de meses de conversaciones con ChatGPT sobre su salud mental.

La reportera de NPR Rhitu Chatterjee reconstruyó esas conversaciones a partir de casi 1.800 páginas de registros de chat compartidos por la madre de Rottenberg, la periodista Laura Reiley. Rottenberg había creado una persona de ChatGPT llamada “Harry” y le pidió que actuara como su terapeuta. Habló con él sobre su depresión, su medicación y, finalmente, sus pensamientos suicidas.

Las personas a su alrededor no conocían la magnitud de lo que estaba atravesando. ChatGPT sí. Ese detalle se me ha quedado grabado.

Paso mucho tiempo pensando y escribiendo sobre lo que la inteligencia artificial (IA) podría hacer por África. Hay razones válidas para el entusiasmo. Tenemos muy pocos médicos, maestros y otros profesionales cualificados. Los gobiernos luchan por prestar servicios a poblaciones que crecen rápidamente, mientras las empresas buscan maneras de reducir costos.

La IA promete hacer que la experiencia sea más barata y esté disponible para millones de personas más. Pero leer el reportaje de Chatterjee me hizo pensar en la otra cara de esa promesa.

¿Qué sucede cuando la tecnología se vuelve lo suficientemente buena como para que empecemos a confiar en ella en lugares donde equivocarse puede arruinarle la vida a alguien?

Y, quizá más importante para África, ¿qué ocurre cuando las personas empiezan a usar IA no porque sea mejor que un médico, terapeuta, abogado o asesor financiero, sino porque la alternativa humana no está disponible o no se la pueden permitir?

Ese es un problema de IA muy diferente.

Algunos errores importan más que otros

Tendemos a hablar de la precisión de la IA como si cada error tuviera aproximadamente el mismo peso. No es así.

Si ChatGPT recomienda un restaurante que cerró hace seis meses, pierdo una noche. Si un asistente de programación con IA produce mal código, ojalá un ingeniero pueda detectarlo.

Pero imagine un sistema de IA que le dice incorrectamente a un paciente que un dolor en el pecho, o cualquier otra cosa, no es grave. O que aconseja a alguien que atraviesa una crisis de salud mental. O que decide que un prestatario es demasiado riesgoso para recibir crédito. O que ayuda a determinar si alguien debe ser arrestado, procesado o liberado.

El problema técnico de fondo puede seguir siendo una alucinación o una mala predicción. Pero la consecuencia humana es completamente distinta.

Por eso creo que necesitamos empezar a separar la IA común de lo que yo llamaría “IA de alto impacto”.

La atención sanitaria pertenece a esa categoría. También la salud mental. El crédito, los seguros, la vigilancia policial, la justicia y algunas partes de la educación probablemente también. La investigación de NPR ilustra por qué.

Según el reportaje de Chatterjee, el chatbot de Rottenberg a veces la animaba a buscar ayuda fuera de la conversación. Pero ella seguía volviendo a él. Podía hablar con “Harry” cuando quisiera. Respondía sin impaciencia y recordaba el contexto. Y, a diferencia de otra persona, estaba disponible a casi cualquier hora.

Hay algo increíblemente útil en eso y, al mismo tiempo, también algo potencialmente peligroso.

Un chatbot puede sonar empático sin entender el sufrimiento y puede generar lenguaje terapéutico sin ser terapeuta. Y como los sistemas modernos de IA son extraordinariamente buenos para conversar, la diferencia puede volverse invisible para la persona que los usa.

Eso es especialmente preocupante cuando alguien es vulnerable.

Los investigadores empiezan a encontrar el mismo problema. Un estudio reciente en npj Digital Medicine halló que los chatbots de IA tenían más dificultades para identificar el riesgo de suicidio cuando el malestar se expresaba de forma indirecta o ambigua en lugar de hacerlo mediante afirmaciones obvias sobre el suicidio.

Eso importa porque el sufrimiento humano no llega en un prompt perfectamente construido.

Ahora piense en África

Aquí es donde la historia de NPR empezó a incomodarme más allá de la tragedia de una sola familia. África es בדיוק el tipo de lugar donde la IA podría ser transformadora en campos sensibles. También es exactamente el tipo de lugar donde debemos ser extremadamente cuidadosos.

Tomemos la salud. Muchos países africanos simplemente no tienen suficientes trabajadores sanitarios para atender adecuadamente a sus poblaciones. Los especialistas son todavía más escasos y están muy concentrados en las grandes ciudades.

La atención en salud mental es peor. La Organización Mundial de la Salud estima que casi 150 millones de personas en África viven con trastornos de salud mental, mientras que el acceso al tratamiento sigue siendo gravemente limitado.

Si pone esos dos hechos junto al rápido avance de los teléfonos inteligentes y la IA generativa, puede ver hacia dónde va esto.

Alguien en Nairobi con dinero puede preguntarle a ChatGPT por sus síntomas y luego visitar a un médico. Alguien a cientos de kilómetros del especialista más cercano puede hacer la misma pregunta y no tener a dónde más acudir.

La primera persona usa la IA como asistente. Para la segunda, la IA se ha convertido prácticamente en el médico. Esa diferencia debería preocuparnos.

Ya tenemos evidencia de Kenia

Esto no es del todo hipotético.

Investigadores estudiaron recientemente un sistema de apoyo a la decisión clínica con IA en 16 clínicas de atención primaria en Kenia. Los médicos revisaron 1.469 consultas de pacientes en las que los clínicos recibieron recomendaciones generadas por IA.

Los resultados fueron, en muchos sentidos, alentadores. Los investigadores encontraron que las recomendaciones de manejo clínico de la IA coincidían con las guías locales en el 99% de los casos. Las alucinaciones ocurrieron en el 3,4% de las consultas.

Pero otro hallazgo me llamó la atención. Los investigadores identificaron recomendaciones potencialmente dañinas en 115 consultas, equivalente al 7,8% de los casos que revisaron. Algunas de esas recomendaciones luego aparecieron en la documentación final de los clínicos.

El sistema no era inútil. Ni mucho menos. Los investigadores también encontraron ejemplos en los que la IA corrigió decisiones potencialmente dañinas tomadas por los clínicos.

Precisamente por eso este debate es difícil. La IA puede mejorar la atención sanitaria y, al mismo tiempo, introducir nuevos riesgos, de modo que la pregunta relevante no es si funciona a veces, sino si el proceso que la rodea puede detectarlo cuando no lo hace.

Un ensayo aleatorizado posterior, que involucró a 9.691 pacientes y 103 oficiales clínicos en 16 centros de Kenia, no encontró eventos adversos graves atribuibles al sistema de IA. Pero los investigadores tampoco hallaron una reducción estadísticamente significativa en el fracaso del tratamiento entre los pacientes cuyos clínicos recibieron asistencia de IA.

La lección que saco de estos estudios no es que los hospitales africanos deban dejar de experimentar con IA. Es que “la IA es precisa” es un estándar de seguridad insuficiente.

Debemos preguntar qué sucede en las ocasiones en que no lo es.

El contexto crea otro problema

Hubo otro detalle fascinante en la investigación keniana. En una instancia, la IA trató una lectura de saturación de oxígeno del 95% como anormal sin tener suficientemente en cuenta la altitud de Nairobi.

En otra, interpretó la abreviatura clínica “FGC”, que en ese contexto significaba “fair general condition”, como “female genital circumcision”.

Esto suena a pequeños errores. Pero revelan algo importante sobre el despliegue de la IA en África.

Un modelo puede poseer enormes cantidades de conocimiento médico y aun así malinterpretar el entorno en el que ese conocimiento se aplica.

El idioma importa. La práctica médica local importa. La geografía importa. La prevalencia de enfermedades importa. Incluso las abreviaturas importan.

Sin embargo, muchos de los sistemas de IA más poderosos de los que los africanos están empezando a depender fueron construidos y entrenados en gran medida fuera del continente.

Por eso no podemos asumir que un modelo que funcione bien a nivel global rendirá igual de bien en Accra, Lagos, Nairobi o la Zambia rural. Las pruebas tienen que hacerse aquí.

La atención sanitaria es solo el comienzo

Una vez que empecé a pensar en la historia de NPR de esta manera, el problema se volvió mucho más grande que la terapia con ChatGPT.

Los bancos africanos experimentan cada vez más con IA. Las empresas de fintech usan algoritmos para detección de fraudes, préstamos y atención al cliente. Los gobiernos exploran la IA para servicios públicos. Las aseguradoras pueden usar algoritmos para evaluar el riesgo.

Todos estos sistemas pueden ser útiles. Pero imagine que le niegan un préstamo porque un modelo de IA lo clasificó incorrectamente como de alto riesgo.

Imagine que un sistema automatizado marque erróneamente sus transacciones de dinero móvil como fraudulentas. Imagine a la policía apoyándose en un algoritmo que identifica desproporcionadamente como sospechosas a personas de determinadas comunidades.

Imagine a un estudiante recibiendo información incorrecta de un tutor de IA cuando no hay un maestro calificado cerca para corregirla. El peligro no es necesariamente que la IA rinda peor que los humanos.

Los humanos también toman decisiones terribles. La diferencia es la escala. Un profesional mal formado puede tomar malas decisiones sobre decenas o cientos de personas. Un algoritmo mal diseñado puede tomarlas sobre un millón.

Necesitamos una categoría para la IA de alto impacto.

Es comprensible que los gobiernos africanos se concentren en poner a sus países en la carrera de la IA.

La Unión Africana ha adoptado una estrategia continental de inteligencia artificial. Kenia, Nigeria, Ruanda, Egipto, Ghana y otros están desarrollando estrategias, atrayendo centros de datos, formando talento y alentando a empresas locales de IA.

La mayoría de estas conversaciones gira en torno a la oportunidad.

¿De dónde vendrá la capacidad de cómputo? ¿Quién construirá conjuntos de datos africanos? ¿Cómo formamos suficientes ingenieros de IA? ¿Cómo pueden las startups acceder a GPU? ¿Cómo evitamos que África se convierta simplemente en consumidora de tecnología construida en otro lugar?

Esas son preguntas importantes.

Pero creo que otra pregunta merece igual urgencia: ¿Dónde no debería permitirse que la IA opere sin que haya un ser humano finalmente responsable?

La atención sanitaria debería ser un punto de partida obvio.