NoticiasAccionesLíderes tecnológicos quieren que la religión le enseñe a la IA a distinguir el bien del mal — Antropóloga advierte que podría priorizar ciertas tradiciones y distorsionar otras

Líderes tecnológicos quieren que la religión le enseñe a la IA a distinguir el bien del mal — Antropóloga advierte que podría priorizar ciertas tradiciones y distorsionar otras

Autor: Fortune Crypto·

Puntos clave

  • •Grandes empresas de IA como Anthropic, OpenAI, Meta, Google, Amazon y Microsoft buscan el aporte de líderes religiosos y filósofos como parte de sus esfuerzos por alinear los modelos con los valores morales humanos.
  • •Anthropic declaró en una entrada de blog de mayo que se había reunido con académicos, clérigos, filósofos y expertos en ética de más de 15 grupos religiosos e interculturales, y planea ampliar este grupo.
  • •El CEO de OpenAI, Sam Altman, ha dicho que cree que ChatGPT debería reflejar un promedio ponderado de las opiniones morales de la humanidad, una idea que, según expertos, pasa por alto las contradicciones entre las distintas tradiciones religiosas.
  • •Académicos como el antropólogo Webb Keane advierten que tratar la religión como un libro de reglas extraíbles corre el riesgo de priorizar ciertas religiones y distorsionar las que no se ven principalmente como sistemas éticos.
  • •Paolo Carozza, miembro del Meta Oversight Board, advierte que mezclar tradiciones dentro de los grandes modelos de lenguaje podría homogeneizar las características religiosas, tirando hacia el centro o favoreciendo a las religiones occidentales, mientras que Anthropic no ha revelado cómo estas consultas se traducen en el comportamiento de los modelos.
Líderes tecnológicos quieren que la religión le enseñe a la IA a distinguir el bien del mal — Antropóloga advierte que podría priorizar ciertas tradiciones y distorsionar otras

A medida que se acelera la carrera por construir una inteligencia artificial cada vez más poderosa, algunas de las empresas líderes del sector se enfrentan a una pregunta que existe desde mucho antes de la computación: cómo enseñarle a una máquina a distinguir el bien del mal. Cada vez más, su respuesta es la religión.

"Estas no son preguntas que un laboratorio pueda responder", dijo Chris Olah, cofundador de Anthropic, a inicios de este año en la presentación en el Vaticano de la encíclica del papa León XIV sobre la inteligencia artificial. "Son preguntas que tradiciones como la suya han sostenido durante milenios".

Sin embargo, en medio de este muy comentado giro hacia la fe, ha habido poco escrutinio público sobre qué entienden exactamente estas empresas tecnológicas por religión y —quizás lo más importante— qué esperan obtener de ella.

Mientras los ejecutivos alertan sobre el potencial destructivo de la IA y debaten la necesidad de construir modelos moralmente buenos, buscan cada vez más el aporte de filósofos y líderes religiosos. Las consultas se enmarcan en un proyecto técnico más amplio que la industria llama alineamiento —moldear el comportamiento de los modelos para que reflejen los valores humanos—, el cual ha recurrido cada vez más a disciplinas que van mucho más allá de la computación. La filosofía de los ejecutivos es más o menos la siguiente: la religión puede ayudar a que la IA sea moralmente buena en un momento en que los temores sobre esta tecnología, fundados o no, saltan por toda la cultura. Como estas empresas no están vinculadas a ninguna religión en particular, el objetivo suele ser bastante amplio: un agregado de ideas morales que pueda informar a sus modelos.

"Lo que creo que ChatGPT debería hacer es reflejar ese promedio ponderado, o lo que sea, de la visión moral de la humanidad", dijo el CEO de OpenAI, Sam Altman, el año pasado.

Pero expertos y fieles advierten por igual que esta idea no toma en cuenta cómo las distintas tradiciones y visiones del mundo pueden contradecirse entre sí. En pocas palabras, dicen, así no funciona exactamente la religión. Lo que está en juego es tan práctico como filosófico: el marco moral que un modelo absorbe eventualmente se refleja en las respuestas que da a los usuarios, incluidos los entornos de aula —como el acceso a chatbots para la educación en lectura— debatidos en las propias consultas.

Una visión de la fe como libro de reglas

Durante décadas, los académicos se han opuesto a la noción generalizada de que la religión es un conjunto de reglas o principios que puede separarse de las formas "desordenadas, prácticas y ad hoc" en que los fieles viven realmente, argumenta Webb Keane, antropólogo de la Universidad de Michigan. La idea de que la religión puede separarse de la cultura y la política sigue arraigada, aunque la religión impregna ambas en muchos aspectos. Algunos temen que, al pedir a líderes religiosos que respondan preguntas éticas, las empresas de IA perpetúen aún más una teoría de la religión que pasa por alto la importancia de la doctrina el ritual y las relaciones.

El problema central, argumenta Keane, es este: si se asume que la religión en su conjunto ofrece un conjunto definido de principios morales extraíbles, usarla para entrenar IA corre el riesgo de priorizar ciertas tradiciones y distorsionar otras, en particular las religiones que no se ven principalmente como un sistema de ética.

"Hay una forma muy convencional de pensar la religión como un libro de reglas", dijo. "Ciertamente está muy ligada a la religión escritural, y las religiones escriturales, al final del día, resultan ser realmente las religiones abrahámicas".

Dentro de las reuniones de Anthropic

Eso no significa que estas consultas hayan carecido de representación diversa, ni que su acercamiento a la religión haya sido poco reflexivo desde la perspectiva de participantes como Meghan Sullivan, filósofa de la religión que lidera una iniciativa sobre ética e IA en la Universidad de Notre Dame.

Anthropic no ha detallado las tradiciones que ha consultado, pero la empresa dijo en una entrada de blog de mayo que se había reunido con "académicos, clérigos, filósofos y expertos en ética de más de 15 grupos religiosos e interculturales", un grupo que espera ampliar en el futuro.

A inicios de este año, Sullivan viajó a Anthropic para una de estas reuniones, que incluyó a cristianos de distintas denominaciones. En comparación con las conversaciones que había tenido con otras empresas tecnológicas, quedó impresionada por el rigor del acercamiento de Anthropic a la religión. La empresa es ampliamente vista como la firma de IA que se toma más en serio la ética y la seguridad.

"La cultura dentro de la empresa es similar a la de un buen campus universitario, en el sentido de que tienes una colección de personas muy intelectualmente curiosas", dijo. "Estas reuniones son bastante frikis —no sé si esa es la mejor manera de decirlo—, pero en el buen sentido".

La reunión se dividió en dos partes, dijo Sullivan. Primero, la empresa explicó sus modelos "en términos sencillos" a los asistentes. Luego, los líderes religiosos respondieron con comentarios y discusión.

"Todo tipo de pregunta moral que plantea esta tecnología —desde '¿Los humanos tienen alma?' hasta '¿Deberían los alumnos de tercer grado poder acceder a un chatbot para la educación en lectura?'"

Representantes de Meta, Google y Amazon también se han reunido con el Vaticano, mientras que Microsoft ha sido muy activa en su acercamiento religioso.

Una invención moderna

La religión generalmente se considera tanto antigua como universal. Expertos como el influyente y difunto académico Jonathan Z. Smith reconocen que esto es cierto en algunos aspectos, pero dicen que no es el panorama completo.

"El ser humano ha tenido toda su historia para imaginar deidades y modos de interactuar con ellas. Pero el ser humano, más precisamente el hombre occidental, solo ha tenido los últimos pocos siglos para imaginar la religión", escribió Smith en 1982.

Muchos académicos de la religión de hoy comparten la visión de Smith sobre su campo. Cuestionan la idea de que las religiones formen un conjunto de sistemas distintos y comparables, y la califican de noción moderna que apenas puede rastrearse hasta el siglo XIX.

El budismo y el hinduismo, por ejemplo, no eran reconocidos como tradiciones claramente delimitadas por las personas que los practicaban antes de la llegada de los académicos europeos, según Tomoko Masuzawa, estudiosa de la religión y autora de "The Invention of World Religions".

"Todas estas categorías no eran nativas", dijo Masuzawa.

Los académicos occidentales consolidaron esas categorías durante años, y solo comenzaron a reexaminarlas seriamente en la segunda mitad del siglo XX. Esas ideas arraigadas sobre la religión —que es fácilmente comparable entre culturas— ayudan a explicar por qué Silicon Valley quizás no sienta la necesidad de definir su propio entendimiento de ella. En un esfuerzo por representar diversos puntos de vista, la religión suele ser una forma obvia de exhibir diversidad de pensamiento.

"De alguna manera, la religión se convierte en una forma de trazar un mapa del mundo", dijo Masuzawa. "Es como si el mundo entero lo hubiera aceptado".

Algunos observadores quieren que las empresas definan con más claridad sus términos e intenciones, para que los externos puedan entender qué esperan obtener exactamente de la religión.

"Este trabajo no consiste en alinear nuestros modelos con la visión del mundo de una sola tradición. Queremos que Claude draw de una gama completa de puntos de vista —religiosos, seculares, políticos— con igual profundidad y rigor", dijo Anthropic en la entrada de blog. "Lo que buscamos en estas conversaciones es una reflexión cuidadosa y acumulativa sobre cómo se forma realmente el buen carácter".

Cómo, y si, estas conversaciones se traducen en el comportamiento de los modelos sigue siendo, en gran parte, un secreto, lo que hace que la especificidad de futuras divulgaciones sea algo a observar a medida que Anthropic amplía su grupo de organizaciones consultadas.

El riesgo de homogeneización

Los grandes modelos de lenguaje funcionan adivinando repetidamente la siguiente palabra de una oración tras haber "aprendido" los patrones de un enorme acervo de obras escritas por humanos, incluidos textos religiosos. Paolo Carozza, miembro del independiente Meta Oversight Board y experto legal que estudia el pensamiento social católico y la tecnología, teme que, en la búsqueda de acumulación, las características distintivas de una tradición determinada puedan perderse, en efecto, homogeneizarse en algo que tira hacia el centro o incluso favorece a las religiones occidentales.

"Cualquier tradición viva y sofisticada, con el tiempo, es capaz de interactuar con otras fuera de ella, absorber nuevos conocimientos y crecer. Pero lo hace de esta manera orgánica", dijo. "Lo que la IA, creo, a menudo hace y potencialmente puede hacer, no es de manera orgánica, sino de una manera que simplemente lo junta todo, lo mezcla todo y, por lo tanto, no le encuentra sentido a nada".

Esta historia fue publicada originalmente en Fortune.com.