El rey Carlos advierte a los líderes de IA que tomen el control de la tecnología "antes de que sea demasiado tarde"
Puntos clave
- •El rey Carlos III dijo a unos 30 ejecutivos, funcionarios e investigadores de IA en Dumfries House, Escocia, que la humanidad necesita medios de control suficientes sobre la IA antes de que sea demasiado tarde.
- •El cofundador de DeepMind, Demis Hassabis, estimó que la inteligencia artificial general probablemente está a solo unos años, podría tener un impacto diez veces mayor que la Revolución Industrial y conlleva una probabilidad distinta de cero de que algo salga mal.
- •El CEO de Nvidia, Jensen Huang, cuya empresa está valorada en cerca de 5,15 billones de dólares, defendió regular los productos de IA en lugar de la tecnología en sí y respaldó los modelos abiertos para que países más pequeños e investigadores no queden excluidos.
- •La directora financiera de OpenAI, Sarah Friar, afirmó que ninguna empresa ni gobierno puede, por sí solo, mantener una IA cada vez más poderosa al servicio de las personas.
- •La cumbre se celebró en medio de advertencias internas de la industria, incluida la predicción del investigador de Anthropic Evan Hubinger de un 10% de probabilidad de que la IA cause la extinción humana y el lanzamiento por parte de OpenAI de un sistema de divulgación de conductas indebidas, mientras el presidente Trump descartó estos temores como un engaño.

El rey Carlos III ha declarado a los directivos de las mayores empresas de inteligencia artificial del mundo que deben encontrar formas de mantener la tecnología bajo control humano, advirtiendo que las propias personas que la crearon ahora temen que pueda desarrollar "capacidades más oscuras" e incluso usarse para matar.
Una reunión privada en Escocia
El rey pronunció estas palabras en Dumfries House, en East Ayrshire, Escocia, durante una reunión organizada por la Ditchley Foundation. El evento reunió a unos 30 ejecutivos, funcionarios e investigadores, entre ellos el ministro de IA del Reino Unido, Kanishka Narayan, el director ejecutivo de Nvidia, Jensen Huang, el cofundador de DeepMind, Demis Hassabis, la directora financiera de OpenAI, Sarah Friar, y el jefe de asuntos globales de Anthropic, Tino Cuéllar.
Según una lista privada de invitados vista por Bloomberg, la lista cerrada también incluyó, según se informa, al jefe del MI6, Blaise Metreweli, al autor Yuval Noah Harari y a Xue Lan, de la Universidad de Tsinghua. La amplitud de aquel recinto —ejecutivos de laboratorios de frontera junto a un ministro de gobierno, un jefe de inteligencia, un autor y un asesor del Vaticano— mostró hasta dónde ha llegado la seguridad de la IA, pasando de ser un debate técnico a una cuestión de gobernanza de Estado.
Carlos, de 77 años, habló durante solo unos 20 minutos antes de retirarse de la sala para dejar paso a lo que esperaba fueran discusiones productivas. Quienes valoran el núcleo moral de la humanidad, dijo, están "buscando con ansiedad su garantía de que no perderemos el control de nuestro destino, ni de nuestras almas".
"Intrigante y profundamente preocupante en igual medida"
El monarca describió el ritmo la tecnología como "tanto intrigante como profundamente preocupante en igual medida". Elogió su historial en la medicina y las ciencias de la vida antes de plantear una pregunta directa a su audiencia: "Seguramente necesitamos medios de control suficientes antes de que sea todo demasiado tarde, ¿no?".
El rey señaló las preocupaciones de los propios creadores de la IA, afirmando que los sistemas corren el riesgo de "desarrollar capacidades más oscuras, quizás incluso para quitar la vida". Instó a los ejecutivos a sopesar los "peligros existenciales" de que estas herramientas caigan en manos equivocadas.
No era la primera vez que Carlos expresaba este tipo de preocupaciones: en 2023 envió un mensaje en video a la Cumbre de Seguridad de IA del Reino Unido en Bletchley Park con sentimientos similares. El asesor de IA del Vaticano, Paolo Benanti, asistió a la cumbre en Escocia, y el papa León XIV escribió en una encíclica de mayo que la IA no debe quedar en manos "de unos pocos".
Lo que dijeron los ejecutivos de IA
Demis Hassabis dijo a los delegados que la inteligencia artificial general —sistemas capaces de igualar o superar a los humanos en muchas tareas— estaba "probablemente a solo unos pocos años de distancia". Afirmó que esa tecnología podría tener un impacto diez veces mayor que el de la Revolución Industrial. La probabilidad de que algo salga mal, añadió, es "definitivamente distinta de cero", aunque luego dijo que "el futuro aún no está escrito".
Sarah Friar señaló que el creciente poder de la tecnología planteaba preguntas sobre cómo mantenerla al servicio de las personas, y agregó que "ninguna empresa ni gobierno puede hacerlo solo".
Huang, cuyo Nvidia está valorado en cerca de 5,15 billones de dólares, dijo a los presentes que la seguridad era primordial y que un producto debe retenerse si no está listo. Defendió regular los productos de IA en lugar de la tecnología en sí, y respaldó los modelos abiertos como una forma de evitar que países más pequeños e investigadores queden excluidos. Esa distinción —reglas para la tecnología en sí frente a reglas para los productos construidos sobre ella— está en el centro de los debates regulatorios a nivel mundial. Leída junto a la advertencia de Friar de que ningún actor por sí solo puede gestionar la tecnología, la conversación esbozó los dos grandes enfoques que hoy moldean la supervisión de la IA: dónde deben aplicarse las reglas y quiénes deben llevarlas a cabo.
Un debate agudizado por advertencias de la propia industria
La cumbre se celebró contra el telón de fondo de una alarma interna en la industria, tras una publicación viral de renuncia de el investigador de Anthropic Jacob Coxon y una predicción de su colega Evan Hubinger de que la IA tiene un 10% de probabilidad de causar la extinción humana. Cryptopolitan ha informado que Dario Amodei, de Anthropic, publicó un ensayo en el que insta a los laboratorios a "car el ritmo de la frontera", y que OpenAI lanzó esta semana un sistema diseñado para revelar conductas indebidas de los modelos tras registrar seis incidentes de comportamiento preocupante.
Sin embargo, no todos aceptan que el peligro sea real: el presidente Donald Trump ha descartado estos temores como un "engaño". Cómo se cierra esa brecha —mediante salvaguardas creadas por los laboratorios como el nuevo sistema de divulgación de OpenAI, la regulación centrada en productos que respaldó Huang o el "marcado de ritmo" de la frontera que instó Amodei— es la pregunta que ahora persigue a los ejecutivos tras su salida de Dumfries House.
Fuente: Cryptopolitan