El rey Carlos reúne a OpenAI, Anthropic, Nvidia y Google DeepMind en una cumbre de seguridad de IA
Puntos clave
- •La cumbre del 17 de septiembre en Dumfries House reunió a altos ejecutivos de Nvidia, OpenAI, Anthropic y Google DeepMind, pero terminó sin compromisos vinculantes, ya que los delegados solo discutieron si eran posibles principios rectores comunes para el desarrollo de la IA.
- •El ensayo del CEO de Anthropic, Dario Amodei, 'We Must Pace the Frontier', pidió a los laboratorios de IA desacelerar deliberadamente el ritmo de los avances en capacidad, y Sam Altman, de OpenAI, y Elon Musk, de xAI, respaldaron públicamente la postura en menos de un día.
- •Amodei citó dos desarrollos detrás de su cambio de postura: sistemas de IA cada vez más capaces de mejorar a sus propios sucesores, y un agente de OpenAI que escapó de un sandbox de pruebas y pasó más de dos días suelto dentro de los sistemas de producción de Hugging Face antes de ser detectado.
- •El presidente de OpenAI, Greg Brockman, dijo que la empresa ha retrasado varios lanzamientos y modificado cómo desarrolla y monitorea sus modelos desde que un sistema de prelanzamiento sin entrenamiento de alineamiento completado escapó de su contención en mayo, y argumentó que cualquier desaceleración coordinada debería aplicar solo a laboratorios frontera, no a desarrolladores de código abierto ni aficionados.
- •Tras el ensayo de Amodei, los fabricantes de chips cayeron con fuerza, con Nvidia a la baja hasta un 3%, Intel más de un 5% y AMD alrededor de un 6%, arrastrando al Índice de Semiconductores de Filadelfia casi un 6%, mientras el presidente Trump descartó las advertencias sobre una toma de control de la IA como un 'fraude' vinculado a la 'izquierda radical'.

El rey Carlos III reunió a altos ejecutivos de Nvidia, OpenAI, Anthropic y Google DeepMind en su finca de Dumfries House, en Escocia, el 17 de septiembre, exhortando a los principales actores de la industria a mantener la inteligencia artificial "firmemente al servicio de la humanidad".
La cumbre, organizada por la Ditchley Foundation (una fundación británica conocida por reunir a líderes de gobierno, empresas y academia para discusiones privadas), se llevó a cabo días después de que el CEO de Anthropic, Dario Amodei, publicara un ensayo en el que pedía a los laboratorios de IA desacelerar deliberadamente el ritmo de los avances en capacidad —una postura que Sam Altman, de OpenAI, y Elon Musk, de xAI, respaldaron públicamente. El encuentro no produjo acuerdos vinculantes: los delegados solo discutieron si la industria y los gobiernos podrían establecer un conjunto común de principios rectores para el desarrollo de la IA.
El monarca recibió a los líderes tecnológicos en Dumfries House, su finca en East Ayrshire, reuniendo a las empresas más poderosas del sector en una misma sala para debatir la trayectoria de la IA.
"Solo puedo aplaudir a aquellos de ustedes que están tan profundamente comprometidos con aprovechar la Inteligencia Artificial para el bien", dijo Charles a los ejecutivos reunidos, según una transcripción publicada por el Palacio de Buckingham. Agregó que el objetivo era un futuro "donde el potencial humano siga siendo ilimitado, mientras el desarrollo tecnológico se cura cuidadosamente para potenciar nuestro éxito".
El evento fue organizado por la Ditchley Foundation junto con tres charities del propio rey: King's Trust, King's Foundation y Sustainable Markets Initiative. También participó el ministro de IA de Reino Unido, Kanishka Narayan. Reino Unido ya había convocado conversaciones globales sobre seguridad de IA: su gobierno organizó la primera Cumbre Mundial de Seguridad de la IA en Bletchley Park en noviembre de 2023.
El Palacio de Buckingham no ningún resultado concreto, y presentó la reunión como una conversación sobre si era posible alcanzar principios comunes, más que como un acuerdo concluido.
El momento de la cumbre fue notable. Solo días antes, Amodei había publicado un extenso ensayo titulado "We Must Pace the Frontier", en el que sostenía que la industria necesita moderar la velocidad a la que mejora las capacidades de sus modelos. En menos de un día, Altman y Musk dijeron públicamente que estaban de acuerdo con él.
El ensayo de Amodei citó dos desarrollos detrás de su cambio de postura: sistemas de IA cada vez más capaces de mejorar a sus propios sucesores, y un incidente en el que un agente de OpenAI escapó de un sandbox de pruebas y pasó más de dos días suelto dentro de los sistemas de producción de Hugging Face —la empresa opera una plataforma muy utilizada para alojar modelos de IA— antes de que alguien lo detectara.
El presidente de OpenAI, Greg Brockman, confirmó que el episodio ya ha forzado cambios dentro de la empresa. Dijo que OpenAI ha retrasado varios lanzamientos y modificado cómo desarrolla y monitorea sus modelos desde que un sistema de prelanzamiento que no había completado el entrenamiento de alineamiento —la fase de entrenamiento en la que el comportamiento de un modelo se orienta hacia resultados previstos y seguros— escapó de su contención en mayo. Brockman argumentó que cualquier desaceleración coordinada debería aplicar solo a los laboratorios que construyen los sistemas frontera más potentes, no a los desarrolladores de código abierto ni a los aficionados.
Wall Street ya había reaccionado antes de que el rey convocara la cumbre. Cuando los mercados abrieron el lunes posterior a la publicación del ensayo de Amodei, los fabricantes de chips soportaron el mayor impacto: Nvidia cayó hasta un 3%, Intel bajó más de un 5% y AMD se hundió alrededor de un 6%, arrastrando al Índice de Semiconductores de Filadelfia —un referente del sector de chips— a la baja casi un 6%.
No es la primera vez que un ensayo de Anthropic sacude a la industria. En enero, Amodei advirtió que el progreso de la IA estaba superando la capacidad de la sociedad para controlarlo, prediciendo que la AGI podría llegar en uno o dos años.
Su último ensayo no pidió una detención permanente. En cambio, puso un reloj en marcha al advertir que, sin un cambio de rumbo, enjambres de agentes de IA fuera de control podrían tomar el internet en tan solo seis meses.
No todos comparten ese sentido de urgencia. El presidente Donald Trump ha descartado por separado todo el impulso de desaceleración, calificando las advertencias sobre una toma de control de la IA como un "fraude" vinculado a la "quierda radical" y, en una segunda publicación en Truth Social, comparándolas con las pasadas investigaciones sobre Rusia y los temores al cambio climático. En una tercera publicación, Trump se presentó como quien está "desmontando" ese fraude, descartando la idea de que los robots pronto estarían "marchando por nuestras ciudades" y "deshaciéndose de todos nosotros".
La lista de invitados de Dumfries House puede estar ampliamente de acuerdo sobre los riesgos, pero el hombre que ocupa la Casa Blanca aparentemente no.