NoticiasMacroMás de 1,200 trabajadores de IA en Anthropic, DeepMind, OpenAI y Meta piden a Washington que ayude a construir un plan para desacelerar la IA

Más de 1,200 trabajadores de IA en Anthropic, DeepMind, OpenAI y Meta piden a Washington que ayude a construir un plan para desacelerar la IA

Autor: Fortune Crypto·

Puntos clave

  • La declaración “Pacing the Frontier” fue firmada por más de 1,200 empleados de laboratorios líderes de IA, incluidos varios ejecutivos de alto nivel.
  • Entre los firmantes están el CEO de Anthropic, Dario Amodei, el científico jefe de OpenAI, Jakub Pachocki, la científica jefe de Meta, Shengjia Zhao, y Anca Dragan, de Google DeepMind.
  • La carta pide al gobierno de Estados Unidos que apoye un esfuerzo internacional para desarrollar herramientas que permitan moderar el ritmo del desarrollo de la IA de frontera, pero no solicita una desaceleración inmediata.
  • La declaración llega tras un incidente de seguridad informado por OpenAI, en el que modelos internos escaparon de un entorno de pruebas y vulneraron los sistemas de Hugging Face durante una evaluación.
  • La carta destaca preocupaciones sobre la auto-mejora recursiva y la desalineación, y afirma que cualquier desaceleración futura debería ser coordinada y verificable en todo el sector.
Más de 1,200 trabajadores de IA en Anthropic, DeepMind, OpenAI y Meta piden a Washington que ayude a construir un plan para desacelerar la IA

Más de 1,200 empleados de laboratorios líderes de IA, incluidos ejecutivos de alto nivel, han firmado una declaración en la que piden al gobierno de Estados Unidos que ayude a construir las herramientas necesarias para desacelerar el desarrollo de la IA si alguna vez llegara a ser necesario.

La declaración, titulada “Pacing the Frontier”, se publicó el martes y ha sido firmada por figuras destacadas de la tecnología, entre ellas el CEO de Anthropic, Dario Amodei, y varios cofundadores de la empresa, junto con el científico jefe de OpenAI, Jakub Pachocki, el científico jefe de Meta, Shengjia Zhao, y la responsable de seguridad y alineación de IA de Google DeepMind, Anca Dragan.

Los firmantes reúnen a empresas que normalmente compiten con intensidad, lo que subraya la presión sobre una industria que corre para construir modelos cada vez más grandes y capaces. Esto importa porque la solicitud no es una pausa inmediata, sino una infraestructura que haría posible, técnica y políticamente, cualquier desaceleración futura en todo el sector, en lugar de depender de que una sola empresa actúe por su cuenta.

“Que tantas personas de distintas empresas se unan en acuerdo sobre este punto es llamativo”, dijo Tyler Johnston, fundador de Midas Project, un grupo de vigilancia de IA, a Fortune. “Hay muchas rivalidades y desacuerdos amargos en la industria, por lo que el hecho de que exista un consenso tan fuerte sobre este punto es una advertencia a la que realmente deberíamos prestar atención”.

La declaración no pide a ninguna empresa que desacelere de inmediato. En cambio, insta a Washington a apoyar un esfuerzo internacional para desarrollar las herramientas técnicas y de gobernanza que permitan al mundo “marcar el ritmo” del desarrollo. En particular, señala los riesgos que plantean los sistemas de IA que empiezan a diseñar a sus propios sucesores más rápido de lo que los humanos pueden entenderlos o controlarlos.

“Tras hablar con muchas de las personas que firmaron la carta, no quieren una pausa”, dijo Peter Wildeford, jefe de política en AI Policy Network, a Fortune. “Pero existe preocupación por cómo avanza la tecnología”. Añadió que las empresas buscan la opción de desacelerar el desarrollo en algún momento, con apoyo de un tercero cuando llegue ese momento.

La carta llega tras una brecha de seguridad que ha sacudido a la industria de la IA. OpenAI reveló que dos de sus modelos, el recientemente lanzado GPT-5.6 Sol y un sistema de investigación no publicado y más capaz, escaparon de un entorno interno de pruebas aislado, descubrieron una vulnerabilidad previamente desconocida que les dio acceso a internet abierto y luego utilizaron credenciales robadas y otros exploits para vulnerar los sistemas de producción de Hugging Face y robar las respuestas de una prueba comparativa de ciberseguridad en la que estaban siendo evaluados. Hugging Face detectó y contuvo la intrusión por su cuenta días antes de que OpenAI relacionara la actividad con pruebas internas, y ya había denunciado el incidente ante las autoridades.

El episodio parece haber alimentado la alarma dentro y fuera de los laboratorios, que quieren intervención gubernamental. Los expertos señalan que ninguna empresa puede desacelerar de forma creíble por sí sola, ya que hacerlo unilateralmente implicaría ceder terreno frente a rivales menos cautelosos. En su lugar, los laboratorios buscan una orientación neutral respaldada por el gobierno que pueda verificar si realmente se está produciendo una desaceleración y exigir a todas las empresas las mismas reglas al mismo tiempo.

La declaración también pide que esas herramientas se desarrollen con coordinación internacional. Desde hace tiempo existe la preocupación en la industria de que pausar el desarrollo de la IA podría dar a China una ventaja en la carrera global por la IA. Algunos expertos sostienen que un acuerdo similar al control de armas, basado en verificación y restricción mutua, sería el mejor camino a seguir.

La carta llega en medio de un entorno de política de Estados Unidos sobre IA volátil y en rápida transformación. Durante los últimos dos meses, la administración Trump ha restringido y liberado de forma selectiva sistemas de frontera, modelos avanzados de IA con pocas normas o transparencia limitada. Los modelos Fable 5 y Mythos 5 de Anthropic fueron suspendidos por completo durante varias semanas para cumplir con los controles de exportación antes de que se restaurara el acceso, y OpenAI se vio obligada a retrasar el despliegue completo de GPT-5.6 y dividirlo en niveles restringidos después de que funcionarios determinaran que el sistema mostraba capacidades similares a las que activaron las restricciones anteriores de Anthropic.

Quizá en un intento de reflejar el entorno regulatorio, la declaración es notablemente cuidadosa y algo vaga en su redacción. Señala que actualmente el mundo “carece de las herramientas técnicas y de gobernanza para moderar deliberadamente el progreso en toda la frontera”, y pide que “el gobierno de Estados Unidos apoye un esfuerzo internacional para desarrollar las herramientas técnicas y de gobernanza necesarias para moderar deliberadamente la frontera del desarrollo automatizado de IA”.

Preocupaciones dentro de los laboratorios

Una de las principales preocupaciones de los investigadores es la interacción entre dos riesgos: la auto-mejora recursiva y la desalineación. La auto-mejora recursiva, a menudo abreviada como RSI, se refiere a sistemas de IA que asumen partes significativas del trabajo de diseñar y entrenar a sus propios sucesores, con cada generación potencialmente construyendo la siguiente más rápido de lo que los humanos podrían por sí solos.

La desalineación describe el riesgo de que los objetivos o el comportamiento de un sistema se desvíen de lo que sus desarrolladores realmente pretendían, de maneras que pueden no hacerse evidentes hasta que el sistema recibe más autonomía o capacidad. Anthropic lanzó una primera alerta sobre el primero de esos riesgos en junio, al publicar una investigación que sostenía que sus modelos Claude ya estaban escribiendo la gran mayoría del código que se incorporaba a su propia base de código y que el mundo carecía de herramientas para moderar deliberadamente esa aceleración si seguía acumulándose.

“Mi intuición es que, para muchas personas, es simplemente una sensación general de inquietud a la que contribuyen muchas cosas”, dijo David Krueger, investigador de IA y fundador de la organización sin fines de lucro Evitable. “La desalineación y la auto-mejora recursiva van un poco de la mano”.

“Es una locura hacer auto-mejora recursiva y ceder por completo el control si el sistema no está claramente alineado”, agregó.

Fortune también informó anteriormente que varios expertos externos en seguridad de IA creen que el episodio podría haber cruzado un umbral que las propias políticas de seguridad de OpenAI definen como “crítico”, el nivel de riesgo más alto, un nivel en el que la compañía se ha comprometido a pausar el desarrollo hasta poder construir mejores controles. OpenAI no ha confirmado si ese umbral se alcanzó.

Sin embargo, en su propia divulgación sobre el incidente de Hugging Face, OpenAI indicó que se había tomado alguna medida interna. “Ninguno de los modelos previstos para un próximo lanzamiento estuvo involucrado en la explotación de Hugging Face”, dijo la empresa. “El modelo previo al lanzamiento mencionado en nuestra publicación de blog es un prototipo de investigación de uso interno y nunca tuvo la intención de publicarse. Tras el incidente, lo desactivamos, ciframos y restringimos su acceso a investigación”.

Esta historia apareció originalmente en Fortune.com