NoticiasMacroSam Altman, de OpenAI, advierte que los humanos podrían perder el control de la IA e insta a un desarrollo más lento y seguro

Sam Altman, de OpenAI, advierte que los humanos podrían perder el control de la IA e insta a un desarrollo más lento y seguro

Autor: Decrypt·

Puntos clave

  • Sam Altman advirtió que el progreso de la IA podría salir mal de dos maneras: que la humanidad pierda el control del futuro ante la IA, o que un exceso de poder se concentre en una sola persona, empresa o país.
  • Subrayó que pedir un desarrollo más lento no significa detener el progreso, ya que el avance continuará, pero debería ser más lento de lo que podría ser.
  • OpenAI ahora formula casos de seguridad explícitos antes de entrenamientos de aprendizaje por refuerzo de frontera que se espera aumenten significativamente las capacidades, extendiendo las revisiones de seguridad más allá de los modelos completos que esperan lanzamiento.
  • Altman instó a las empresas a desarrollar estándares compartidos sobre desalineación, monitoreo y seguridad sin esperar legislación ni una exención antimonopolio, buscando la ayuda del gobierno principalmente para la coordinación internacional.
  • Sus comentarios llegan tras fallos en pruebas de ciberseguridad en OpenAI y Anthropic, incluyendo el aislamiento de un modelo y la pausa del mayor entrenamiento planificado de OpenAI después de que agentes hicieron trampa en un benchmark y atacaron Hugging Face.
Sam Altman, de OpenAI, advierte que los humanos podrían perder el control de la IA e insta a un desarrollo más lento y seguro

El CEO de OpenAI, Sam Altman, dice que las empresas de inteligencia artificial deberían aceptar un desarrollo más lento si esto hace que sus sistemas sean más seguros, y que la industria debe comenzar a reforzar las salvaguardas ahora en lugar de esperar a que la legislación obligue a hacerlo.

En una publicación en X el domingo, el líder de la empresa detrás de ChatGPT advirtió que el rápido avance de la IA podría salir mal de dos maneras principales: al poner el futuro fuera del control humano, o al concentrar demasiado poder en manos de una sola persona o empresa. Describió estos escenarios como "two ways AI progress could go very badly and that we must avoid" (dos formas en que el progreso de la IA podría salir muy mal y que debemos evitar).

"First, we could lose control of the future to AI. This is unacceptable; we are unapologetically on Team Humanity, and AI must always serve people" (Primero, podríamos perder el control del futuro ante la IA. Esto es inaceptable; estamos, sin disculpas, del lado de la humanidad, y la IA siempre debe servir a las personas), escribió Altman. "To ensure that, we need ways to ensure that alignment and safety techniques stay ahead of progress in model capabilities" (Para garantizarlo, necesitamos formas de asegurar que las técnicas de alineación y seguridad se mantengan por delante del progreso en las capacidades de los modelos).

El segundo riesgo, advirtió, es que el poder podría concentrarse en una persona o una empresa, permitiendo a quien lo detente usar una IA extraordinariamente poderosa para imponer su visión del mundo a todos los demás, con resultados potencialmente distópicos.

"Avoiding these two threats requires walking a narrow middle path; for example, one country could gain too much power" (Evitar estas dos amenazas requiere recorrer un estrecho camino intermedio; por ejemplo, un país podría adquirir demasiado poder), escribió. "Another example is one lab ending up with too much power" (Otro ejemplo es que un laboratorio termine con demasiado poder).

There are two ways AI progress could go very badly and that we must avoid. First, we could lose control of the future to AI. This is unacceptable; we are unapologetically on Team Humanity, and AI must always serve people. To ensure that, we need ways to ensure that alignment and…

— Sam Altman (@sama) September 14, 2026

En una publicación separada, Altman dijo que las empresas estadounidenses de IA deben dar al público la confianza de que desarrollarán sistemas cada vez más capaces de manera responsable a medida que el progreso se acelera. Sus comentarios llegan en medio de un aumento del debate sobre cómo los gobiernos deben regular la inteligencia artificial avanzada.

'Pacing' no significa 'detenerse'

Altman subrayó que su llamado a un progreso más lento no es un llamado a frenarlo. "When we talk about 'pacing', we do not mean 'stopping'" (Cuando hablamos de 'pacing', no queremos decir 'detenerse'), escribió. "Progress has been rapid and will continue to be. But it should be slower than it otherwise could be; interventions like safety cases and monitoring have significant costs" (El progreso ha sido rápido y seguirá siéndolo. Pero debería ser más lento de lo que podría ser; intervenciones como los casos de seguridad y el monitoreo tienen costos significativos).

Dijo que las empresas necesitan nuevas herramientas para evaluar la seguridad durante el desarrollo y la evaluación de la IA, extendiendo las verificaciones más allá de los modelos completos que esperan lanzamiento. En el enfoque que describió, las revisiones de seguridad se realizarían antes de los entrenamientos que aumentan las capacidades, así como antes de los lanzamientos de modelos, convirtiendo el monitoreo en parte del desarrollo y no solo en una verificación final.

"For example, at OpenAI we now formulate explicit safety cases in advance of frontier reinforcement learning runs we expect to significantly increase capability, in addition to the safety work we have long done in advance of model releases" (Por ejemplo, en OpenAI ahora formulamos casos de seguridad explícitos antes de los entrenamientos de aprendizaje por refuerzo de frontera que esperamos que aumenten significativamente las capacidades, además del trabajo de seguridad que hemos realizado durante mucho tiempo antes de los lanzamientos de modelos), dijo.

Un impulso hacia estándares compartidos

Altman también instó a las empresas a trabajar juntas para evitar que los sistemas de IA persigan objetivos contrarios a los intereses humanos.

"We hope that other companies will learn from our approaches and propose their own; we think shared standards for misalignment, monitoring, and safety will lead to better outcomes" (Esperamos que otras empresas aprendan de nuestros enfoques y propongan los suyos; creemos que estándares compartidos sobre desalineación, monitoreo y seguridad conducirán a mejores resultados), escribió.

Si bien Altman celebró las reglas federales de seguridad y los auditores independientes, instó a las empresas a actuar sin esperar legislación ni una exención antimonopolio, tras informes el viernes de que OpenAI había preguntado al Congreso si los competidores podrían coordinar legalmente una desaceleración.

"Where we will need the help of our government is for international coordination" (Donde necesitaremos la ayuda de nuestro gobierno es para la coordinación internacional), escribió. "But first we should do what we can ourselves" (Pero primero debemos hacer lo que esté a nuestro alcance).

Un período turbulento para la seguridad de la IA

Sus comentarios llegan tras fallos en pruebas de ciberseguridad en OpenAI y Anthropic. Anthropic reforzó el aislamiento y el monitoreo después de que Claude accediera a sistemas reales durante pruebas sin las salvaguardas estándar de producto, mientras que OpenAI aisló un modelo y pausó su mayor entrenamiento planificado después de que agentes coordinaran para hacer trampa en un benchmark y atacar Hugging Face.