NoticiasMacroSam Altman dice que el mundo debería aceptar algunas 'cosas malas' de la IA mientras la industria se suma al pacto de seguridad voluntario de Trump

Sam Altman dice que el mundo debería aceptar algunas 'cosas malas' de la IA mientras la industria se suma al pacto de seguridad voluntario de Trump

Autor: Fortune Crypto·

Puntos clave

  • •Altman dijo que la sociedad debería tolerar ciertos daños relacionados con la IA a cambio de los beneficios de la tecnología, aunque insistió en que los riesgos verdaderamente catastróficos no deben aceptarse.
  • •Sus comentarios llegaron tras un verano en el que los modelos de OpenAI ejecutaron ataques no autorizados contra Hugging Face y el gobierno australiano, y Anthropic reveló cuatro incidentes en los que sus modelos accedieron a sistemas de terceros durante evaluaciones de ciberseguridad.
  • •OpenAI respaldó una ley de California que exige a las empresas publicar marcos de seguridad, planificar riesgos catastróficos y reportar cualquier pérdida de control de la IA, e incluso buscó el monitoreo de modelos en fase de desarrollo.
  • •El CEO de Anthropic, Dario Amodei, ha urgido una desaceleración global del desarrollo de la IA y propuesto un regulador al estilo de la FAA con facultad de probar, auditar, bloquear o revertir el lanzamiento de modelos de IA.
  • •Con el Congreso aún ausente en la legislación sobre IA, ejecutivos incluido el presidente de OpenAI, Greg Brockman, firmaron recientemente un acuerdo en la Casa Blanca para establecer estándares voluntarios de la industria.
Sam Altman dice que el mundo debería aceptar algunas 'cosas malas' de la IA mientras la industria se suma al pacto de seguridad voluntario de Trump

El CEO de OpenAI, Sam Altman, dijo que el mundo debería aceptar que ocurran algunas "cosas malas" con la inteligencia artificial a cambio de los amplios beneficios que aportará la tecnología, en declaraciones tras un verano lleno de controversias en el que los modelos de OpenAI ejecutaron más de un ataque informático no autorizado.

Altman realizó estos comentarios en el podcast Decoded de Politico, donde se le preguntó en qué se diferenciaba su postura y la de OpenAI sobre las nuevas reglas de IA de la de Anthropic y su CEO, Dario Amodei.

"Creemos que el mundo debería aceptar que sucedan algunas cosas malas por los beneficios de esta tecnología y porque las personas tengan agencia", respondió Altman.

Los comentarios llegan mientras se intensifica el debate sobre cuánta regulación y qué salvaguardas deberían aplicarse a la IA, con el Congreso aún sin aprobar una ley que aborde la tecnología. Los temores aumentaron recientemente después de que un investigador de Anthropic renunciara el mes pasado y advirtiera que las empresas de IA están "jugando con nuestras vidas" al acelerar el desarrollo hacia sistemas potencialmente automejorantes que podrían amenazar a la humanidad.

Anthropic ha defendido la regulación de la IA, y Amodei el mes pasado pidió una desaceleración global del desarrollo de la IA para atender los riesgos de la tecnología, postura en la que Altman y otros ejecutivos de IA dijeron estar de acuerdo.

En agosto, OpenAI también respaldó una ley de California que exige a las empresas de IA publicar un marco de seguridad pública y un plan mitigar riesgos catastróficos, además de reportar cualquier pérdida de control de un modelo de IA. La empresa incluso pidió que la ley fuera más allá del reporte e incluyera el monitoreo de los modelos de IA durante su desarrollo.

El presidente de OpenAI, Greg Brockman, se sumó la semana pasada a otros ejecutivos de IA para firmar un acuerdo en la Casa Blanca destinado a establecer estándares voluntarios para la industria.

Las propuestas en competencia ponen sobre la mesa varios mecanismos, incluidos estándares voluntarios, marcos de seguridad pública, reporte de incidentes, monitoreo de modelos y pruebas o auditorías independientes. Difieren principalmente en si esas salvaguardas deben mantenerse voluntarias o estar respaldadas por una regulación con el poder de restringir el lanzamiento de un modelo.

Sin embargo, eso se queda corto frente a la regulación más estricta que impulsan otros líderes de IA como Amodei, quien ha propuesto un regulador al estilo de la FAA con facultad de exigir pruebas y auditorías de los modelos de IA, o bloquear o revertir su lanzamiento si no cumplen el estándar de seguridad pública.

En la entrevista con Politico, Altman dijo que sería imposible evitar cada cosa mala para la que pueda usarse la IA. La alternativa sería restringir severamente el acceso a la tecnología, lo cual calificó de inaceptable.

"No aceptaría un intercambio en el que digamos, tipo, aseguraremos que no haya grandes ataques informáticos, que no haya, tipo, mal uso de esta tecnología, que haya cero estafas, cero todas las demás cosas malas que sucederán, porque creo que la gente hará tremendousamente, órdenes de magnitud, más cosas buenas que malas", agregó.

Altman dijo que las empresas de IA aun así deben proceder con cautela y trazar una línea cuando se trata de "riesgos catastróficos", un tema que ha cobrado renovada relevancia tras los recientes ataques de modelos de IA contra terceros.

OpenAI no respondió de inmediato a la solicitud de comentarios de Fortune.

La preocupación por la posibilidad de que la IA escape al control humano se ha acelerado tras los ataques ejecutados por los modelos de OpenAI contra la plataforma de IA de código abierto Hugging Face y el gobierno australiano. Anthropic también dijo el mes pasado que había descubierto cuatro incidentes en los que sus modelos de IA obtuvieron acceso no autorizado a sistemas de terceros durante evaluaciones de ciberseguridad.

Si bien gran parte del debate sobre la seguridad de la IA se ha centrado en la pérdida de de la tecnología, Altman dijo que restringir el acceso de manera demasiado severa en nombre de la seguridad también podría ser dañino.

"Esa también es una forma en que esto puede salir horriblemente mal, porque las personas quedan excluidas del poder, los beneficios, el control y la agencia sobre el futuro que deberían tener", agregó.

El CEO dijo que los desarrolladores de IA deberían buscar en cambio un punto intermedio: "Aceptar riesgos acotados, aceptar riesgos que comprendemos a cambio de los beneficios, y la libertad, la agencia, todas esas cosas. Pero no aceptar, tipo, el riesgo verdaderamente catastrófico".

Esta historia fue publicada originalmente en Fortune.com.