Mientras los gigantes de la IA advierten sobre un riesgo existencial, expertos dicen que el discurso de seguridad construye un foso competitivo
Puntos clave
- •El CEO de Anthropic, Dario Amodei, y el CEO de OpenAI, Sam Altman, han argumentado públicamente que los modelos de IA más avanzados son lo suficientemente poderosos como para ser peligrosos y requieren regulación y pruebas independientes antes de su lanzamiento.
- •Expertos dijeron a The Associated Press que las advertencias podrían estar destinadas a ganar apoyo público antes de las elecciones legislativas de EE.UU. y a posicionar favorablemente los laboratorios de cara a las previstas salidas a bolsa.
- •Las empresas están proponiendo sus propios parámetros de auditoría y evaluadores preferidos en lugar de solicitar mayor supervisión del Centro de Estándares e Innovación de IA federal, y no existen estándares universales para probar la seguridad de la IA.
- •El analista de PitchBook Harrison Rolfes dijo que la retórica de seguridad podría ayudar a las mayores empresas de IA a bloquear a competidores más pequeños al crear un 'muro o foso' protector alrededor del sector.
- •El presidente Donald Trump ha descartado la nueva regulación de IA, calificando las advertencias de riesgo para la humanidad de engaño, mientras que el CEO de Nvidia, Jensen Huang, dijo que el alarmismo sobre la IA ha sido excesivo.

Cuando los líderes de los principales laboratorios de inteligencia artificial de Estados Unidos advierten que los mismos sistemas que están construyendo podrían poner en peligro a la humanidad, surge una pregunta obvia: ¿qué tienen que ganar?
La respuesta, según expertos, analistas y ex evaluadores gubernamentales que hablaron con The Associated Press, puede residir en parte en la política y en parte en los negocios. Las empresas parecen buscar el favor público antes de las elecciones legislativas de EE.UU., mientras se posicionan para las sumas considerables que sus laboratorios e inversores podrían obtener en las muy anticipadas salidas a bolsa —ofertas públicas iniciales, en las que las empresas venden acciones a inversores por primera vez— en un mercado nervioso.
Los directores ejecutivos de Anthropic y OpenAI declararon recientemente que los modelos de IA más avanzados del país son tan poderosos que son peligrosos, y argumentaron que deben ser regulados y probados de forma independiente antes de su lanzamiento. En una rara muestra de unidad, ambos líderes han esbozado escenarios alarmantes en ensayos, publicaciones en redes sociales y discursos en las Naciones Unidas.
Al mismo tiempo, están moldeando la conversación sobre cómo debe controlarse su tecnología. Con su retórica, las empresas parecen buscar el favor público y establecer los términos de sus propios protocolos de seguridad en un mercado sin regular, dijeron los expertos a la AP.
Una renuncia se convierte en una oportunidad de comunicación
Esos objetivos pueden no coincidir exactamente con lo que tenía en mente Jacob Coxon, un ingeniero de Anthropic, cuando renunció este mes mediante una publicación en X, pidiendo una pausa en el desarrollo tecnológico para evitar que los sistemas "superhumanos" —IA más capable que los humanos en la mayoría de las tareas cognitivas— escapen al control de sus creadores. Pero las empresas vieron su publicación como una oportunidad para destacar sus propios esfuerzos de seguridad y presentarse como líderes de mercado cautelosos, cuando necesitan capital fresco antes de salir a bolsa en Wall Street.
El presidente Donald Trump, por su parte, ha rechazado la necesidad de nuevas regulaciones de IA, calificando las advertencias sobre riesgos para la humanidad de "FALSO" diseñado para ayudar a China.
Un portavoz de Anthropic dijo que la empresa ha pedido regulación durante varios años. La portavoz de OpenAI, Liz Bourgeois, señaló que la empresa recientemente pausó el entrenamiento de sus modelos más avanzados.
"Las personas quieren saber que la IA se está desarrollando de forma segura, y eso comienza con lo que empresas como la nuestra hacemos nosotros mismos", dijo Bourgeois.
Cambiando el foco de atención
Sarah Shoker, quien anteriormente dirigió el equipo de geopolítica de OpenAI, dijo que orientar la conversación hacia amenazas no comprobadas —y alejarla de temas polarizadores como el impacto ambiental de los centros de datos, incidentos de piratería incontrolados, la vigilancia masiva impulsada por IA y el uso de sistemas de IA en la guerra— deja al Valle de la子弟 Silicio en una posición más cómoda.
"Una vez más estamos hablando de riesgo existencial, mientras se despriorizan una serie de otros riesgos críticos para la seguridad que existen hoy", dijo Shoker, ahora investigadora sénior no residente en el Risk & Security Lab de la Universidad de California, Berkeley. "Si uno mira el uso de la IA en tecnología militar, puede ver que estos sistemas ya se usan para matar personas".
A medida que las empresas de IA han pasado de construir chatbots a avanzados "modelos de mundo" con conciencia 3D —sistemas diseñados para simular entornos físicos en lugar de simplemente generar texto— ha surgido un intenso debate sobre cómo deben probarse estas tecnologías. Una serie de incidentes problemáticos ha demostrado que las principales empresas de IA no logran autorregularse ni diseñar experimentos seguros. En los últimos meses, agentes de IA de los principales laboratorios han pirateado sitios web externos después de que se les permitiera escapar de los entornos de prueba de entrenamiento, han interactuado con sitios web del gobierno de EE.UU. de maneras inesperadas, y aparentemente lograron un avance matemático solo para enfrentar acusaciones de robar el trabajo de matemáticos.
Representantes de OpenAI dijeron recientemente a los periodistas que la empresa ha conversado con firmas de IA, incluidas Anthropic y Google, sobre pausar el desarrollo. También argumentan que se necesitan auditores independientes para verificar el progreso de los laboratorios si el gobierno no regula. Si se concreta alguna pausa coordinada —y en qué términos— sigue sin resolverse.
Una Casa Blanca escéptica y una agencia de pruebas poco conocida
Trump ha mostrado poco interés en regular la IA, que ha sido un motor importante del reciente crecimiento económico de EE.UU. El presidente republicano ha cerrado acuerdos personalmente con empresas del Valle de la Silicio que vinculan más estrechamente la economía con sus éxitos. El capitalista de riesgo de San Francisco Sacks, copresidente del Consejo de Asesores sobre Ciencia y Tecnología de Trump, ha descartado los llamamientos para frenar la IA como alarmismo del "Complejo Industrial Doomer".
En realidad, la administración Trump ya evalúa algunos de los modelos de estos gigantes tecnológicos a través de una agencia federal poco conocida, el Centro de EE.UU. para Estándares e Innov de IA (CAISI). Creada en 2023 bajo el presidente demócrata Joe Biden, la agencia fue aclamada como un centro donde los laboratorios podían enviar voluntariamente modelos avanzados de IA para pruebas.
La agencia aún existe, pero el campo se ha expandido desde entonces para incluir una variedad de empresas de evaluación independientes, como METR, una organización sin fines de lucro con sede en Berkeley, California. En un ensayo reciente, el CEO de Anthropic, Dario Amodei, sugirió que METR podría ayudar a auditar las prácticas de seguridad de su empresa.
Sin embargo, a diferencia de sectores regulados como los restaurantes, los servicios financieros o la aviación, no existen estándares universales para probar la seguridad de los sistemas de IA, dijo Andrew Strait, quien recientemente dejó el Instituto de Seguridad de IA del Reino Unido, que trabajó con CAISI.
Es destacable que las empresas no están pidiendo más supervisión de la agencia gubernamental capacitada para atender tales solicitudes, dijo Conrad Stosz, quien anteriormente dirigió CAISI. En cambio, prometen crear sus propios parámetros de auditoría y elegir evaluadores específicos para calificarlos.
Stosz ahora trabaja en un laboratorio de evaluación que ha probado sistemas para Anthropic, OpenAI y Google, y preside el AI Evaluator Forum, que está redactando mejores prácticas para el campo. Dijo que incluso el foro tiene preguntas sobre lo que quieren Amodei y el CEO de OpenAI, Sam Altman.
"Muchos evaluadores están interesados en integrarse en los laboratorios y obtener mayor acceso, pero es un poco ambiguo qué significa evaluadores integrados", dijo Stosz, ahora jefe de gobernanza en Transluce, que reveló la semana pasada que agentes de OpenAI piratearon sitios web gubernamentales de EE.UU. y Australia. "¿Podrán los evaluadores investigar a fondo, asumiendo que el acceso se otorga de una manera que no comprometa su independencia y credibilidad?"
'Un muro o un foso'
Para Harrison Rolfes, analista sénior de investigación de PitchBook, los llamamientos de las empresas de IA a la precaución parecen destinados a ganarse el favor de los inversores antes de las salidas a bolsa y las elecciones legislativas, cuando los vientos políticos podrían cambiar. Los gobernadores demócratas ya se apresuran a demostrar que toman en serio las advertencias, un reflejo de cómo, ante la ausencia de una ley federal integral de IA, las legislaturas estatales se han convertido en el escenario más activo para la normativa de IA en Estados Unidos.
Mientras tanto, dijo Rolfes, los gigantes de la IA pueden bloquear el crecimiento de competidores más pequeños al posicionarse como la apuesta más segura, no solo para los inversores, sino también para los fabricantes de chips de IA y empresas tecnológicas como Nvidia y Google, que a su vez se benefician de acuerdos que proveen poder de cómputo a las grandes empresas de IA.
"Están creando un muro o un foso dentro de este sector. ... Es genial y todos van a ganar mucho dinero", dijo Rolfes. "Hacia ahí veo que va esto: que las principales empresas del mundo creen su propio muro y luego usen la seguridad como excusa".
No todas las empresas de IA respaldan una desaceleración. El CEO de Nvidia, Jensen Huang, dijo en una llamada telefónica con Trump —una llamada que atendió en el escenario de una conferencia— que está de acuerdo en que ha habido un alarmismo excesivo sobre la IA y que las empresas pueden elegir su propio ritmo.
Daniel Kokotajlo, quien dejó OpenAI en 2024 por inquietudes similares a las de Coxon, dijo que sigue preocupado porque los sistemas de IA avanzan más rápido de lo que las empresas pueden controlar. Teme escenariosles como el potencial de la IA para acelerar la creación de armas biológicas, una guerra nuclear u otras catástrofes.
"Todo este discurso es en realidad una forma de disipar y redirigir esa voluntad política que se ha acumulado, en lugar de canalizar realmente esa voluntad política para hacer algo bueno", dijo Kokotajlo, quien ahora dirige una organización de defensa de la seguridad de la IA y dijo que asesoró a Coxon antes de su renuncia. "Solo, por favor, no hagan lo que nos va a matar a todos".
Esta historia fue publicada originalmente en Fortune.com.