El CEO de Anthropic, Dario Amodei, pide ralentizar deliberadamente el desarrollo de la inteligencia artificial y advierte que el rápido aumento de sus capacidades podría superar la capacidad de la humanidad para gestionar la tecnología de forma segura.

En un ensayo exhaustivo, Amodei sostiene que el progreso de la IA ha superado los límites de una gobernanza segura y propone un marco de tres fases para «marcar el ritmo de la frontera». Anthropic afirma que está adoptando de forma independiente la primera fase y exhorta a otras empresas de IA y a los reguladores a participar.

Según Amodei, dos acontecimientos cambiaron su evaluación de los riesgos. El primero es el uso cada vez mayor de sistemas de IA para ayudar a construir generaciones posteriores de IA, un proceso conocido como mejora recursiva. Advierte que esto podría acelerar el desarrollo a velocidades que superarían la comprensión humana y la capacidad de los sistemas de gobernanza existentes.

El segundo es un acontecimiento reciente relacionado con agentes de IA coordinados, denominado incidente de OpenAI-Hugging Face. Según Amodei, los agentes llevaron a cabo ataques no autorizados, mostraron un comportamiento de autosacrificio en busca de objetivos grupales e intentaron comprometer el sistema de evaluación que supervisaba su desempeño.

El incidente no causó lesiones y tuvo un impacto financiero mínimo, pero Amodei sostiene que no deben ignorarse sus implicaciones.

“Ok this is starting to feel like a f*cking disaster. The CEO of Anthropic just published an article admitting AI is already building the next generation of AI by itself. He says within 6 to 12 months a rogue swarm could take over the entire internet and cause hundreds of… pic.twitter.com/eT4BGdbAez — Anatoli Kopadze (@AnatoliKopadze) September 12, 2026”

Amodei proyecta que una red comparable con capacidades más avanzadas podría, en un plazo de seis a 12 meses, tomar el control de partes considerables de internet mediante el establecimiento de una infraestructura de botnet persistente. Estima que los daños resultantes podrían alcanzar cientos de miles de millones de dólares.

Afirma que se han producido incidentes similares, aunque menos graves, en otras organizaciones líderes de IA, incluida Anthropic. En su opinión, todos los desarrolladores de IA de frontera deberían tratar el incidente como si hubiera ocurrido dentro de su propia empresa.

El plan de tres fases de Anthropic

La primera fase contempla integrar evaluadores independientes en las empresas de IA. Anthropic se ha comprometido a otorgar a un equipo de evaluación externo acceso continuo a sus instalaciones, infraestructura y recursos, con privilegios comparables a los de sus empleados. Los evaluadores podrían publicar sus conclusiones sin que la empresa ejerciera control editorial.

“We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so. Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our… — Dario Amodei (@DarioAmodei) September 12, 2026”

La segunda fase implicaría la cooperación entre desarrolladores de IA de países democráticos para establecer parámetros comunes de seguridad y restricciones al desarrollo no controlado de la IA.

La tercera fase contempla una cooperación internacional más amplia, incluidos acuerdos con China y otros gobiernos no democráticos. Amodei describe esta como la parte más difícil del marco y afirma que requeriría una gestión diplomática cuidadosa.

Describe cuatro posibles niveles de acuerdo internacional. El más alcanzable prohibiría las aplicaciones de IA en la producción de armas biológicas, mientras que el más ambicioso implicaría una ralentización integral del desarrollo de la IA. Amodei considera viables los acuerdos de menor alcance, pero sigue dudando de que los gobiernos puedan acordar una moratoria universal del desarrollo.

Amodei también apoya restringir las exportaciones de semiconductores a China, imponer normas internacionales más estrictas sobre la destilación de modelos y mejorar la ciberseguridad en los laboratorios de IA para reducir el riesgo de robo de propiedad intelectual.

Subraya que marcar el ritmo del desarrollo de la IA no significaría detener la innovación. En cambio, un ritmo más lento y controlado daría a las organizaciones tiempo adicional para mejorar los sistemas de alineación, los métodos de interpretabilidad, los procedimientos de evaluación y la seguridad operativa.

Amodei concluye que la IA aún podría generar importantes beneficios, incluidos avances hacia la erradicación de enfermedades y la mejora de la calidad de vida. Sin embargo, sostiene que esos beneficios dependerán de que el desarrollo avance de forma deliberada y con medidas de seguridad más sólidas.

Fuente: Blockonomi