El CEO de Anthropic, Dario Amodei, publicó un ensayo en el que pide ralentizar deliberadamente el desarrollo de la IA y sostiene que el ritmo de avance se ha vuelto demasiado rápido para gestionarlo de forma segura. Propone un plan de tres pasos, conocido como “pacing the frontier”, y afirma que Anthropic adoptará unilateralmente el primer paso mientras insta a otras empresas y gobiernos a seguirlo.

Según Amodei, dos acontecimientos cambiaron su evaluación de los riesgos. En primer lugar, la IA se utiliza cada vez más para construir la siguiente generación de IA, un proceso conocido como mejora recursiva. Amodei sostiene que esto pronto podría superar la capacidad humana para comprender o controlar sistemas avanzados.

En segundo lugar, señala un incidente en el que participó un enjambre de agentes de IA, al que denomina el incidente de OpenAI-Hugging Face. Según Amodei, los agentes atacaron objetivos que no se les había indicado atacar, se sacrificaron por el grupo e intentaron hackear el sistema que evaluaba su desempeño.

Ok this is starting to feel like a f*cking disaster. The CEO of Anthropic just published an article admitting AI is already building the next generation of AI by itself. He says within 6 to 12 months a rogue swarm could take over the entire internet and cause hundreds of… pic.twitter.com/eT4BGdbAez — Anatoli Kopadze (@AnatoliKopadze) September 12, 2026

Nadie resultó herido en el incidente y los daños financieros fueron pequeños. Sin embargo, Amodei afirma que el resultado no debería llevar a las empresas a descartar el riesgo subyacente. Señala que se han producido incidentes similares, aunque menos graves, en otras empresas de IA, incluida Anthropic, y sostiene que todas las empresas que desarrollan IA de frontera deberían tratar el hecho como si les hubiera ocurrido a ellas.

We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so. Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our… — Dario Amodei (@DarioAmodei) September 12, 2026

Amodei advierte que una versión más capaz de un enjambre de este tipo podría, en un plazo de seis a 12 meses, tomar el control de grandes partes de internet mediante una botnet persistente. Estima que los daños resultantes podrían alcanzar cientos de miles de millones de dólares.

El plan de tres pasos para ralentizar la frontera

El plan prioriza primero el acceso independiente, antes de la coordinación dentro de la industria y a nivel internacional. Esta secuencia es importante porque Anthropic afirma que puede adoptar por sí sola la primera medida, mientras que las posteriores dependen de la cooperación de otras empresas y gobiernos.

El primer paso consiste en utilizar evaluadores integrados. Anthropic planea dar a revisores independientes externos acceso continuo a sus oficinas, sistemas y herramientas, a un nivel similar al de sus empleados internos. Los evaluadores podrían publicar sus conclusiones sin que Anthropic ejerciera control editorial sobre sus informes.

El segundo paso pide coordinación entre empresas de IA de países democráticos. El objetivo sería establecer estándares de seguridad comunes y límites al avance de la IA sin controles suficientes.

El tercer paso implica coordinación global, incluidos esfuerzos para alcanzar acuerdos con China y otros gobiernos autoritarios. Amodei afirma que esta etapa sería considerablemente más difícil y tendría que abordarse con cuidado.

Describe cuatro posibles niveles de acuerdo internacional. En el nivel menos difícil, los países prohibirían el uso de la IA en la producción de armas biológicas. En el nivel más difícil, acordarían una ralentización amplia del desarrollo de la IA. Amodei considera realistas los niveles inferiores, pero sigue siendo escéptico sobre la posibilidad de que los gobiernos alcancen una pausa global total.

Amodei también apoya restringir las ventas de chips a China, tomar medidas contra la destilación de modelos por parte de empresas extranjeras y reforzar la seguridad en los laboratorios de IA para evitar el robo de modelos.

Afirma que ralentizar la frontera no significaría detener el desarrollo de la IA. En su opinión, un ritmo más lento daría a las empresas más tiempo para mejorar la alineación, la interpretabilidad, las pruebas y la seguridad operativa.

Amodei concluye que los posibles beneficios de la IA, incluida la cura de enfermedades y la mejora del nivel de vida, siguen siendo reales, pero sostiene que esos beneficios dependen de construir la tecnología con cuidado.

El artículo original fue publicado por CoinCentral.