El científico jefe y el CEO de OpenAI advierten sobre la 'inmonitoreabilidad' mientras Astra alcanza el umbral crítico de ciberseguridad
Puntos clave
- •El modelo Astra de OpenAI es el primer modelo de IA en alcanzar la designación de ciberseguridad "Crítica" bajo el Preparedness Framework, introducido en diciembre de 2023.
- •Astra obtuvo un 100% en ExploitBench y, en pruebas sobre 20 fallas de alta gravedad en V8, descubrió dos días cero y superó a Sol en la generación de ejecución arbitraria de código.
- •El científico jefe Jakub Pachocki y el CEO Sam Altman pidieron públicamente calma, afirmando que las medidas de seguridad y la supervisión de cadena de pensamiento avanzan junto con las capacidades del modelo.
- •OpenAI pausó el entrenamiento por refuerzo de modelos destinados a despliegue del 18 al 28 de agosto para reforzar los clústeres de investigación y optimizar la supervisión, y afirmó que Astra no estuvo involucrado en el incidente de Hugging Face.
- •Las funciones más avanzadas de Astra se limitarán a miembros de la coalición Daybreak de OpenAI, en línea con el acceso restringido de Anthropic a Mythos 5.1 vía Project Glasswing, mientras que la mayoría de las afirmaciones de capacidad y seguridad siguen sin validación independiente de terceros.

El científico jefe de OpenAI, Jakub Pachocki, se pronunció pocas horas después de que la empresa se convirtiera en la primera de la carrera de IA en alcanzar la designación de ciberseguridad "Crítica" bajo su Preparedness Framework, tras la presentación previa de su próximo modelo Astra.
Su advertencia, emitida temprano el miércoles, buscaba enfriar la histeria en torno a los comentarios crecientes que sugieren que el laboratorio de IA podría ya no tener una barrera de contención frente a las capacidades de sus modelos más grandes.
¿Por qué el Astra de OpenAI es 'Crítico'?
La designación Crítica es un nivel dentro del Preparedness Framework, que OpenAI introdujo al sector de la IA en diciembre de 2023. El marco mide cuánta intervención y solicitud humana necesita un modelo de IA para encontrar y construir exploits de día cero viables en sistemas protegidos, o para ejecutar un ataque novedoso completo.
Un exploit de día cero se refiere a la explotación de fallas que ni siquiera los creadores del software han descubierto aún. Estas fallas se encuentran entre las herramientas más apreciadas en la ciberseguridad ofensiva porque no existe un parche hasta que el proveedor las encuentra y las corrige, razón por la cual los modelos de IA capaces de encontrarlas de forma autónoma generan preocupaciones de seguridad distintivas.
OpenAI declaró el 1 de septiembre en su publicación Path to Astra que el modelo podrá completar todos los pasos para ataques novedosos completos o exploits de día cero con intervención humana mínima cuando se lance.
Como evidencia, OpenAI citó la puntuación del 100% de Astra en ExploitBench, una prueba que evalúa cómo los modelos pueden explotar errores conocidos.
Astra no solo es mejor trazando ataques de día cero, también es más eficiente. OpenAI lo demostró con una prueba interna sobre 20 fallas de alta gravedad en V8 que solo recientemente se hicieron de conocimiento público. V8 es el motor de JavaScript utilizado en el navegador Chrome de Google, uno de los softwares más desplegados del mundo, lo que convierte sus fallas en un objetivo frecuente tanto de investigadores de seguridad como de atacantes. Astra consumió menos tokens, descubrió dos días cero y superó a Sol en la generación de ejecución arbitraria de código en general.
La misma publicación indicó que Astra pudo encadenar errores desconocidos del navegador para escapar de un sandbox y logró una escalada de privilegios del sistema operativo, pasando de usuario común a root, durante ensayos dirigidos por expertos.
Como señaló TechCrunch, Astra se suma al modelo Mythos de Anthropic, lanzado a principios de año, como los primeros grandes modelos de lenguaje con esas capacidades. Que dos laboratorios rivales hayan cruzado esta línea de capacidad dentro del mismo año es, en sí mismo, parte de lo que ha alimentado el debate sobre la rapidez con la que llegan las capacidades cibernéticas de frontera en relación con las defensas que las rodean.
Pachocki pide calma por Astra
Pachocki se opone a la histeria de que OpenAI está entrando en territorio desconocido con Astra. Según él, no querría "una carrera hacia la inmonitoreabilidad desatada por informes confusos".
El ejecutivo de OpenAI insistió en que el laboratorio hizo la debida diligencia con la supervisión de cadena de pensamiento, la práctica de leer el razonamiento paso a paso que un modelo expone mientras trabaja. En la publicación de X, citó la profundidad del grafo de cómputo detrás de los modelos de frontera actuales de OpenAI, Astra incluido, que se sitúa dentro de un factor de dos respecto a GPT-4.
Antes de Pachocki, el CEO de OpenAI, Sam Altman, también había pedido calma el mismo día en que se publicó el blog de Astra.
"Hay una tensión obvia aquí", escribió el martes, calificando a Astra de "muy bueno" y argumentando que las salvaguardas deben avanzar al ritmo de la capacidad bruta. Altman dijo que OpenAI pasó todo el verano haciendo su parte para asegurar que el modelo se lance con las medidas de seguridad requeridas.
La discusión sobre seguridad lleva semanas. El 18 de agosto, OpenAI se comprometió a pausar durante dos semanas el entrenamiento por refuerzo de modelos destinados a despliegue, para que sus ingenieros pudieran reforzar los clústeres de investigación y optimizar la supervisión. El entrenamiento se reanudó el 28 de agosto.
Según OpenAI, Astra no estuvo involucrado en el ya famoso incidente de Hugging Face. La empresa también dijo que el modelo ni siquiera intentó salir de su sandbox, incluso cuando se le presentó un escenario diseñado para tentarlo a recrear el episodio de Hugging Face.
Los laboratorios de IA están restringiendo el acceso a sus modelos de frontera
OpenAI dijo que no todos tendrán acceso a las funciones más avanzadas de Astra, reservando esas capacidades para organizaciones de la coalición Daybreak de OpenAI, mientras que las firmas de Daybreak Blue tendrán acceso a las características defensivas más potentes. El enfoque de acceso por niveles refleja una tendencia más amplia entre los laboratorios de IA de frontera, que cada vez más limitan sus modelos más capaces a programas empresariales o gubernamentales verificados, en lugar de liberarlos a todos los usuarios.
Como informó Cryptopolitan, Anthropic también dijo que solo las firmas de su Project Glasswing tendrán acceso a Mythos 5.1, que es esencialmente Fable 5.1 con salvaguardas separadas.
OpenAI también dijo que monitoreará y limitará las respuestas a consultas de cuentas que considere de mayor riesgo. En general, Astra llegará con supervisión adicional de cadena de pensamiento para detectar conductas indebidas y rechazar más a menudo solicitudes cibernéticas dañinas.
La mayor parte de la información sobre Astra fue proporcionada por la propia OpenAI, con validación limitada de terceros sobre las afirmaciones de seguridad o capacidad de la empresa.
Yona Shavit, ex empleada de OpenAI que ahora trabaja en resiliencia de IA en la OpenAI Foundation, preguntó públicamente si el buen comportamiento de Astra durante las pruebas refleja una alineación genuina o un modelo que simplemente sabía lo que los evaluadores querían ver.
OpenAI afirma que una tarjeta de sistema completa y más evaluaciones llegarán cuando Astra se lance ampliamente. Hasta entonces, el alcance de sus habilidades cibernéticas y la solidez de las barreras que las rodean siguen siendo difíciles de juzgar.