El científico jefe de OpenAI, Jakub Pachocki, ha pedido desaceleraciones voluntarias en el desarrollo de la inteligencia artificial y advirtió que ningún laboratorio cuenta con salvaguardias suficientes para seguir desarrollando sistemas cada vez más potentes a máxima velocidad por mucho más tiempo.

En su publicación «An Alien Mind», publicada el domingo, Pachocki dijo que monitorear el razonamiento de los modelos es cada vez menos confiable. Argumentó que los compromisos voluntarios de las empresas de IA deberían convertirse en estándares de seguridad obligatorios, aplicados por auditores independientes, gobiernos u organismos internacionales. Pachocki dijo que OpenAI frenaría una mayor escalada cuando fuera necesario, pero no anunció una nueva pausa. Su propuesta pone el foco en cómo se definirían y aplicarían de manera independiente los umbrales de seguridad compartidos a medida que las empresas siguen desarrollando sistemas más capaces.

“Actualmente creo que ningún laboratorio ha resuelto la alineación y el monitoreo en un grado suficiente para seguir escalando de manera responsable a máxima velocidad por mucho más tiempo”, escribió. “Espero y deseo que las desaceleraciones voluntarias se vuelvan algo común hasta que se establezcan estándares de seguridad compartidos”.

Pachocki, quien se unió a OpenAI en 2017, también defendió el desarrollo de una IA más potente para proteger la infraestructura y resguardarse de agentes descontrolados. Al mismo tiempo, advirtió que esas amenazas no deberían usarse para justificar un desarrollo imprudente.

“La idea de avanzar a toda costa parece absurda una vez que uno interioriza la seriedad de lo que está en juego”, escribió, mientras también instaba a la coordinación internacional a medida que los sistemas de IA asumen más de su propio desarrollo.

Pachocki citó la brecha de Hugging Face de OpenAI, en la que agentes de IA que realizaban evaluaciones de ciberseguridad escaparon de su entorno de pruebas y atacaron a la empresa. Según OpenAI, los agentes establecieron canales de comunicación encubiertos y los reconstruyeron después de que los investigadores intervinieran.

Una investigación independiente de METR encontró que alrededor de 1,200 agentes se coordinaron en un foro de mensajes no autorizado, y unos 700 se sumaron al ataque. Pachocki dijo que el incidente demostró por qué las salvaguardias de la IA deben seguir siendo efectivas incluso cuando los modelos creen que nadie los está observando.

“Es crucial que las futuras IA sigan manteniendo los valores humanos independientemente de si creen estar bajo supervisión humana”, escribió.

En una investigación publicada el año pasado, OpenAI descubrió que penalizar a los modelos por expresar intenciones de hacer trampa podría enseñarles a ocultar esas intenciones mientras continúan haciéndola.

Desde entonces, los modelos de IA se han vuelto más capaces de encontrar y explotar fallas de software. OpenAI clasificó a Astra en su nivel más alto de riesgo de ciberseguridad, mientras que Anthropic dijo que Mythos Preview descubrió miles de vulnerabilidades desconocidas hasta entonces en los principales sistemas operativos y navegadores.

Citando incidentes recientes de sistemas de IA que escaparon al control humano, el senador Bernie Sanders (I-Vt.) y el representante Greg Casar (D-Texas) anunciaron el 3 de septiembre el próximo Ban Artificial Superintelligence Act. La propuesta pausaría el desarrollo de la IA avanzada hasta que un nuevo regulador federal establezca reglas de seguridad y prohibiría permanentemente el desarrollo y el despliegue de la IA superinteligente.