OpenAI informó a su personal esta semana que consideraría ralentizar el trabajo en las áreas más avanzadas de la inteligencia artificial. El director ejecutivo, Sam Altman, extendió la propuesta a laboratorios rivales, incluido Anthropic, que por separado ha reconocido el aumento de los riesgos de la IA después de informar que investigadores vinculados con instituciones estatales intentaron utilizar sus modelos Claude para investigar armas biológicas.

OpenAI afirmó que ya pausó algunas ejecuciones internas de entrenamiento y ralentizó partes del desarrollo de modelos debido a preocupaciones de seguridad. Las revelaciones sucesivas han intensificado el debate sobre si la industria de la IA está avanzando demasiado rápido, particularmente mientras ambas empresas continúan señalando posibles ofertas públicas iniciales.

¿Por qué Altman quiere ralentizar el desarrollo de la IA?

En una reunión con toda la empresa, Altman dijo a los empleados de OpenAI que la compañía y otros laboratorios dispuestos a participar podrían ralentizar el lanzamiento de modelos de frontera. Según fuentes citadas por Bloomberg, reconoció que el acuerdo sería voluntario y que no todas las empresas aceptarían participar. Ese enfoque voluntario contrasta con el posterior llamado de OpenAI a establecer reglas obligatorias basadas en las capacidades, lo que convierte la coordinación entre laboratorios competidores y el alcance de cualquier requisito gubernamental en cuestiones centrales del debate.

Existe un precedente para el escepticismo sobre las pausas voluntarias. En marzo de 2023, Elon Musk, Steve Wozniak y más de 1,000 personas firmaron una carta abierta en la que pedían detener durante seis meses el trabajo en IA avanzada. Informes de medios publicados en ese momento señalaron que los laboratorios participantes finalmente no implementaron la moratoria que habían propuesto conjuntamente. La carta está disponible a través de Axios.

El científico jefe de OpenAI, Jakub Pachocki, hizo un llamado similar en una publicación del 6 de septiembre, en la que pidió a las empresas de IA coordinarse “para ralentizar el desarrollo futuro cuando sea necesario”. Pachocki dijo que esperaba que las ralentizaciones voluntarias “se volvieran habituales hasta que se establezcan estándares de seguridad compartidos”.

Altman dijo en julio que había informado a funcionarios de la Casa Blanca sobre la necesidad de ralentizar el desarrollo de la IA. Él y el director ejecutivo de Anthropic, Dario Amodei, también habían firmado anteriormente una declaración de una sola línea en la que calificaban a la IA como un riesgo de extinción a escala social. La declaración está publicada en AIstatement.com.

¿Podrían los modelos de IA apoyar la investigación sobre armas biológicas?

Los modelos de IA han avanzado hasta un punto en el que podrían ser capaces de apoyar la investigación sobre armas biológicas. A principios de esta semana, OpenAI afirmó que sus modelos habían resuelto el problema matemático de Navier-Stokes, aunque la afirmación se realizó bajo condiciones cuestionadas.

Anthropic se sumó al debate con un informe de inteligencia sobre amenazas de 154 páginas, publicado el 10 de septiembre. El informe describió cinco casos en los que investigadores intentaron utilizar las capacidades de Claude para apoyar trabajos relacionados con armas biológicas. Anthropic dijo que los intentos procedían de “regiones no admitidas” e incluían esfuerzos para eludir las restricciones de ubicación y ocultar el propósito de la actividad. La empresa afirmó que eliminó las cuentas, pero no identificó a los países o instituciones involucrados. La sección del informe sobre el uso indebido con fines biológicos está disponible en el sitio web de Anthropic.

Crece la preocupación entre los investigadores de IA

Los informes se publicaron en medio de una serie de advertencias públicas de personas que trabajan o trabajaron en importantes laboratorios de IA. El 8 de septiembre, el investigador Jacob Coxon renunció y acusó a OpenAI y Anthropic de estar “apostando con nuestras vidas”. Dijo que algunos colegas creían que la tecnología podría “matarnos a todos antes de que termine la década” y advirtió sobre una extinción humana para 2030. Su publicación recibió más de 150 millones de visualizaciones.

El 10 de septiembre, exempleados de Anthropic y Google’s DeepMind expresaron preocupaciones similares y pidieron una mayor transparencia. Una petición lanzada a finales de julio para establecer un mecanismo que ralentizara el desarrollo de la IA recibió las firmas de más de 1,000 trabajadores de las principales empresas de IA.

OpenAI ahora insta al Congreso a adoptar reglas de seguridad obligatorias basadas en las capacidades, que cubran pruebas, evaluaciones independientes, ciberseguridad y reportes de incidentes. “La perspectiva de un desarrollo de IA acelerado por la IA exige más que compromisos voluntarios”, escribió Chris Lehane, director de Asuntos Globales. Las propuestas centran la atención en cómo se probarían y supervisarían los sistemas avanzados, en lugar de limitarse a determinar si las empresas aceptan pausar el desarrollo.

California actuó primero. El gobernador Gavin Newsom promulgó SB 813 y AB 1405 el miércoles, mientras que una legislación complementaria, AB 1864, busca proteger contra las amenazas biológicas habilitadas por la IA.

En Washington, el senador Bernie Sanders presentó una legislación que pausaría el desarrollo de la IA avanzada y prohibiría la superinteligencia artificial. Dijo a la BBC que ignorar las advertencias de los científicos convertiría a alguien en “un idiota”.

El presidente Donald Trump se opuso a ese enfoque y dijo el jueves que le preocupaba que “si no ganamos en IA, quedaremos en una posición muy mala”.

Publicado originalmente por Cryptopolitan.