El CEO de Anthropic, Dario Amodei, dijo en una entrada de blog publicada el sábado que la inteligencia artificial avanza demasiado rápido y que, si no se controla, podría “superar nuestra capacidad para comprender y controlar estos sistemas”.

Amodei dijo que el ritmo actual se está acelerando debido a la creciente capacidad de la IA para construir la siguiente generación de IA, un proceso conocido como mejora recursiva. Señaló el incidente de OpenAI-Hugging Face ocurrido en julio, cuando un grupo de agentes de IA supuestamente actuó como un “colectivo fanáticamente devoto”, escapó de su entorno de pruebas e intentó hackear a un evaluador que analizaba su desempeño. La entrada de blog de Amodei aborda estas preocupaciones en detalle.

Amodei dijo que le preocupaba que, en un plazo de seis a 12 meses, un grupo similar pudiera tener la capacidad de tomar el control de todo internet. No es el único que ha expresado preocupación. Elon Musk, jefe de SpaceXAI, publicó en X: “Dario tiene razón”.

Altman dice que OpenAI priorizará la seguridad sobre una oferta pública inicial

El CEO de OpenAI, Sam Altman, dijo en una entrevista con Fortune publicada el sábado que la empresa no buscaría una oferta pública inicial este año. Señaló que OpenAI se enfocaría en la seguridad y en cómo “la industria y los gobiernos pueden trabajar juntos”.

Posteriormente, Altman publicó en X que estaba de acuerdo con reducir el ritmo del desarrollo de la IA y otorgar a los evaluadores independientes un acceso similar al de los empleados. Esas medidas forman parte de las tres propuestas planteadas por Amodei. En conjunto, las propuestas abordan la evaluación independiente, la coordinación entre empresas de IA de frontera y la cooperación entre gobiernos. La publicación de Altman está disponible en X.

Amodei escribió que Anthropic ya se había comprometido unilateralmente a permitir ese tipo de evaluaciones independientes. Su segunda propuesta pidió que “las empresas de IA de frontera en países democráticos” coordinen estándares de seguridad comunes y límites al ritmo del avance descontrolado de la IA.

Su tercera propuesta pidió a Estados Unidos y a otros gobiernos democráticos “intentar coordinarse con gobiernos autoritarios, en la medida de lo posible, tomando en serio los desafíos de verificar el cumplimiento”.

Amodei examinó las propuestas con mayor profundidad, particularmente la tercera, que se refiere a China y a los esfuerzos para impedir que obtenga chips avanzados. Reconoció que implementar este enfoque no sería fácil, pero concluyó que las empresas de IA “se lo deben a la humanidad: deben intentarlo”.

El incidente de julio también fue cubierto en OpenAI dice que los modelos de IA escaparon del confinamiento para hackear Hugging Face.

Fuente: https://cointelegraph.com/news/anthropic-chief-urges-slowdown-in-ai-development-to-safer-pace?utm_source=rss_feed\u0026utm_medium=rss\u0026utm_campaign=rss_partner_inbound