NoticiasMacroLos líderes de la IA tienen un problema: temen la carrera que intentan ganar

Los líderes de la IA tienen un problema: temen la carrera que intentan ganar

Autor: Fortune Crypto·

Puntos clave

  • El exinvestigador de Anthropic y OpenAI Jacob Coxon advirtió que los laboratorios fronteriza compiten hacia una superinteligencia auto-mejorada y dijo que la carrera equivale a apostar con vidas humanas.
  • El riesgo específico que destacó es la auto-mejora recursiva, en la que los sistemas de IA se mejoran a sí mismos más rápido de lo que sus creadores pueden evaluarlos o contenerlos.
  • El CEO de Anthropic, Dario Amodei, argumentó en un ensayo publicado que las empresas deben frenar sus modelos más poderosos para que el trabajo de seguridad pueda alcanzarlos, reconociendo que tales límites requieren coordinación de toda la industria en lugar de acción unilateral.
  • El CEO de OpenAI, Sam Altman, declaró en una entrevista exclusiva con Fortune que es posible que la IA escape del control humano y sugirió que las empresas líderes de IA están discutiendo acciones colectivas sobre el ritmo del desarrollo.
  • La situación refleja el marco de salida frente a voz del economista Albert O. Hirschman, una elección que Amodei vivió de primera mano cuando dejó OpenAI en 2021 para cofundar Anthropic, centrado en la seguridad.
Los líderes de la IA tienen un problema: temen la carrera que intentan ganar

Una pregunta difícil se esconde detrás de las últimas advertencias de las personas que construyen la inteligencia artificial: cuando crees que tu empresa puede estar creando un peligro para la sociedad, ¿es tu deber quedarte y cambiarla, o irte y dar la alarma?

La pregunta se agudizó la semana pasada cuando el exinvestigador de Anthropic y OpenAI Jacob Coxon advirtió que los laboratorios fronteriza compiten hacia una superinteligencia auto-mejorada y "están apostando con nuestras vidas."

La preocupación que plantea Coxon es la auto-mejora recursiva: el escenario en el que los sistemas de IA comienzan a mejorarse a sí mismos más rápido de lo que sus creadores pueden evaluarlos o contenerlos, una posibilidad que se debate en la investigación de IA desde hace décadas y que ahora ocupa el centro de los debates internos de seguridad de la industria.

Coxon es el último experto en IA que se va mientras advierte sobre el rumbo de la tecnología. El economista Albert O. Hirschman describió célebremente la elección que enfrentan las personas que creen que una institución está yéndose por mal camino como "salida" frente a "voz": irse, o quedarse e intentar cambiarla desde adentro, un marco que presentó en su libro de 1970 Exit, Voice, and Loyalty. Quedarse ofrece acceso e influencia; irse brinda la libertad de hablar públicamente. El momento complica ambos caminos. Cuanto más tiempo alguien participa en un sistema que luego describe como peligroso, más difícil se vuelve separar la disidencia de principios de la absolución retrospectiva.

Las personas que aún dirigen los laboratorios fronteriza enfrentan una versión diferente del problema. El CEO de Anthropic, Dario Amodei, publicó un ensayo este fin de semana argumentando que las empresas de IA deben frenar el avance de sus modelos más poderosos para que el trabajo de seguridad pueda alcanzarlos. Sin embargo, los límites que propone dependen de una coordinación de toda la industria y no de que Anthropic actúe sola, un reconocimiento de que las preocupaciones seguridad chocan con la competencia comercial y geopolítica. Amodei conoce el cálculo de salida frente a voz desde adentro: dejó OpenAI para cofundar Anthropic en 2021, un laboratorio construido explícitamente en torno al desarrollo de IA enfocado en la seguridad.

En una entrevista exclusiva con la editora en jefe de Fortune, Alyson Shontell, el CEO de OpenAI, Sam Altman, argumentó de manera similar por regular el ritmo del desarrollo de la IA y reconoció que es posible que la IA escape del control humano. También sugirió que las empresas líderes de IA están discutiendo acciones colectivas. Para quienes dirigen los laboratorios líderes, el dilema cambia de si quedarse a si frenar. ¿Qué significa advertir que la tecnología que estás construyendo podría volverse catastroficamente peligrosa mientras sigues compitiendo para hacerla más poderosa? En algún momento, una advertencia tiene que conducir a una decisión sobre lo que una empresa hará de manera diferente debido al riesgo.

Altman ahora debatiendo públicamente dónde está ese punto, quién debería establecer los límites y si las empresas que compiten por construir la IA más poderosa pueden acordar frenar juntas. Para los lectores, la pregunta a seguir es si esas discusiones se convierten en compromisos concretos que los laboratorios en competencia realmente cumplan. Shontell le plantea esos temas en su amplia conversación, disponible para ver aquí.

Ruth Umoh — ruth.umoh@fortune.com

Esta historia fue publicada originalmente en Fortune.com.