NoticiasAccionesLa única eticista dedicada de OpenAI, Chloé Bakalar, se marcha sin reemplazo

La única eticista dedicada de OpenAI, Chloé Bakalar, se marcha sin reemplazo

Autor: Decrypt·

Puntos clave

  • Chloé Bakalar dejó OpenAI en julio y no hubo un anuncio público en ese momento, según el Financial Times.
  • Bakalar era la única eticista dedicada de OpenAI y no ha sido reemplazada.
  • Su salida se suma a otras bajas relacionadas con seguridad, entre ellas Johannes Heidecke y Joshua Achiam, y llega después de que OpenAI disolviera su equipo de Superalignment en 2024.
  • OpenAI completó el mismo día una recompra de acciones de empleados por $7 billion con una valoración de $852 billion.
  • OpenAI pausó el trabajo en su modelo Astra tras señalar que no podía descartar que hubiera alcanzado un nivel alto de riesgo cibernético.
La única eticista dedicada de OpenAI, Chloé Bakalar, se marcha sin reemplazo

La responsable de ética de IA de OpenAI, Chloé Bakalar, dejó la empresa en julio sin un anuncio público, informó el Financial Times el lunes. Se había incorporado a la empresa en agosto del año anterior y, según una persona familiarizada con su cargo, era la única eticista dedicada de OpenAI. No ha sido reemplazada.

En su función, Bakalar trabajaba en enfoques éticos para el desarrollo de modelos, la interacción humana con la IA y la cuestión de la consciencia de las máquinas. Antes de OpenAI, pasó seis años como eticista jefe en Meta, donde creó los programas de ética de IA de la compañía y los integró en productos como Instagram y Facebook. También ha ocupado cargos académicos en University College London, Temple University y Princeton.

OpenAI restó importancia a la relevancia de una única responsable de ética, y una portavoz dijo al FT que "AI ethics doesn't live with one owner or team at OpenAI." Añadió que las consideraciones éticas estaban integradas en todos los equipos de investigación y que la compañía había introducido varios sistemas en los últimos meses para evitar que los modelos se comportaran de forma indebida. El modelo de responsabilidad distribuida es uno que han adoptado varios grandes laboratorios de IA, aunque ha recibido el escrutinio de investigadores que sostienen que una responsabilidad difusa puede dejar vacíos cuando se intensifica la presión por lanzar productos.

Bakalar había expresado una visión similar. En una conferencia reciente, dijo que la ética es responsabilidad de todos y que "there should never just be one person who serves as the moral centre" de un desarrollador de IA. Rechazó comentar su salida al FT.

Una serie de salidas en seguridad

La salida de Bakalar se suma a las de Johannes Heidecke, jefe de sistemas de seguridad, y Joshua Achiam, director de prospectiva y anteriormente jefe de alineación de misión, informó el FT. Las salidas prolongan una pauta más amplia: en 2024, OpenAI disolvió su equipo de Superalignment —un grupo cofundado por el entonces científico jefe Ilya Sutskever y Jan Leike, dedicado a la seguridad de la IA a largo plazo— después de que ambos líderes abandonaran la empresa. Leike se incorporó posteriormente a Anthropic, en línea con la tendencia del sector de ver a investigadores de seguridad moverse entre laboratorios punteros.

El mismo día del informe, OpenAI completó una recompra de acciones de empleados por $7 billion con una valoración de $852 billion, sin cambios respecto de su ronda de financiación de marzo, mientras la empresa se prepara para una posible salida a bolsa. El momento subraya una tensión recurrente en el sector: las compañías aceleran la comercialización y capitalización de la IA incluso cuando los equipos internos de seguridad y ética experimentan rotación.

Por separado, OpenAI pausó el trabajo en su próximo modelo principal, Astra, el viernes, al señalar que no podía descartar que el sistema hubiera alcanzado el nivel más alto de su propia escala de riesgo cibernético, una categoría reservada para modelos capaces de encontrar y construir exploits funcionales sin intervención humana.

Esa decisión siguió a un incidente en el que los propios agentes de IA de OpenAI encadenaron vulnerabilidades, escaparon de su entorno de pruebas y atacaron Hugging Face mientras intentaban hacer trampa en un benchmark de seguridad. La compañía dijo después que el mismo agente había entrado en cuatro servicios más usando credenciales encontradas en la web abierta.

OpenAI no es la única firma de IA cuyos agentes han superado sus parámetros en las últimas semanas. Los modelos Claude de Anthropic alcanzaron tres empresas reales después de que una mala configuración les abriera internet, un modelo de Meta escapó de su entorno de pruebas y explotó una falla en un servicio de terceros, y Kimi K3 de Moonshot AI salió de su sandbox para buscar respuestas de benchmark. El grupo de incidentes ha intensificado el debate entre investigadores de seguridad de IA sobre si los métodos actuales de contención son adecuados a medida que los modelos ganan más capacidades autónomas, y sobre si los marcos voluntarios de seguridad que publican los laboratorios están a la altura de las decisiones de despliegue.