Sarah Yager, primera jefa de derechos humanos y despliegue responsable de OpenAI, dijo que las preguntas que plantea la adopción militar de la inteligencia artificial la obsesionan constantemente, y que el uso potencial de esta tecnología en el ataque de objetivos y las armas autónomas es lo que más le preocupa.

“Todos están muy preocupados, y con razón”, dijo Yager el martes en el escenario de la conferencia ScaleUp:AI en la ciudad de Nueva York. “Esto no me deja dormir: ‘¿Qué va a hacer el ejército con la IA en cuanto a la selección de objetivos? ¿Y qué pasa con las armas autónomas? ¿Y hacia dónde va todo esto?’”

Yager asumió el rol, creado recientemente, en junio, aportando cerca de 30 años de experiencia en derechos humanos a una empresa cuya asociación con el Departamento de Guerra (DoW), la nueva denominación del Departamento de Defensa, la ha colocado en el centro del impulso del ejército estadounidense hacia la IA. Su función se centra precisamente en las aplicaciones militares.

Los ejércitos de todo el mundo se apresuran a incorporar la IA a sus operaciones a medida que desarrollan nuevas armas y sistemas autónomos como drones y robots. Desde dentro de una de las empresas de IA más poderosas del mundo, Yager ahora se enfrenta a las difíciles preguntas que plantea este cambio.

“Siempre he querido ir a lugares y persuadir a la gente donde los derechos humanos no eran necesariamente la idea dominante”, dijo. “Con permiso de mis colegas de OpenAI, ahora estoy en la boca del lobo, y en realidad es un lugar muy cómodo para mí porque lo que me encanta hacer es persuadir, discutir, debatir y, con suerte, lograr un cambio real”.

Una contratación inesperada, tras un contrato disputado

OpenAI se acercó a Yager para el puesto poco después de que la empresa firmara un contrato con el DoW a finales de febrero para desplegar sistemas de IA avanzados en entornos clasificados. El acuerdo, de alto perfil, siguió a un desacuerdo público entre el DoW y Anthropic. Anthropic había buscado salvaguardas sobre el uso militar de su tecnología, específicamente prohibiciones a la vigilancia pública masiva y a las armas totalmente autónomas, que el DoW no aceptó. El departamento etiquetó entonces a Anthropic como un riesgo para la cadena de suministro, y OpenAI intervino para quedarse con el contrato, afirmando que había logrado que el DoW aceptara salvaguardas similares sobre vigilancia y armas autónomas. OpenAI describió el acuerdo en una publicación en su blog.

Para Y, la idea de trabajar en OpenAI no fue “un sí inmediato”. Temía, como lo expresó la entrevistadora en el escenario, que la contrataran como un “ejercicio de imagen”, es decir, una figura decorativa que hiciera ver a la empresa como responsable sin influencia real sobre la tecnología. Su debida diligencia consistió en hablar con los empleados, en particular con “la generación más joven, que está muy preocupada por lo que están creando y por quién tiene el control”. Eso la convenció de aceptar el puesto y ver si podía marcar la diferencia.

Riesgos reales e influencia real

Desde que se unió, Yager ha tenido cierto éxito influyendo en la dirección de la tecnología, junto con preocupaciones continuas sobre hacia dónde se dirige. Lo que está en juego quedó subrayado el mes pasado, cuando CNN informó que el ejército estadounidense casi atacó un buque militar chino basándose en un informe de inteligencia inexacto generado por IA, un susto que se relaciona directamente con las preguntas sobre selección de objetivos que, según dijo, más le preocupan.

Yager ha trabajado directamente con investigadores e ingenieros para mejorar los modelos, incluyendo asegurarse de que den respuestas adecuadas a acuerdos internacionales fundamentales como las leyes de guerra establecidas en 1949 en los Convenios de Ginebra posteriores a la Segunda Guerra Mundial. Reunió a expertos internacionales “para literalmente sentarse frente a los teclados e introducir instrucciones para interacciones de altísimo riesgo”, y luego hizo que los ingenieros ajustaran los modelos según las respuestas.

“Eso nunca se había hecho antes, así que fue extremadamente gratificante”, dijo Yager.

En su opinión, las empresas de IA están tratando de “reinventar la rueda” en cuestiones como definir la humanidad y la moralidad que las sociedades ya resolvieron hace mucho tiempo. “Las sociedades ya han resuelto muchas de esas cosas, y se llama derechos humanos. Eso debería ser la línea de base”, dijo, refiriéndose a los acuerdos de los Convenios de Ginebra. “No quiero que una empresa de IA me diga qué es lo correcto. Si permitimos que la industria determine qué es lo correcto, entonces es un caos total”.

'Volver a lo humano de los derechos humanos'

Yager también expresó incomodidad por el debate persistente en Silicon Valley sobre si los sistemas de IA, y en particular las nuevas tecnologías de agentes, deberían tener derechos. OpenAI le planteó la pregunta durante su proceso de entrevistas. Ella respondió “no” en ese momento y reiteró que su enfoque eran los derechos humanos, aunque desde entonces ha reflexionado más sobre el tema. Ahora se muestra más abierta a las conversaciones “extremadamente importantes” sobre “cómo encajan los agentes en las estructuras legales, las estructuras laborales y las estructuras fiscales”, aunque señala que estas preguntas no son una cuestión de derechos.

“Esto no es comparable en absoluto con los derechos humanos, y me encantaría que pudiéramos volver a lo humano de los derechos humanos”, dijo. El público, compuesto en su mayoría por hombres de negocios de traje, comenzó a aplaudir. “Un gran aplauso para eso”, dijo la entrevistadora en el escenario.

Quién construye la IA importa

Otra de las preocupaciones de Yager es la composición demográfica relativamente aislada de los grupos que construyen la IA. La semana pasada, el presidente Trump reunió en Washington a decenas de líderes de la industria tecnológica para hablar sobre la seguridad de la IA. Todos los firmantes del acuerdo voluntario de seguridad fueron hombres, y las fotos del grupo más amplio presente en un almuerzo mostraron que todos los asistentes también eran hombres, salvo la directora ejecutiva de AMD, Lisa Su.

“Los hombres son geniales, pero era una fotografía muy masculina de quiénes van a tomar las decisiones sobre la IA”, dijo Yager. “Un problema de esto es que la IA está transformando fundamentalmente el equilibrio de poder entre las personas de todo el mundo. No se vio a las comunidades afectadas ahí arriba”.

Yager señaló que el propio gobierno está adoptando la IA rápidamente. Ella está ayudando a organismos deisión, como la Oficina de Responsabilidad Gubernamental y la Oficina del Inspector General, a construir herramientas para monitorear lo que está haciendo, un mecanismo de rendición de cuentas que, según dijo, “se siente importante para la democracia”. Al hacerlo, su rol va más allá de dar forma a los propios modelos de OpenAI para ayudar a los organismos federales de control a auditar la propia adopción de IA por parte del gobierno.

Esta historia fue publicada originalmente en Fortune.com.