ActualitésMacroLa première responsable des droits humains d'OpenAI : l'usage militaire de l'IA « m'empêche de dormir »

La première responsable des droits humains d'OpenAI : l'usage militaire de l'IA « m'empêche de dormir »

Auteur: Fortune Crypto·

Points clés

  • •Sarah Yager, première responsable des droits humains et du déploiement responsable d'OpenAI, a identifié l'usage potentiel de la technologie pour le ciblage et les armes autonomes comme sa plus grande préoccupation concernant l'IA militaire.
  • •OpenAI a signé fin février un contrat avec le Department of War pour déployer des systèmes d'IA avancés dans des environnements classifiés, après l'échec des négociations entre Anthropic et le département sur l'interdiction de la surveillance publique de masse et des armes totalement autonomes.
  • •Yager a fait venir des experts internationaux pour tester les modèles d'OpenAI face à des normes telles que les Conventions de Genève de 1949, et les ingénieurs ont ajusté les modèles en fonction de ces réponses.
  • •CNN a rapporté que l'armée américaine avait failli cibler un navire militaire chinois sur la base d'un rapport de renseignement généré par IA et inexact, un incident qui a mis en évidence les risques décrits par Yager.
  • •Au-delà de son travail chez OpenAI, Yager aide des organes de contrôle tels que le Government Accountability Office et l'Office of Inspector General à construire des outils pour surveiller l'adoption de l'IA par le gouvernement.
La première responsable des droits humains d'OpenAI : l'usage militaire de l'IA « m'empêche de dormir »

Sarah Yager, première responsable des droits humains et du déploiement responsable d'OpenAI, a déclaré que les questions soulevées par l'adoption militaire de l'intelligence artificielle la préoccupent en permanence — et que l'usage potentiel de la technologie pour le ciblage et les armes autonomes est ce qui l'inquiète le plus.

« Tout le monde est très inquiet, et à juste titre », a déclaré Yager sur scène mardi lors de la conférence ScaleUp:AI à New York. « Ce qui m'empêche de dormir : “Que va faire l'armée avec l'IA en matière de ciblage ? Et les armes autonomes ? Et où tout cela mène-t-il ?” »

Yager a pris ce poste nouvellement créé en juin, apportant environ 30 ans d'expérience en droits humains à une entreprise dont le partenariat avec le Department of War (DoW) — l'ancien Department of Defense rebaptisé — l'a placée au cœur de la poussée de l'armée américaine vers l'IA. Son mandat se concentre précisément sur les applications militaires.

Les armées du monde entier s'empressent d'intégrer l'IA dans leurs opérations alors qu'elles développent de nouvelles armes et des systèmes autonomes tels que des drones et des robots. Depuis l'intérieur de l'une des entreprises d'IA les plus puissantes au monde, Yager affronte désormais les questions difficiles que pose cette évolution.

« J'ai toujours voulu aller dans des endroits et convaincre des gens pour qui les droits humains n'étaient pas nécessairement l'idée dominante », a-t-elle déclaré. « Toutes mes excuses à mes collègues d'OpenAI, je suis maintenant dans le ventre de la bête, et c'est en fait un endroit très confortable pour moi, car ce que j'aime faire, c'est convaincre, discuter, débattre et, espérons-le, faire bouger les choses. »

Un recrutement improbable, après un contrat contesté

OpenAI a approché Yager pour ce poste peu après avoir signé fin février un contrat avec le DoW pour déployer des systèmes d'IA avancés dans des environnements classifiés. Ce contrat très médiatisé a suivi une brouille publique entre le DoW et Anthropic. Anthropic avait demandé des garde-fous sur l'usage militaire de sa technologie — notamment l'interdiction de la surveillance publique de masse et des armes totalement autonomes — que le DoW refusait d'accepter. Le département a alors qualifié Anthropic de risque pour la chaîne d'approvisionnement, et OpenAI est intervenue pour récupérer le contrat, affirmant avoir persuadé le DoW d'accepter des garde-fous similaires sur la surveillance et les armes autonomes. OpenAI a décrit cet accord dans un article de blog.
Pour Yager, l'idée de travailler chez OpenAI n'était pas « un oui immédiat ». Elle craignait, comme l'a formulé l'intervieweuse sur scène, d'être recrutée dans le cadre d'un « exercice d'image » — une figure de proue capable de donner à l'entreprise une apparence responsable sans influence réelle sur la technologie. Son examen préalable a consisté à parler avec les employés, en particulier « la jeune génération, très inquiète de ce qu'elle crée et de qui tient les commandes ». Cela l'a convaincue d'accepter le poste pour voir si elle pouvait faire une différence.

Des risques réels et une influence réelle

Depuis son arrivée, Yager a obtenu certains succès en influençant la direction de la technologie, tout en restant préoccupée par son évolution. Les enjeux ont été soulignés le mois dernier, lorsque CNN a rapporté que l'armée américaine avait failli cibler un navire militaire chinois sur la base d'un rapport de renseignement généré par IA et inexact — un incident qui touche directement aux questions de ciblage qui, selon elle, l'inquiètent le plus.

Yager a travaillé directement avec les chercheurs et les ingénieurs pour améliorer les modèles, notamment en veillant à ce qu'ils apportent des réponses appropriées aux accords internationaux fondamentaux tels que les lois de la guerre établies en 1949 par les Conventions de Genève d'après-guerre. Elle a fait venir des experts internationaux « pour littéralement s'asseoir devant les claviers et saisir des prompts pour des engagements vraiment à haut risque », puis a demandé aux ingénieurs d'ajuster les modèles en fonction des réponses.

« Cela n'avait jamais été fait auparavant, donc c'était extrêmement gratifiant », a déclaré Yager.

Selon elle, les entreprises d'IA tentent de « réinventer la roue » sur des questions telles que la définition de l'humanité et de la morale que les sociétés ont réglées depuis longtemps. « Les sociétés ont déjà résolu un grand nombre de ces questions, et cela s'appelle les droits humains. Cela devrait être la base », a-t-elle déclaré, en référence aux accords des Conventions de Genève. « Je ne veux pas qu'une entreprise d'IA me dise ce qui est bien. Si nous laissons l'industrie déterminer ce qui est bien, alors ce sera un chacun pour soi. »

« Revenir à l'humain des droits humains »

Yager a également exprimé son malaise face au débat récurrent dans la Silicon Valley sur la question de savoir si les systèmes d'IA — et en particulier les nouvelles technologies d'agents — devraient avoir des droits. OpenAI lui a posé la question lors de son processus d'entretien. Elle avait répondu « non » à l'époque, en réaffirmant que son objet était les droits humains, mais elle y a depuis réfléchi davantage. Elle se dit désormais plus ouverte aux conversations « extrêmement importantes » sur « la place des agents dans les structures juridiques, les structures du travail, les structures fiscales », tout en soulignant que ces questions ne relèvent pas des droits.

« Cela n'est en rien comparable aux droits humains, et j'aimerais vraiment qu'on puisse simplement revenir à l'humain des droits humains », a-t-elle déclaré. La foule — composée majoritairement d'hommes d'affaires en costume — a commencé à applaudir. « Grande salve d'applaudissements pour cela », a lancé l'intervieweuse sur scène.

Ceux qui construisent l'IA comptent

Autre sujet de préoccupation pour Yager : la composition démographique relativement fermée des groupes qui construisent l'IA. La semaine dernière, le président Trump a réuni des dizaines de leaders de l'industrie technologique à Washington pour discuter de la sécurité de l'IA. Tous les signataires de l'accord de sécurité volontaire étaient des hommes, et les photos du groupe élargi présent lors d'un déjeuner ont montré que tous les participants étaient également des hommes, à l'exception de la PDG d'AMD, Lisa Su.
« Les hommes sont formidables, mais c'était une photo très masculine de ceux qui vont prendre les décisions concernant l'IA », a déclaré Yager. « L'un des problèmes, c'est que l'IA modifie fondamentalement l'équilibre des pouvoirs entre les populations du monde entier. Vous n'avez pas vu les communautés concernées sur cette photo. »

Yager a souligné que le gouvernement lui-même adopte rapidement l'IA. Elle aide les organes de contrôle, tels que le Government Accountability Office et l'Office of Inspector General, à construire des outils pour surveiller ce qu'il fait — un mécanisme de redevabilité qui, selon elle, « semble important pour la démocratie ». Ce faisant, son rôle s'étend au-delà de la conception des modèles d'OpenAI pour aider les organes de contrôle fédéraux à auditer l'adoption de l'IA par le gouvernement lui-même.

Cette histoire a été initialement publiée sur Fortune.com.