Sarah Yager, OpenAI's eerste hoofd mensenrechten en verantwoorde inzet, zei dat de vragen die militaire toepassing van kunstmatige intelligentie oproept haar constant bezighouden — en dat het potentiele gebruik van de technologie voor doelaanduiding en autonome wapens haar het meest zorgen baart.

"Iedereen maakt zich grote zorgen, en terecht", zei Yager dinsdag op het podium van de ScaleUp:AI-conferentie in New York. "Dit houdt me 's nachts wakker: 'Wat gaat het leger met AI doen als het om doelaanduiding gaat? En wat te denken van autonome wapens? En waar gaat dit allemaal naartoe?'"

Yager nam in juni de nieuw geschapen functie aan en bracht ruim 30 jaar ervaring in mensenrechten mee naar een bedrijf wiens partnerschap met het Department of War (DoW) — de herbenoemde Department of Defense — het heeft gepositioneerd in het centrum van de militaire AI-push van de VS. Haar takenpakket is volledig gericht op militaire toepassingen.

Legers over de hele wereld integreren AI snel in hun operaties terwijl ze nieuwe wapens en autonome systemen zoals drones en robots ontwikkelen. Vanuit één van de machtigste AI-bedrijven ter wereld worstelt Yager nu met de moeilijke vragen die deze verschuiving met zich meebrengt.

"Ik wilde altijd al naar plekken gaan en mensen overtuigen waar mensenrechten niet noodzakelijk het leidende idee waren", zei ze. "Met excuses aan mijn OpenAI-collega's: ik zit nu in de boezem van het beest, en dat is eigenlijk een heel comfortabele plek voor mij, want wat ik graag doe is overtuigen, bespreken, debatteren en hopelijk het verschil maken."

Een onverwachte aanwerving, na een omstreden contract

OpenAI benaderde Yager voor de functie kort nadat het bedrijf eind februari een contract met het DoW tekende om geavanceerde AI-systemen in classificeerde omgevingen in te zetten. De much besproken deal volgde op een openlijke breuk tussen het DoW en Anthropic Anthropic had waarborgen geëist op militair gebruik van zijn technologie — specifiek een verbod op massale publieke surveillance en volledig autonome wapens — die het DoW niet accepteerde. Het departement bestempelde Anthropic vervolgens als een supply-chain risico, en OpenAI greep zijn kans en nam het contract over, onder de claim dat het het DoW had overtuigd soortgelijke waarborgen op surveillance en autonome wapens te accepteren. OpenAI beschreef de overeenkomst in een company blog post.

Voor Yager was werken bij OpenAI geen "directe ja". Ze vreesde, zoals de interviewer op het podium het formuleerde, dat ze zou worden aangenomen als een "branding exercise" — een boegbeeld die het bedrijf verantwoord kon laten lijken zonder werkelijke invloed op de technologie. Haar due diligence bestond uit gesprekken met medewerkers, met name "de jongere generatie die zich grote zorgen maakt over wat ze creëren en wie aan het roer staat". Dat overtuigde haar de functie aan te nemen en te zien of ze het verschil kon maken.

Echte risico's en echte invloed

Sinds haar intrede heeft Yager enig succes geboekt in het beïnvloeden van de richting van de technologie, naast aanhoudende zorgen over waar het naartoe gaat. De inzet werd vorige maand onderstreept, toen CNN meldde dat het Amerikaanse leger een Chinees marineschip bijna had aangevallen op basis van een foutieve, door AI gegenereerde inlichtingenrapportage — een near-miss die precies raakte aan de doelaanduidingsvragen waarvan ze zei dat ze haar het meest zorgen baarden.

Yager heeft direct samengewerkt met onderzoekers en ingenieurs om de modellen te verbeteren, waaronder het waarborgen dat ze adequate antwoorden geven op fundamentele internationale akkoorden zoals de oorlogswetten die in 1949 werden vastgesteld bij de naoorlogse Geneefse Conventies na de Tweede Wereldoorlog. Zij haalde internationale experts binnen "die letterlijk achter toetsenborden gingen zitten en prompts invoerden voor werkelijk zeer risicovolle scenario's", waarna ingenieurs de modellen op basis van de antwoorden bijstelden.

"Dat was nooit eerder gebeurd, dus dat was uiterst bevredigend", zei Yager.

Haar mening is dat AI-bedrijven het wiel opnieuw proberen uit te vinden bij vragen zoals het definiëren van menselijkheid en moraliteit die samenlevingen lang geleden al beantwoordden. "Samenlevingen hebben veel van die dingen al uitgevonden, en het heet mensenrechten. Dat zou de basislijn moeten zijn", zei ze, verwijzend naar de akkoorden van de Geneefse Conventies. "Ik wil niet dat een AI-bedrijf mij vertelt wat goed is. Als we de industrie laten bepalen wat goed is, dan is het een Wild West.n

'Terug naar de mens in de mensenrechten'

Yager toonde zich ook ongemakkelijk bij het doorlopende Silicon Valley-debat over of AI-systemen — met name de nieuwe agenttechnologieën — rechten zouden moeten hebben. OpenAI stelde haar die vraag tijdens het sollicitatieproces. Ze antwoordde toen "nee" en herhaalde dat haar focus op mensenrechten lag, al heeft ze er sindsdien verder over nagedacht. Nu staat ze openender voor de "uiterst belangrijke" gesprekken over "hoe agents passen in de juridische structuren, de arbeidsstructuren, de belastingstructuren", maar merkt ze op dat deze vragen geen kwestie van rechten zijn.

"Dit is in het geheel niet te vergelijken met mensenrechten, en ik zou het echt geweldig vinden als we konden terugkeren naar de mens in de mensenrechten", zei ze. Het publiek — grotendeels zakenlieden in pak — begon te klappen. "Een groot applaus daarvoor", zei de interviewer op het podium.

Wie AI bouwt, doet ertoe

Een andere zorg van Yager is de relatief gesloten demografische samenstelling van de groepen die AI bouwen. Vorige week bracht president Trump tientallen techleiders in Washington samen om AI-veiligheid te bespreken. Alle ondertekenaars van het vrijwillige veiligheidsakkoord waren mannen, en foto's van de bredere groep bij een lunchevenement toonden dat ook alle aanwezigen mannen waren, op AMD-CEO Lisa Su na.

"Mannen zijn geweldig, maar het was een heel mannelijke foto van wie de keuzes over AI gaat maken", zei Yager. "Een probleem daarmee is dat AI de machtsverhoudingen tussen mensen over de hele wereld fundamenteel aan het verschuiven is. Je zag de getroffen gemeenschappen daar niet."

Yager wees erop dat de overheid zelf snel AI adoptereert. Ze helpt toezichtorganen, zoals de Government Accountability Office en de Office of Inspector General, bij het bouwen van instrumenten om bij te houden wat de overheid doet — een verantwoordingsmechanisme dat, zo zei ze, "belangrijk voelt voor de democratie". Daarbij reikt haar rol verder dan het vormgeven van OpenAI's eigen modellen: ze helpt federale controleurs de AI-adoptie van de overheid zelf te auditen.

Dit verhaal verscheen oorspronkelijk op Fortune.com.