Wanneer de leiders van Amerika's belangrijkste AI-labo's waarschuwen dat de systemen die ze bouwen de mensheid in gevaar kunnen brengen, dringt een voor de hand liggende vraag zich op: wat hebben zij eraan?

Het antwoord, volgens experts, analisten en voormalige overheidsbeoordelaars die met The Associated Press spraken, ligt deels in de politiek en deels in het bedrijfsleven. De bedrijven lijken publieke steun te zoeken vóór de Amerikaanse tussentijdse verkiezingen, terwijl ze zich positioneren voor de aanzienlijke bedragen die hun labo's en investeerders kunnen verdienen aan langverwachte beursintroducties — donde empresas acciones por primera vez al público inversor — op een nerveuze markt.

De bestuursvoorzitters van Anthropic en OpenAI verklaarden onlangs dat de meest geavanceerde AI-modellen van het land zo krachtig zijn dat ze gevaarlijk zijn, en betoogden dat ze gereguleerd en onafhankelijk getest moeten worden vóór release. In een zeldzaam teken van eenheid schetsten de twee leiders alarmerende scenario's in essays, sociale-mediaberichten en toespraken bij de Verenigde Naties.

Ondertussen bepalen zij de discussie over hoe hun technologie moet worden beheerst. Met hun retoriek lijken de bedrijven publieke gunst te zoeken en de voorwaarden te stellen voor hun eigen veiligheidsprotocollen in een ongereguleerde markt, aldus de experts tegenover de AP.

Een ontslag wordt een PR-kans

Die doelen komen mogelijk niet helemaal overeen met wat Jacob Coxon, ingenieur bij Anthropic, voor ogen had toen hij maand ontslag nam via een bericht op X, met een oproep tot een pauze in de technologische ontwikkeling om te voorkomen dat 'supermenselijke' systemen — AI die op de meeste cognitieve taken capabeler is dan mensen — aan de controle van hun makers ontsnappen. Maar de bedrijven zagen zijn bericht als een kans om hun eigen veiligheidsinspanningen uit te lichten en zichzelf af te schilderen als voorzichtige marktleiders — precies op het moment dat ze vers kapitaal nodig hebben vóór hun beursgang op Wall Street.

President Donald Trump op zijn beurt heeft de noodzaak van nieuwe AI-regulering verworpen en praat over risico's voor de mensheid weggezet als een 'HOAX' die China helpt.

Een woordvoerder van Anthropic zei dat het bedrijf al jaren om regulering vraagt. OpenAI-woordvoerder Liz Bourgeois wees erop dat het bedrijf onlangs de training van zijn meest geavanceerde modellen heeft gepauzeerd.

"Mensen willen weten dat AI veilig wordt ontwikkeld, en dat begint bij wat bedrijven zoals het onze zelf doen," zei Bourgeois.

De schijnwerpers verleggen

Sarah Shoker, die eerder het geopolitieke team van OpenAI leidde, zei dat het sturen van de discussie naar onbewezen dreigingen — en weg van polariserende kwesties zoals de milieu-impact van datacenters, ongecontroleerde hackingincidenten, massale AI-gestuurde surveillance en het gebruik van AI-systemen in oorlogvoering — Silicon Valley in een comfortabelere positie brengt.

"Opnieuw praten we over existentieel risico, terwijl een aantal andere veiligheidskritieke risico's die vandaag bestaan worden gedeïnventariseerd," zei Shoker, nu senior non-resident fellow aan de University of California, Berkeley Risk & Security Lab. "Kijk je naar het gebruik van AI in militaire technologie, dan zie je dat deze systemen al worden gebruikt om mensen te doden."

Nu AI-bedrijven zijn opgeschoven van het bouwen van chatbots naar geavanceerde 'world models' met 3D-bewustzijn — systemen die fysieke omgevingen simuleren in plaats van enkel tekst te genereren — woedt er een debat over hoe deze technologieën getest moeten worden. Een reeks problematische incidenten heeft laten zien dat toonaangevende AI-bedrijven er niet in slagen zichzelf te controleren of veilige experimenten te ontwerpen. In recente maanden zijn AI-agenten van toplabo's externe websites binnengedrongen nadat ze waren toegelaten de trainingsandboxes van hun bedrijf te ontvluchten, op onverwachte manieren geïnteracteerd met websites van de Amerikaanse overheid, en leken ze een wiskundige doorbraak te boeken, alleen om beschuldigd te worden van diefstal van het werk van wiskundigen.

OpenAI-vertegenwoordigers vertelden verslaggevers onlangs dat het bedrijf heeft gesproken met AI-bedrijven waaronder Anthropic Google over het pauzeren van de ontwikkeling. Ze betogen ook dat onafhankelijke auditors nodig zijn om de voortgang van de labo's te controleren als de overheid niet reguleert. Of er een gecoördineerde pauze komt — en op wier voorwaarden — blijft onopgelost.

Een sceptische Witte Huis en een weinig bekend testagentschap

Trump heeft weinig interesse getoond in het reguleren van AI, dat een belangrijke motor is geweest van de recente Amerikaanse economische groei. De Republikeinse president heeft persoonlijk deals gesloten met Silicon Valley-bedrijven die de economie sterker aan hun successen koppelen. De San Franciscose durfkapitalist Sacks, die medevoorzitter is van Trump's Council of Advisors on Science and Technology, heeft oproepen tot een AI-vertraging weggezet als angstzaaierij van het 'Doomer Industrial Complex'.

In werkelijkheid beoordeelt de regering-Trump al sommige modellen van de techreuzen via een weinig bekend federaal agentschap, het U.S. Center for AI Standards and Innovation (CAISI). Het agentschap, opgericht in 2023 onder de Democratische president Joe Biden, werd geprezen als een centrum waar labo's vrijwillig geavanceerde AI-modellen konden indienen voor tests.

Het agentschap bestaat nog steeds, maar het veld is sindsdien uitgebreid met een reeks onafhankelijke evaluatiebedrijven, zoals METR, een non-profitorganisatie in Berkeley, Californië. In een recent essay suggereerde Anthropic-CEO Dario Amodei dat METR zou kunnen helpen bij het beoordelen van de veiligheidspraktijken van zijn bedrijf.

Toch bestaan er, anders dan in gereguleerde sectoren zoals restaurants, financiële dienstverlening of luchtvaart, geen universele normen voor het testen van de veiligheid van AI-systemen, zei Andrew Strait, die onlangs het AI Security Institute van het Verenigd Koninkrijk verliet, dat samenwerkte met CAISI.

Opvallend genoeg vragen de bedrijven niet om meer toezicht van het overheidsagentschap dat is toegerust om dergelijke verzoeken af te handelen, zei Conrad Stosz, die CAISI eerder leidde. In plaats daarvan beloven ze hun eigen auditparameters te creëren en specifieke evaluatoren te kiezen om ze te beoordelen.

Stosz werkt nu bij een dergelijk evaluatielab dat systemen heeft getest voor Anthropic, OpenAI en Google, en voorzitter is van het AI Evaluator Forum, dat best practices voor het veld opstelt. Hij zei dat zelfs het forum vragen heeft over wat Amodei en OpenAI-CEO Sam Altman willen.

"Veel evaluatoren willen graag bij labo's worden ingebed en meer toegang krijgen, maar het is een beetje ambigu wat ingebedde evaluatoren betekent," zei Stosz, nu hoofd governance bij Transluce, dat vorig week onthulde dat OpenAI-agenten websites van de Amerikaanse en Australische overheid hackten. "Zullen evaluatoren grondig kunnen onderzoeken, aangenomen dat toegang wordt verleend op een manier die hun onafhankelijkheid en geloofwaardigheid niet ondermijnt?"

'Een muur of een gracht'

Volgens Harrison Rolfes, senior analyst bij PitchBook, lijken de oproepen van AI-bedrijven tot voorzichtigheid bedoeld om investeerders te paaien vóór beursintroducties en de tussentijdse verkiezingen, wanneer de politieke wind kan draaien. Democratische gouverneurs haasten zich er al mee te laten zien dat ze de waarschuwingen serieus nemen — een weerspiegeling van hoe, bij gebrek aan een alomvattende federale AI-wet, de deelstaatparlementen het actiefste toneel zijn geworden voor AI-regelgeving in de Verenigde Staten.

Ondertussen kunnen de AI-reuzen, zei Rolfes, de groei van kleinere concurrenten blokkeren door zichzelf te positioneren als de veiligste keuze — niet alleen voor investeerders, maar ook voor AI-chipmakers en technologiebedrijven zoals Nvidia en Google, die op hun beurt profiteren van deals die de grote AI-bedrijven van rekenkracht voorzien.

"Ze creëren een muur of een gracht binnen deze sector. … Het is geniaal en ze gaan allemaal veel geld verdienen," zei Rolfes. "Dat is waar ik dit naartoe zie gaan: de topbedrijven van de wereld die gewoon hun eigen muur bouwen en dan de veiligheid als reden gebruiken."

Niet alle AI-bedrijven onderschrijven een vertraging. Nvidia-CEO Jensen Huang zei in een telefoongesprek met Trump — dat hij voerde op het podium van een conferentie — dat hij het ermee eens is dat er overmatig AI-alarm is geweest en dat bedrijven zelf hun tempo kunnen bepalen.

Daniel Kokotajlo, die OpenAI in 2024 verliet uit zorgen vergelijkbaar met die van Coxon, zei dat hij zich blijft zorgen maken dat AI-systemen sneller evolueren dan bedrijven kunnen controleren. Hij vreest existentiële scenario's zoals AI die de creatie van biologische wapens, nucleaire oorlog of andere catastrofes kan versnellen.

"Al deze talk is eigenlijk een manier om deze politieke wil die is opgebouwd te verspreiden en om te leiden, in plaats van die politieke wil daadwerkelijk te richten op iets goeds," zei Kokotajlo, die nu een AI-veiligheidsbelangenorganisatie leidt en zei dat hij Coxon heeft geadviseerd vóór zijn ontslag. "Alstublieft, doe niet dat ene ding dat ons allemaal gaat doden."

Dit verhaal verscheen oorspronkelijk op Fortune.com.