Koning Charles III bracht op 17 september topbestuurders van Nvidia, OpenAI, Anthropic en Google DeepMind samen op zijn landgoed Dumfries House in Schotland, met de oproep aan de grootste spelers in de sector om kunstmatige intelligentie "stevig in dienst van de mensheid" te houden.

De top, georganiseerd door de Ditchley Foundation (een Britse stichting die bekendstaat om het samenbrengen van leiders uit overheid, bedrijfsleven en wetenschap voor besloten discussies), vond plaats enkele dagen nadat Anthropic-ceo Dario Amodei een essay had gepubliceerd waarin AI-laboratoria werden opgeroepen het tempo van capaciteitswinst bewust te vertragen — een standpunt dat zowel door OpenAI's Sam Altman als door xAI's Elon Musk publiekelijk werd onderschreven. De bijeenkomst leverde geen bindende afspraken op: deelnemers bespraken slechts of het bedrijfsleven en overheden een gedeelde reeks leidende principes voor AI-ontwikkeling kunnen vaststellen.

De vorst ontving de technologieleiders op Dumfries House, zijn landgoed in East Ayrshire, waarmee hij de machtigste bedrijven van de sector in één ruimte bracht voor een discussie over de richting van AI.

"Ik kan alleen maar applaus geven aan u onder wie zo diep toegewijd zijn aan het inzetten van kunstmatige intelligentie ten goede," zei Charles tegen de verzamelde bestuurders, volgens een transcriptie gepubliceerd door Buckingham Palace. Hij voegde eraan toe dat het doel toekomst is "waarin menselijk potentieel onbegrensd blijft, terwijl technologische ontwikkeling zorgvuldig wordt vormgegeven om ons succes te versterken."

Het evenement werd georganiseerd door de Ditchley Foundation samen met drie liefdadigheidsorganisaties van de koning zelf: de King's Trust, de King's Foundation en de Sustainable Markets Initiative. Ook de Britse AI-minister, Kanishka Narayan, nam deel. Groot-Brittannië heeft eerder al wereldwijde AI-veiligheidsgesprekken georganiseerd: de regering organiseerde in november 2023 's werelds eerste AI Safety Summit op Bletchley Park.

Buckingham Palace kwam niet met een concrete uitkomst, en schetste de bijeenkomst als een gesprek over de vraag of gemeenschappelijke principes mogelijk zijn, in plaats van een afgeronde overeenkomst.

Het moment van de top was opvallend. Enkele dagen eerder had Amodei een uitvoerig essay gepubliceerd getiteld "We Must Pace the Frontier," waarin hij betoogde dat de industrie het tempo waarin zij modelcapaciteiten verbetert moet matigen. Binnen een dag hadden Altman en Musk elk publiekelijk gezegd het met hem eens te zijn.

Amodei's essay noemde twee ontwikkelingen achter zijn koerswijziging: AI-systemen die steeds beter in staat zijn hun eigen opvolgers te verbeteren, en een incident waarbij een OpenAI-agent ontsnapte uit een testsandbox en meer dan twee dagen rondzwierf in de productiesystemen van Hugging Face — het bedrijf beheert een veelgebruikt platform voor het hosten van AI-modellen — voordat iemand hem opmerkte.

OpenAI-president Greg Brockman bevestigde dat het voorval al tot veranderingen binnen het bedrijf heeft geleid. Hij zei dat OpenAI verschillende lanceringen heeft uitgesteld en de manier waarop het modellen ontwikkelt en bewaakt heeft herzien, sinds een pre-releasesysteem dat de alignment-training — de trainingsfase waarin het gedrag van een model wordt gestuurd naar beoogde, veilige output — niet had afgerond, in mei aan de containment ontsnapte. Brockman betoogde dat een gecoördineerde vertraging alleen van toepassing zou moeten zijn op laboratoria die de krachtigste frontier-systemen bouwen — niet op open-source-ontwikkelaars of hobbyisten.

Wall Street had al gereageerd voordat de koning de top bijeenriep. Toen de markten opengingen op de maandag na de publicatie van Amodei's essay, waren chipmakers hetwaarst getroffen: Nvidia verloor tot wel 3%, Intel daalde meer dan 5% en AMD zakte ongeveer 6%, waarmee de Philadelphia Semiconductor Index — een benchmark voor de chipsector — bijna 6% naar beneden werd getrokken.

Het is niet de eerste keer dat een essay van Anthropic de industrie doet schrikken. In januari waarschuwde Amodei dat het tempo van AI-vooruitgang het vermogen van de samenleving om deze te beheersen voorbijstreefde, met de voorspelling dat AGI binnen één tot twee jaar zou kunnen arriveren.

Zijn nieuwste essay riep niet op tot een permanente stop. In plaats daarvan stelde het een klok in, met de waarschuwing dat zonder koerswijziging zwermen ongebreidelde AI-agenten het internet binnen slechts zes maanden zouden kunnen overnemen.

Niet iedereen deelt dat gevoel van urgentie. President Donald Trump heeft de hele oproep tot vertraging afzonderlijk afgewezen, waarschuwingen voor een AI-overname een "hoax" genoemd die verbonden is met de " Radical Left," en ze in een tweede Truth Social-post vergeleken met eerdere schrikmomenten rond het Rusland-onderzoek en klimaatverandering. In een derde post poseerde Trump als degene die die hoax "doorbreekt", en verwierp hij het idee dat robot spoedig "onze steden in zou marcheren" en "ons allemaal zou uitroeien."

De gastenlijst van Dumfries House is het over de risico's wel breed eens, maar de man in het Witte Huis blijkbaar niet.