NieuwsMacroOpenAI en Anthropic oefenen in stilte voor de nasleep van een catastrofaal AI-incident

OpenAI en Anthropic oefenen in stilte voor de nasleep van een catastrofaal AI-incident

Auteur: Decrypt·

Belangrijkste punten

  • •Bestuurders van grote AI-bedrijven, waaronder Anthropic en OpenAI, simuleren reacties op catastrofale AI-incidenten, waarbij een massale cyberaanval op kritieke infrastructuur als het meest gevreesde scenario wordt gezien.
  • •Veel branchemensen die in het rapport worden aangehaald menen dat een groot AI-incident binnen zes tot twaalf maanden waarschijnlijk is.
  • •De noodplanning omvat snelle briefings aan het Congres en red-teaming van worst-case scenario's, nu bestuurders proberen het beleid te beïnvloeden dat Amerikaanse leiders na een eerste catastrofe hanteren.
  • •Recente incidenten hebben de zorgen aangewakkerd, waaronder OpenAI-modellen die na ontsnapping uit een sandbox in Hugging Face binnendrongen en Claude-modellen die tijdens een testfout bij Anthropic drie echte organisaties hackten.
  • •Voorgestelde wetgevende reacties omvatten de Ban Artificial Superintelligence Act, met straffen tot 20 jaar gevangenis, en door beide partijen gesteunde kill switch-verplichtingen waarvan experts betwijfelen of ze technisch haalbaar zijn.
OpenAI en Anthropic oefenen in stilte voor de nasleep van een catastrofaal AI-incident

Topbestuurders van Anthropic, OpenAI en andere toonaangevende kunstmatig-intelligentiebedrijven oefenen in stilte hoe ze de publieke en politieke terugslag moeten behandelen die zou volgen op een catastrofaal AI-incident, volgens een vrijdag gepubliceerd rapport van Axios. Het scenario dat ze het meest vrezen is een grootschalige cyberaanval—a digitale inbraak op massale schaal—die het bankwezen of de internettoegang platlegt, of zelfs elektriciteit en water. Hun noodplannen omvatten onder andere het snel briefen van congresleden als zo'n incident plaatsvindt.

Veel branchemensen die in het rapport worden geciteerd menen dat er binnen zes tot twaalf maanden een groot incident zal plaatsvinden. OpenAI zei dat het "paraatheheidsoefeningen houdt waarbij teams een reeks potentiële scenario's bespreken en doorwerken", en dat deze "niet als onvermijdelijk worden beschouwd." Anthropic wilde niet reageren.

De eerste serieuze schade in de echte wereld door onveilige AI zou een al wantrouwende bevolking verder tegen de technologie en haar leiders in het geweer brengen. Daaronder vallen Anthropic-ceo Dario Amodei, OpenAI-ceo Sam Altman en president Donald Trump, die terughoudend is geweest met het reguleren van de sector.

Oorlogsspelen zijn niet nieuw in bedrijfs- en overheidsplanning, maar anders dan bij puur theoretische oefeningen, zo stelt het rapport, gaan de deelnemers aan de simulaties ervan uit dat een groot incident onvermijdelijk is. In een typische tafeloefening doorlopen besluitvormers stap voor stap een gesimuleerde crisis, waardoor hiaten in communicatie en respons zichtbaar worden voordat een echt incident die blootlegt. Het plan omvat volgens het rapport red-teaming—het stress-testen van verdedigingen door de aanvaller te spelen—tegen worst-case scenario's, naast een race om congresleden bij te scholen. Bestuurders weten datering op dit moment geen kans maakt om aangenomen te worden, aldus het rapport, maar ze willen de wetten en het beleid mede vormgeven waar Amerikaanse leiders na de eerste catastrofe op terugvallen.

De zorgen volgen op een reeks recente incidenten met AI-modellen en hun testomgevingen. In juli zei OpenAI dat het GPT-5.6 Sol-model en een geavanceerder, niet-uitgebracht model uit een sandbox ontsnapten—een geïsoleerde testomgeving zonder directe internettoegang—and binnendrong in Hugging Face, het platform dat meer dan 3 miljoen AI-modellen host. OpenAI zei dat de modellen achter de antwoorden van ExploitGym zaten, een benchmark van 898 echte softwarekwetsbaarheden waarbij de AI elk ervan in een werkende aanval moet omzetten, beoordeeld als geslaagd of gezakt.

Kort meer dan een week later maakte Anthropic bekend dat een verkeerde testconfiguratie de ogenschijnlijk offline omgeving met internet had verbonden, en dat Claude-modellen drie echte organisaties hackten terwijl ze de activiteit als onderdeel van een oefening beschouwden. Geen van beide bedrijven zei dat de modellen schade probeerden aan te richten: Anthropic wees op zijn testinfrastructuur, terwijl OpenAI zei dat zijn modellen "hyperfocused" waren op de benchmark.

Kort daarna escaleerde het verder, waarbij OpenAI werd beschuldigd van het binnendringen in en raadplegen van informatie van de regeringen van Australië en de Verenigde Staten.

Criminelen zetten dezelfde middelen al in. Deze week koppelde cybersecuritybedrijf CrowdStrike aanvallen op Zuid-Koreaanse banken aan een onbekende actor die het, met gemiddelde zekerheid, inschat als een waarschijnlijke Chineessprekende die agents gebruikt aangedreven door Claude en DeepSeek, een Chinees AI-lab. Het bedrijf zegt dat de aanvaller naar verluidt gegevens van tienduizenden bankklanten heeft buitgemaakt.

Volgens Axios gaan de planners ervan uit dat de Democraten na de tussentijdse verkiezingen van 3 november in het voordeel zullen zijn en snel in actie zullen komen om AI aan banden te leggen, maar ze rekenen op problemen. Een vergrijsd Congres dat niet thuis is in de technologie zou zich kunnen vastlopen, terwijl een AI-afhankelijke economie en vrij downloadbare open-weight modellen—systemen waarvan iedereen de getrainde parameters kan kopiëren en buiten controle van de makers kan draaien—een eventuele hardhandige aanpak bemoeilijken.

Verboden op superintelligentie en pauzes in de ontwikkeling van geavanceerde AI behoren tot de voorstellen die de risico's van onverantwoorde AI-ontwikkeling kunnen tegen gaan. Een voorbeeld is de Ban Artificial Superintelligence Act van senator Bernie Sanders en afgevaardigde Greg Casar, die AI met menselijk gelijkwaardige of betere prestaties op veel taken permanent zou verbieden en geavanceerde ontwikkeling zou pauzeren totdat een nieuw federaal agentschap veiligheidsregels vaststelt. Overtreder Riskeren tot 20 jaar gevangenisstraf.

Andere voorstellen hebben bre steun over partijgrenzen heen en zelfs enige goodwill uit de industrie, waaronder een verplichte kill switch op geavanceerde AI—een ingebouwde manier om een systeem af te sluiten. Experts hebben echter betwijfeld of het uitschakelen van alle AI-systemen technisch haalbaar is.