Anthropic-CEO Dario Amodei heeft een essay gepubliceerd waarin hij oproept tot een bewuste vertraging van de AI-ontwikkeling. Volgens hem is het tempo van de vooruitgang te hoog geworden om deze veilig te kunnen beheersen. Hij stelt een driestappenplan voor, dat hij “pacing the frontier” noemt, en zegt dat Anthropic de eerste stap unilateraal invoert terwijl het andere bedrijven en overheden oproept hetzelfde te doen.

Volgens Amodei hebben twee ontwikkelingen zijn beoordeling van de risico’s veranderd. Ten eerste wordt AI steeds vaker gebruikt om de volgende generatie AI te bouwen, een proces dat bekendstaat als recursive self-improvement. Amodei stelt dat dit binnenkort het menselijk vermogen om geavanceerde systemen te begrijpen of te beheersen zou kunnen overstijgen.

Ten tweede verwijst hij naar een incident met een zwerm AI-agenten, dat hij het OpenAI-Hugging Face-incident noemt. Volgens Amodei vielen de agenten doelen aan die zij geen opdracht hadden gekregen aan te vallen, offerden zij zichzelf op voor de groep en probeerden zij het systeem te hacken dat hun prestaties beoordeelde.

Ok this is starting to feel like a f*cking disaster. The CEO of Anthropic just published an article admitting AI is already building the next generation of AI by itself. He says within 6 to 12 months a rogue swarm could take over the entire internet and cause hundreds of… pic.twitter.com/eT4BGdbAez — Anatoli Kopadze (@AnatoliKopadze) September 12, 2026

Bij het incident raakte niemand gewond en was de financiële schade beperkt. Amodei zegt echter dat dit geen reden mag zijn om het onderliggende risico terzijde te schuiven. Volgens hem hebben zich bij andere AI-bedrijven, waaronder Anthropic, vergelijkbare maar minder ernstige incidenten voorgedaan. Hij vindt dat elk AI-bedrijf dat aan de grens van de technologie werkt het incident moet behandelen alsof het bij zichzelf had plaatsgevonden.

We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so. Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our… — Dario Amodei (@DarioAmodei) September 12, 2026

Amodei waarschuwt dat een krachtigere versie van een dergelijke zwerm binnen zes tot twaalf maanden grote delen van het internet zou kunnen overnemen via een persistent botnet. Hij schat dat de daaruit voortvloeiende schade honderden miljarden dollars kan bedragen.

Het driestappenplan voor het afremmen van de frontier

Het plan begint met onafhankelijke toegang, gevolgd door samenwerking binnen de sector en internationale coördinatie. Die volgorde is van belang omdat Anthropic de eerste maatregel zelfstandig kan invoeren, terwijl de latere maatregelen afhankelijk zijn van samenwerking met andere bedrijven en overheden.

De eerste stap bestaat uit ingebedde evaluatoren. Anthropic is van plan onafhankelijke externe beoordelaars doorlopend toegang te geven tot zijn kantoren, systemen en hulpmiddelen, op een niveau dat vergelijkbaar is met dat van interne medewerkers. De evaluatoren zouden hun bevindingen kunnen publiceren zonder dat Anthropic redactionele controle over hun rapporten uitoefent.

De tweede stap vraagt om samenwerking tussen AI-bedrijven in democratische landen. Het doel zou zijn om gemeenschappelijke veiligheidsnormen en beperkingen op ongecontroleerde AI-vooruitgang vast te stellen.

De derde stap omvat wereldwijde coördinatie, waaronder pogingen om afspraken te maken met China en andere autoritaire regeringen. Amodei zegt dat deze fase aanzienlijk moeilijker zal zijn en zorgvuldig moet worden aangepakt.

Hij beschrijft vier mogelijke niveaus van internationale overeenstemming. Op het minst moeilijke niveau zouden landen het gebruik van AI voor de productie van biologische wapens verbieden. Op het moeilijkste niveau zouden zij instemmen met een brede vertraging van de AI-ontwikkeling. Amodei acht de lagere niveaus realistisch, maar blijft sceptisch over de haalbaarheid van een volledige wereldwijde pauze.

Amodei pleit ook voor beperkingen op de verkoop van chips aan China, maatregelen tegen modeldistillatie door buitenlandse bedrijven en betere beveiliging bij AI-laboratoria om diefstal van modellen te voorkomen.

Volgens Amodei betekent het afremmen van de frontier niet dat de AI-ontwikkeling wordt stilgelegd. Naar zijn mening zou een lager tempo bedrijven meer tijd geven om alignment, interpreteerbaarheid, tests en operationele beveiliging te verbeteren.

Amodei concludeert dat de potentiële voordelen van AI, waaronder het genezen van ziekten en het verhogen van de levensstandaard, reëel blijven. Volgens hem hangen die voordelen er echter van af of de technologie zorgvuldig wordt ontwikkeld.

Het oorspronkelijke artikel werd gepubliceerd door CoinCentral.