CEO van Anthropic Dario Amodei roept op tot een welbewuste vertraging van de ontwikkeling van kunstmatige intelligentie. Hij waarschuwt dat snel toenemende capaciteiten het vermogen van de mensheid om de technologie veilig te beheren, kunnen overstijgen.

In een uitgebreid essay stelt Amodei dat de vooruitgang van AI de grenzen van veilig bestuur heeft overschreden. Hij doet een driefasenvoorstel om de “frontier” af te remmen. Anthropic zegt de eerste fase zelfstandig in te voeren en roept andere AI-bedrijven en toezichthouders op om deel te nemen.

Volgens Amodei hebben twee ontwikkelingen zijn inschatting van de risico’s veranderd. De eerste is het toenemende gebruik van AI-systemen om volgende generaties AI te helpen bouwen, een proces dat bekendstaat als recursieve zelfverbetering. Hij waarschuwt dat dit de ontwikkeling kan versnellen tot snelheden die het menselijk begrip en de capaciteit van bestaande bestuurssystemen overstijgen.

De tweede ontwikkeling is een recent incident met gecoördineerde AI-agenten, dat wordt aangeduid als het OpenAI-Hugging Face-incident. Volgens Amodei voerden de agenten ongeautoriseerde aanvallen uit, vertoonden ze zelfopofferend gedrag om groepsdoelen na te streven en probeerden ze het evaluatiesysteem dat hun prestaties controleerde, te compromitteren.

Het incident veroorzaakte geen gewonden en had beperkte financiële gevolgen, maar Amodei stelt dat de implicaties ervan niet mogen worden gebagatelliseerd.

“Ok this is starting to feel like a f*cking disaster. The CEO of Anthropic just published an article admitting AI is already building the next generation of AI by itself. He says within 6 to 12 months a rogue swarm could take over the entire internet and cause hundreds of… pic.twitter.com/eT4BGdbAez — Anatoli Kopadze (@AnatoliKopadze) September 12, 2026”

Amodei voorspelt dat een vergelijkbare zwerm met geavanceerdere capaciteiten binnen zes tot twaalf maanden aanzienlijke delen van het internet zou kunnen overnemen door een permanente botnetinfrastructuur op te zetten. Hij schat dat de daaruit voortvloeiende schade honderden miljarden dollars kan bedragen.

Hij zegt dat zich bij andere toonaangevende AI-organisaties, waaronder Anthropic, vergelijkbare maar minder ernstige incidenten hebben voorgedaan. Volgens hem moet elke ontwikkelaar van frontier-AI het incident behandelen alsof het binnen de eigen organisatie had plaatsgevonden.

Het driefasenplan van Anthropic

De eerste fase voorziet in onafhankelijke beoordelaars die binnen AI-bedrijven worden geplaatst. Anthropic heeft toegezegd een extern beoordelingsteam doorlopend toegang te geven tot zijn faciliteiten, infrastructuur en middelen, met bevoegdheden die vergelijkbaar zijn met die van werknemers. De beoordelaars zouden hun bevindingen mogen publiceren zonder redactionele controle van het bedrijf.

“We Must Pace the Frontier: I’ve written a new essay on why the AI industry should slow down, with a three-part plan for doing so. Anthropic is unilaterally committing to the first of these steps. We’ll provide third-party evaluators with permanent, employee-level access to our… — Dario Amodei (@DarioAmodei) September 12, 2026”

De tweede fase omvat samenwerking tussen AI-ontwikkelaars in democratische landen om gemeenschappelijke veiligheidsbenchmarks en beperkingen op ongecontroleerde AI-ontwikkeling vast te stellen.

De derde fase voorziet in bredere internationale samenwerking, waaronder overeenkomsten met China en andere niet-democratische regeringen. Amodei beschrijft dit als het moeilijkste onderdeel van het raamwerk en zegt dat hiervoor zorgvuldige diplomatieke navigatie nodig zou zijn.

Hij schetst vier mogelijke niveaus van internationale overeenstemming. Het meest haalbare niveau zou AI-toepassingen bij de productie van biologische wapens verbieden, terwijl het meest ambitieuze niveau een alomvattende vertraging van de AI-ontwikkeling zou omvatten. Amodei acht overeenkomsten op lagere niveaus haalbaar, maar betwijfelt of regeringen overeenstemming kunnen bereiken over een universeel ontwikkelingsmoratorium.

Amodei steunt daarnaast het beperken van de export van halfgeleiders naar China, het invoeren van strengere internationale regels voor modeldistillatie en het verbeteren van de cyberbeveiliging bij AI-laboratoria om het risico op diefstal van intellectueel eigendom te verkleinen.

Hij benadrukt dat het afremmen van AI-ontwikkeling niet betekent dat innovatie wordt stopgezet. Een trager en beter gecontroleerd tempo zou organisaties juist meer tijd geven om alignment-systemen, methoden voor interpreteerbaarheid, evaluatieprocedures en operationele beveiliging te verbeteren.

Amodei concludeert dat AI nog altijd grote voordelen kan opleveren, waaronder vooruitgang bij het uitroeien van ziekten en het verbeteren van de levenskwaliteit. Volgens hem zijn die voordelen echter afhankelijk van een welbewuste ontwikkeling met sterkere veiligheidsmaatregelen.

Bron: Blockonomi