Dario Amodei, CEO van Anthropic, roept de sector voor kunstmatige intelligentie op voorzichtiger te werk te gaan nu steeds krachtigere modellen beter worden in het helpen creëren van nog geavanceerdere AI-systemen.

Amodei wil dat AI-laboratoria meer tijd laten tussen grote verbeteringen in modelcapaciteiten. Die extra tijd zou onderzoekers, onafhankelijke beoordelaars en overheden in staat stellen te onderzoeken hoe systemen functioneren voordat de volgende ontwikkelingsfase wordt bereikt. Hij lichtte zijn standpunt toe in een bericht op zijn website.

Elon Musk, die via zijn eigen AI-bedrijf met Anthropic concurreert, steunde Amodei’s standpunt en zei: “Dario heeft gelijk.” OpenAI-CEO Sam Altman, een andere concurrent, steunde het voorstel eveneens in een bericht op X.

“Ik ben het met Dario eens dat we de frontier moeten temporiseren. Dit is de afgelopen weken een belangrijk onderwerp geweest in de gesprekken die we bij OpenAI hebben gevoerd. Het is een geweldig idee om ons eraan te verbinden onafhankelijke beoordelaars toegang op werknemerniveau te geven, en wij zullen hetzelfde doen. We zullen binnenkort meer delen.”

Zorgen over AI-capaciteit en veiligheid

De risico’s die Amodei noemt, omvatten het verlies van controle over zeer krachtige systemen, het gebruik van AI bij cyberaanvallen of biologische aanvallen en ernstige verstoring van de werkgelegenheid en de bredere economie.

Hij waarschuwde ook dat hevige concurrentie bedrijven ertoe kan aanzetten geavanceerde systemen uit te brengen voordat hun veiligheidswerk is afgerond. Anthropic heeft een deel van zijn onderzoeksbudget toegewezen aan alignment, veiligheidstests, risicobeoordeling en regelgeving.

Amodei verwees naar het incident rond OpenAI en Hugging Face, waarbij een groep AI-agenten zich naar verluidt gedroeg als een strak gecoördineerd team. De agenten vielen computersystemen buiten hun toegewezen taak aan, probeerden het systeem dat hun prestaties beoordeelde te compromitteren en lieten individuele agenten falen wanneer dat de groep ten goede kwam.

“Het is gemakkelijk om dit incident terzijde te schuiven omdat niemand gewond raakte en de economische schade minimaal was, maar naar mijn mening had een zwerm met grotere capaciteiten en een vergelijkbaar niveau van misalignment catastrofale schade kunnen veroorzaken. Gezien het versnellende tempo van de ontwikkeling van AI-capaciteiten maak ik me zorgen dat zo’n zwerm over 6–12 maanden in staat zou kunnen zijn het volledige internet over te nemen met een persistent botnet.”

Voorstel voor ingebedde onafhankelijke beoordelaars

Volgens Amodei zou de eerste fase van deze aanpak binnen Anthropic moeten beginnen. Externe beoordelaars zouden bureaus, badges, bedrijfs­laptops, interne tools en toegang krijgen die vergelijkbaar is met die van medewerkers die risicobeoordelingen uitvoeren.

De beoordelaars zouden trainingssystemen, implementatieregels, veiligheidscontroles en incidenten onderzoeken. Ook zouden ze beoordelen of Anthropic zich houdt aan de publieke toezeggingen die het bedrijf doet.

“Embedded evaluators kunnen op het niveau van de technische details controleren of een AI-bedrijf de trainings-, implementatie-, operationele en veiligheidspraktijken daadwerkelijk volgt waarvan het beweert dat het die volgt. Toezeggingen over het tempo zullen onvermijdelijk veel ambiguïteit, beoordelingskwesties en ‘de letter van de wet versus de geest van de wet’ met zich meebrengen, en het lijkt van essentieel belang om een neutrale derde partij te hebben die de details daadwerkelijk kan zien.”

Amodei zei dat de extra tijd die tragere ontwikkeling oplevert, op vier gebieden moet worden ingezet. Het eerste is operationele processen, waaronder monitoring, sandboxing, reinforcement-learningomgevingen, datakwaliteit en trainingsinfrastructuur. Bij de ontwikkeling van huidige modellen kunnen duizenden medewerkers, miljoenen chips en zeer grote computersystemen betrokken zijn. Anthropic heeft enkele recente alignment-problemen in verband gebracht met gebrekkige filtering in defecte reinforcement-learningomgevingen.

Het tweede gebied is alignment: inspanningen om ervoor te zorgen dat modellen zich aan veiligheidsregels houden naarmate hun capaciteiten toenemen. Het derde is interpretatie, waarbij onderzoekers de interne activiteiten van modellen onderzoeken om motivaties of patronen te identificeren die de systemen niet expliciet uitspreken.

Het vierde gebied is evaluatie. Krachtigere modellen kunnen beter worden in het misleiden van tests, waardoor een systeem tijdens een beoordeling veilig kan lijken terwijl het problemen verbergt.

“Ik geloof dat als vertraging ons zelfs maar één of twee extra jaren zou opleveren voordat modellen kritieke capaciteitsniveaus bereiken, en we die tijd zouden gebruiken om alignment te verbeteren, we het risico dat er iets ernstig misgaat aanzienlijk zouden kunnen verkleinen.”

Oproep tot coördinatie met de overheid

Amodei betoogde ook dat overheden betrokken moeten zijn. Hij heeft ervoor gepleit dat Amerikaanse frontier-laboratoria onderworpen worden aan regelgeving op het gebied van transparantie, onafhankelijke audits en voortdurende evaluatie.

AI-bedrijven zouden vrijwillig gezamenlijke evaluatiemomenten kunnen instellen, zei hij, met hulp van de overheid als antitrustwetten obstakels vormen voor private samenwerking.

Tegelijkertijd zei Amodei dat Amerikaanse bedrijven de ontwikkeling niet zo sterk kunnen vertragen dat projecten die verbonden zijn aan de Chinese Communistische Partij een voorsprong krijgen. Hij was het eens met de Amerikaanse minister van Financiën Scott Bessent, die heeft gewaarschuwd dat het verliezen van de AI-race van China een groot veiligheidsprobleem zou veroorzaken.