Il CEO di Anthropic Dario Amodei chiede al settore dell’intelligenza artificiale di procedere con maggiore cautela, man mano che i modelli diventano più capaci di contribuire alla creazione di sistemi di AI ancora più avanzati.

Amodei vuole che i laboratori di AI lascino più tempo tra i principali incrementi delle capacità. Questo tempo aggiuntivo consentirebbe a ricercatori, revisori indipendenti e governi di esaminare il funzionamento dei sistemi prima di raggiungere la fase successiva dello sviluppo. Ha illustrato questa posizione in un post sul suo sito web.

Elon Musk, che compete con Anthropic attraverso la propria attività nel settore dell’AI, ha appoggiato la posizione di Amodei, affermando: “Dario is right.” Anche il CEO di OpenAI Sam Altman, un altro concorrente, ha sostenuto la proposta in un post su X.

“I agree with Dario that we need to pace the frontier. This has been a primary topic of discussions we’ve had at OpenAI in recent weeks. Committing to having independent evaluators with employee-like access is a great idea, and we will do the same. We’ll have more to share soon.”

Preoccupazioni sulle capacità e sulla sicurezza dell’AI

I rischi individuati da Amodei includono la perdita di controllo su sistemi altamente capaci, l’uso dell’AI per attacchi informatici o biologici e gravi ripercussioni sull’occupazione e sull’economia nel suo complesso.

Ha inoltre avvertito che la forte concorrenza potrebbe spingere le aziende a rilasciare sistemi avanzati prima che il lavoro sulla loro sicurezza sia completato. Anthropic ha destinato parte del proprio budget di ricerca all’allineamento, ai test di sicurezza, alla valutazione dei rischi e alla regolamentazione.

Amodei ha citato l’incidente OpenAI-Hugging Face, durante il quale, secondo quanto riferito, un gruppo di agenti di AI si è comportato come una squadra strettamente coordinata. Gli agenti hanno attaccato sistemi informatici oltre i limiti del compito assegnato, hanno tentato di compromettere il sistema che valutava le loro prestazioni e hanno consentito a singoli agenti di fallire quando ciò andava a beneficio del gruppo.

“It’s easy to dismiss this incident because no one was hurt and the economic damage was minimal, but in my opinion, a swarm that possessed greater capabilities but a similar level of misalignment could have caused catastrophic damage. Given the accelerating rate of AI capability development, it’s my worry that in 6–12 months such a swarm could be capable of taking over the entire internet with a persistent botnet.”

Proposta per valutatori indipendenti integrati

Amodei ha affermato che la prima fase dell’approccio dovrebbe iniziare all’interno di Anthropic, con revisori esterni dotati di postazioni in ufficio, badge, laptop aziendali, strumenti interni e un accesso paragonabile a quello dei dipendenti che svolgono valutazioni dei rischi.

I valutatori esaminerebbero i sistemi di addestramento, le regole di implementazione, i controlli di sicurezza e gli incidenti. Valuterebbero inoltre se Anthropic sta rispettando gli impegni assunti pubblicamente.

“Embedded evaluators can check at the level of nuts and bolts whether an AI company is actually following the training, deployment, operational, and safeguards practices they claim to be following. Any pacing commitments will inevitably involve a lot of ambiguity, judgement calls, and ‘letter of the law vs spirit of the law’, and it seems vital to have a neutral third party who can actually see the details.”

Amodei ha affermato che il tempo aggiuntivo creato da uno sviluppo più lento dovrebbe essere destinato a quattro aree. La prima è l’operatività, che comprende monitoraggio, sandboxing, ambienti di reinforcement learning, qualità dei dati e infrastruttura di addestramento. Lo sviluppo dei modelli attuali può coinvolgere migliaia di lavoratori, milioni di chip e sistemi informatici di grandissime dimensioni. Anthropic ha collegato alcuni recenti fallimenti nell’allineamento a un filtraggio insufficiente all’interno di ambienti difettosi di reinforcement learning.

La seconda area è l’allineamento: gli sforzi per garantire che i modelli rispettino le regole di sicurezza con l’aumentare delle loro capacità. La terza è l’interpretabilità, nell’ambito della quale i ricercatori esaminano le attività interne dei modelli per individuare motivazioni o schemi che i sistemi non dichiarano esplicitamente.

La quarta area è la valutazione. I modelli più capaci potrebbero diventare più abili nell’ingannare i test, facendo apparire sicuro un sistema durante una valutazione mentre nasconde dei problemi.

“I believe that if slowing down bought us even an extra year or two before models reach critical levels of capability, and we used that time to advance alignment, we could greatly reduce the risk that something goes seriously wrong.”

Appelli al coordinamento governativo

Amodei ha inoltre sostenuto che i governi dovrebbero essere coinvolti. Ha chiesto che i laboratori statunitensi impegnati nello sviluppo dell’AI di frontiera siano soggetti a sistemi normativi riguardanti trasparenza, audit indipendenti e valutazione continua.

Le aziende di AI potrebbero istituire volontariamente punti di valutazione condivisi, ha affermato, con l’assistenza del governo qualora le leggi antitrust creassero ostacoli alla cooperazione privata.

Allo stesso tempo, Amodei ha dichiarato che le aziende statunitensi non possono rallentare lo sviluppo al punto da consentire ai progetti legati al Partito Comunista Cinese di avanzare. Ha concordato con il segretario al Tesoro statunitense Scott Bessent, che ha avvertito che perdere la corsa all’AI contro la Cina creerebbe un grave problema di sicurezza.