Anthropic e Accenture stanno ampliando la loro collaborazione sulla sicurezza dell'intelligenza artificiale attraverso un nuovo programma di valutazione integrata per l'IA di frontiera, con ciascuna azienda che prevede di investire almeno 1 miliardo di dollari nel settore nei prossimi cinque anni. L'iniziativa punta a colmare una lacuna che il settore deve ancora risolvere: rendere indipendentemente verificabili gli impegni di sicurezza di un laboratorio di frontiera.

Il programma sarà guidato da Faculty, la divisione specializzata in IA di Accenture, la quale ha annunciato all'inizio di quest'anno l'intenzione di acquisire l'azienda come parte di una più ampia espansione delle proprie capacità in materia di IA. I valutatori di Faculty lavoreranno a fianco dei team di Anthropic per valutare i modelli e condurre red teaming, eseguire valutazioni di allineamento e testare le misure di salvaguardia dei modelli.

A differenza dei tradizionali valutatori esterni, si prevede che i team integrati ricevano un accesso paragonabile a quello dei dipendenti di Anthropic. Ciò consentirebbe loro di osservare i modelli durante l'addestramento, esaminare le decisioni relative a sviluppo e deployment e valutare se l'azienda stia rispettando i propri impegni di sicurezza. La profondità dell'accesso è ciò che distingue il modello, portando la valutazione all'interno del processo di sviluppo anziché lasciarla ai margini del laboratorio.

L'iniziativa fa seguito all'impegno assunto dal CEO di Anthropic Dario Amodei nel suo recente saggio "We Must Pace the Frontier", in cui ha invitato valutatori indipendenti a operare all'interno dei laboratori di IA di frontiera come parte di sforzi più ampi per rendere verificabili gli impegni di sicurezza. Il nuovo programma trasforma quella proposta in un accordo operativo, con un partner identificato e un impegno di finanziamento definito.

Faculty ha già lavorato in passato con importanti sviluppatori di IA su test di sicurezza, contribuendo tra l'altro alle valutazioni di biosicurezza per i modelli Claude 4 di Anthropic e al red teaming di o1 di OpenAI. Questo curriculum significa che il team arriva con esperienza pratica nei test di modelli di frontiera provenienti da più di un laboratorio.

Anthropic ha dichiarato che il quadro restaperimentale, poiché non esistono ancora standard di settore consolidati che determinino a cosa i valutatori integrati possano accedere o come i loro risultati debbano essere riportati. In assenza di norme concordate, saranno le stesse pratiche del programma in materia di accesso e divulgazione a definirne i termini. Anche il finanziamento resta irrisolto. Anthropic ha precedentemente sostenuto che le valutazioni indipendenti dovrebbero eventualmente essere finanziate tramite meccanismi comuni o sostenuti da governi, ma per la partnership con Accenture l'azienda finanzierà direttamente il lavoro di valutazione, il che significa che per ora il modello si basa su finanziamenti aziendali diretti anziché sull'infrastruttura condivisa che Anthropic ha propugnato.

L'accordo non è esclusivo. Anthropic ha dichiarato di essere anche in trattative con il valutatore no-profit METR e di prevedere di annunciare ulteriori partner di valutazione nelle prossime settimane, mentre Accenture resterà libera di lavorare con altri sviluppatori di IA. La struttura punta verso un gruppo di valutatori integrati in Anthropic anziché una dipendenza da un'unica relazione.

Anthropic ha sottolineato che i valutatori integrati non trasferiscono la responsabilità della sicurezza dei modelli a organizzazioni esterne. Il programma è invece destinato a rendere più facili da verificare indipendentemente gli stessi impegni di sicurezza dell'azienda. Le prossime settimane dovrebbero chiarire almeno due cose: quali ulteriori valutatori si uniranno al programma e come assumeranno forma i termini sperimentali di accesso e rendicontazione.