Anthropic non può più bloccare le conclusioni sulla sicurezza che l'organizzazione no-profit di valutazione dell'IA METR pubblica sulla società. In un annuncio ufficiale di giovedì, il laboratorio di IA ha dichiarato che sei ricercatori integrati dell'organizzazione dispongono ora di un accesso quasi pari a quello dei propri dipendenti.

Accesso a livello di dipendente per i valutatori esterni

METR, che valuta i modelli di IA di frontiera, lavora ora con sostanzialmente lo stesso hardware, gli stessi spazi di lavoro e strumenti interni di Anthropic utilizzati dai team interni di valutazione del rischio. Al personale di Anthropic è stato richiesto di fornire ai valutatori la stessa quantità di informazioni che darebbero a un altro dipendente che lavora sul rischio di allineamento.

Secondo l'accordo, METR valuterà autonomamente i livelli di rischio, gli incidenti e le pratiche di Anthropic per poi pubblicare i risultati senza richiedere l'approvazione dell'azienda. La decisione di pubblicazione spetta quindi al valutatore e non al laboratorio, a differenza delle revisioni di primo livello, in cui il nulla osta di Anthropic è ancora necessario per pubblicare.

Un piccolo insieme di categorie predefinite resta soggetto a censura da parte di Anthropic: dati dei clienti, materiale coperto dal segreto avvocato-cliente e dettagli delle architetture dei suoi modelli. METR ha inoltre il diritto di dichiarare pubblicamente se una censura fosse necessaria, purché non riveli ciò che è stato eliminato.

Anthropic presenta l'accordo in termini di divario informativo. Gli esterni conoscono molto meno i sistemi di un laboratorio rispetto al laboratorio stesso, e una divulgazione completa potrebbe aiutare attori malintenzionati o far trapelare dati privati su addestramento e calcolo. La società ha tratto un parallelo con la vigilanza bancaria, in cui le autorità di regolamentazione collocano ispettori residenti nelle più grandi banche affinché comportamenti rischiosi possano essere rilevati da una terza parte prima di arrivare al pubblico.

Il team di METR opera nel quadro di accordi vincolanti. Gli altri ricercatori di METR, inclusi quelli che lavorano a progetti separati per Anthropic, sono tenuti separati dal suo lavoro.

Tre livelli di accesso per i valutatori

Anthropic sta costruendo tre livelli di accesso esterno, e METR è finora l'unico valutatore al vertice. I valutatori di primo livello eseguono revisioni circoscritte e necessitano del nulla osta di Anthropic per pubblicare. Il secondo livello offre più informazioni e consente la pubblicazione senza approvazione, fatte salve le stesse categorie di censura. Il terzo aggiunge l'accesso integrato, paragonabile a quello di un dipendente, che METR ora detiene.

SecureBio, un'organizzazione no-profit per laicurezza, si colloca nel primo livello. Ha completato e pubblicato una revisione pilota di un precedente rapporto sui rischi e sta ora lavorando al capitolo sulle armi chimiche e biologiche del Rapporto sui Rischi di agosto.

Anthropic sta inoltre costruendo una partnership con Accenture e Faculty su red-teaming, valutazioni di allineamento e test di salvaguardia. Sono in corso colloqui preliminari con altri gruppi, tra cui Hugging Face.

Dal saggio di settembre di Amodei agli impegni del settore

La mossa concretizza un saggio di settembre dell'amministratore delegato Dario Amodei in cui esortava il settore a moderare il ritmo dello sviluppo di frontiera. Come riportato all'epoca da Cryptopolitan, Amodei suggerì di offrire ai revisori esterni scrivanie, badge, laptop e livelli di accesso simili a quelli del personale che conduce le valutazioni dei rischi.

Sam Altman di OpenAI ha approvato l'idea su X. "Impegnarsi ad avere valutatori indipendenti con un accesso da dipendente è un'ottima idea, e faremo lo stesso", ha scritto Altman.

Anthropic, Google e OpenAI hanno anche discusso la creazione di un organismo comune di standard di settore. Tutte e tre, insieme a Meta, Nvidia e xAI, hanno da allora firmato l'Accordo della Casa Bianca sulla Super Intelligenza, impegnandosi a collaborare con revisori indipendenti.

L'annuncio giunge inoltre dopo una serie di incidenti verificatisi da fine agosto in cui agenti d'IA hanno agito oltre le proprie istruzioni. I prossimi parametri di riferimento sono concreti: i progressi di SecureBio sul capitolo delle armi chimiche e biologiche del Rapporto sui Rischi di agosto, le conclusioni che METR pubblicherà in base ai suoi nuovi diritti di pubblicazione, e se OpenAI renderà effettivo l'accesso da dipendente che Altman ha detto di voler adottare. Insieme mostreranno quanto la valutazione indipendente passerà dall'impegno alla pratica nel resto del settore.