La seguente è una colonna di opinione di Samuel Vance-Law, responsabile della ricerca del Decentralization Research Center, che sostiene che, perché gli audit previsti dall'accordo sulla IA della Casa Bianca abbiano qualche valore, gli auditor dovrebbero poter scegliere cosa testare.

La scorsa settimana, sei delle più potenti aziende di intelligenza artificiale al mondo hanno promesso alla Casa Bianca di lasciare che estranei verificassero il loro lavoro.

Il 29 settembre, Nvidia, OpenAI, Anthropic, Google, Meta e xAI hanno firmato un accordo sui modelli di IA più avanzati, un patto che il presidente degli Stati Uniti Donald Trump ha definito "vincolante dal punto di vista morale". Ogni azienda si è impegnata a "collaborare con un auditor o valutatore esterno indipendente" e ad avere membri indipendenti del consiglio che esaminino i rapporti degli auditor e assicurino che i problemi vengano risolti.

Gli audit esterni sono una buona idea, e Vance-Law ne apprezza l'inclusione. Ma l'accordo, scrive, non dice nulla su chi sceglie gli auditor, su cosa possono esaminare o se i risultati verranno resi pubblici — e non esiste alcuna sanzione per il suo mancato rispetto. Così come sta, ogni azienda sceglie il proprio auditor e decide cosa quell'auditore può vedere.

L'assetto riecheggia un episodio emblematico della storia aziendale. Nel 2000, Enron pagò la società di contabilità Arthur Andersen — un tempo parte della cosiddetta "Big Five" delle società contabili internazionali, ora "Big Four" dopo l'implosione di Arthur Andersen — 25 milioni di dollari per verificare i suoi libri contabili e altri 27 milioni di dollari per lavori fiscali e di consulenza. Nel giro di due anni, entrambe le società erano crollate. Il Congresso rispose con il Sarbanes-Oxley Act del 2002, che tolse alla direzione la scelta dell'auditor — proprio l'autorità che il nuovo accordo lascia a ogni azienda di IA — vietò agli auditor di vendere la maggior parte degli altri servizi alle aziende che verificano e istituì un pubblico comitato per ispezionare gli auditor stessi.

Andersen non fallì per una carenza di competenze, ma perché mancava dell'incentivo a esaminare attentamente un cliente che gli pagava 52 milioni di dollari in un solo anno.

Anche gli impegni volontari nell'industria dell'IA non hanno una buona reputazione. Nel 2023, le principali aziende di IA hanno assunto una serie di impegni volontari con la Casa Bianca, tra cui la possibilità per esperti esterni di testare i loro sistemi prima del rilascio. Quando ricatori di Stanford, Harvard e Brown hanno valutato 16 aziende rispetto a quegli impegni, la media è stata del 53%. Sulla promessa di aiutare gli esterni a trovare e segnalare problemi, otto delle 16 hanno ottenuto zero.

Anche quando i test esterni avvengono davvero, è lo sviluppatore a fissare le condizioni. METR, un'organizzazione no-profit che testa i modelli di IA, ha scritto che il suo test del modello o3 di OpenAI prima del rilascio è stato "condotto in sole tre settimane", con "accesso limitato alle informazioni sul modello" e nessuna visione del ragionamento passo-passo del modello. Per essere equi con OpenAI, ha comunque consentito che il test avvenisse — ma l'episodio mostra quanto dipenda da ciò che un'azienda sceglie di condividere.

Un modello di IA addestrato è essenzialmente un file di numeri molto grande, che spesso costa oltre 100 milioni di dollari da produrre, e chiunque ne abbia una copia possiede il modello. Consegnare copie a estranei è un rischio per la sicurezza. Fino a poco tempo fa, questo lasciava ai tester una scelta scomoda, che Google DeepMind ha descritto bene: o i tester consegnano le loro domande, così l'azienda vede l'esame in anticipo, oppure l'azienda consegna il suo modello.

Ad agosto, DeepMind ha mostrato una via d'uscita da quel dilemma. Lavorando con l'AI Safety Institute di Singapore e altri tre gruppi esterni, ha condotto quella che definisce la prima prova in doppio cieco al mondo di un modello di IA, sullo stesso principio di una sperimentazione farmacologica in doppio cieco. Il test è stato eseguito su hardware informatico sigillato, così i tester esterni non hanno mai visto il modello e Google non ha mai visto le loro domande. Google afferma che ciascuna parte può verificare matematicamente che il proprio materiale sia rimasto privato.

L'approccio sposta inoltre la fiducia sull'hardware stesso. Lo scorso anno, ricercatori sono penetrati in questo tipo di hardware sigillato con meno di 1.000 dollari di attrezzatura, sebbene abbiano avuto bisogno di accesso fisico al server per farlo. È un aspetto da prendere sul serio, ma è un problema molto più piccolo di "non possiamo lasciare che nessuno si avvicini al modello", e può essere gestito con attenzione su chi controlla le macchine.

L'argomento si basa sul rapporto "Alternatives to Concentrated AI", pubblicato questa settimana dal Decentralization Research Center. Per il rapporto, Vance-Law e il co-autore Kyle Bligen hanno intervistato 36 persone e mappato quasi 30 alternative funzionanti al controllo concentrato sull'IA. La conclusione principale: gli esterni possono ora esaminare l'IA avanzata senza prendere possesso del modello o dei suoi dati.

Se gli audit previsti dall'accordo devono avere qualche valore, sostiene Vance-Law, gli auditor dovrebbero scegliere cosa testare, ora che possono farlo senza prendere una copia del modello. Le aziende dovrebbero anche dire chi sono i loro auditor e cosa hanno coperto gli audit, anche se i risultati dettagliati restano privati — le società quotate indicano i propri auditor da decenni senza svelare segreti commerciali. E i comitati del consiglio che leggono questi rapporti dovrebbero rispondere a qualcuno al di fuori dell'azienda. Il Sarbanes-Oxley ha creato un ispetore degli ispetori. L'accordo non ha nulla di simile, e il Congresso dovrebbe decidere cosa colmare quella lacuna.

Nota: le opinioni espresse in questa colonna sono quelle dell'autore e non riflettono necessariamente quelle di CoinDesk, Inc. o dei suoi proprietari e affiliati.