Una domanda difficile si nasconde dietro i più recenti avvertimenti da parte delle persone che costruiscono l'intelligenza artificiale: quando si crede che la propria azienda possa stai creando un pericolo per la società, è doveroso restare e cambiarla, o andarsene e dare l'allarme?

La questione si è fatta più acuta la scorsa settimana, quando l'ex ricercatore di Anthropic e OpenAI Jacob Coxon ha avvertito che i laboratori di frontiera sono in corsa verso una superintelligenza auto-migliorante e "stanno giocando d'azzardo con le nostre vite."

La preoccupazione evocata da Coxon è l'auto-miglioramento ricorsivo: lo scenario in cui i sistemi di AI iniziano a migliorare se stessi più velocemente di quanto i loro creatori possano valutarli o controllarli—una possibilità dibattuta nella ricerca sull'AI da decenni e ora al centro delle discussioni interne sull' sicurezza nel settore.

Coxon è l'ultimo addetto ai lavori dell'AI ad andarsene sollevando preoccupazioni sulla direzione della tecnologia. L'economista Albert O. Hirschman ha celebremente descritto la scelta davanti alle persone che ritengono che un'istituzione stia deviando come "uscita" versus "voce": andarsene, o restare cercare di cambiarla dall'interno, un quadro da lui introdotto nel suo libro del 1970 Exit, Voice, and Loyalty. Restare offre accesso e influenza; andarsene porta la libertà di parlare pubblicamente. Il momento complica entrambe le strade. Più a lungo qualcuno partecipa a un sistema che poi descrive come pericoloso, più diventa difficile separare il dissenso principista dall'assoluzione retrospettiva.

Le persone che ancora gestiscono i laboratori di frontiera affrontano una versione diversa del problema. Il CEO di Anthropic Dario Amodei ha pubblicato un saggio questo fine settimana sostenendo che le aziende di AI devono rallentare l'avanzamento dei loro modelli più potenti perché il lavoro sulla sicurezza possa recuperare terreno. Tuttavia, i limiti che propone dipendono da un coordinamento a livello di settore piuttosto che da un'azione solitaria di Anthropic—un riconoscimento del fatto che le preoccupazioni sulla sicurezza si scontrano con la competizione commerciale e geopolitica. Amodei conosce il calcolo uscita-vs-voce dall'interno: ha lasciato OpenAI per co-fondare Anthropic nel 2021 come laboratorio costruito esplicitamente attorno a uno sviluppo dell'AI orientato alla sicurezza.

In un'intervista esclusiva con la direttrice di Fortune Alyson Shontell, il CEO di OpenAI Sam Altman ha analogamente sostenuto uno sviluppo graduale dell'AI e ha riconosciuto che l'AI che sfugge al controllo umano è possibile. Ha anche suggerito che le principali aziende di AI stanno discutendo un'azione collettiva. Per coloro che gestiscono i laboratori leader, il dilemma passa dal se restare al se rallentare. Cosa significa avvertire che la tecnologia che si sta costruendo potrebbe diventare catastroficamente pericolosa mentre si continua a competere per renderla più potente? A un certo punto, un avvertimento deve portare a una decisione su ciò che un'azienda farà effettivamente in modo diverso a causa del rischio.

Altman sta ora dibattendo pubblicamente su dove si trovi quel punto, chi debba stabilire i limiti e se le aziende in corsa per costruire l'AI più potente possano concordare di rallentare insieme. Per i lettori, la domanda da seguire è se queste discussioni si trasformino in impegni concreti che i laboratori in competizione rispettino davvero. Shontell lo sollecita su queste questioni nella loro ampia conversazione, disponibile da guardare qui.

Ruth Umoh — ruth.umoh@fortune.com

Questa storia è stata originariamente pubblicata su Fortune.com.*