Sarah Yager, prima responsabile dei diritti umani e dell'implementazione responsabile di OpenAI, ha dichiarato che le domande sollevate dall'adozione dell'intelligenza artificiale in ambito militare la tormentano costantemente, e che l'eventuale uso della tecnologia nel targeting e nelle armi autonome è ciò che la preoccupa di più.

“Tutti sono molto preoccupati, e a ragione”, ha detto Yager sul palco martedì alla conferenza ScaleUp:AI di New York. “Questo non mi fa dormire la notte: ‘Cosa farà l'esercito con l'IA quando si tratta di targeting? E le armi autonome? E dove sta andando a finire tutto questo?’”

Yager ha assunto il ruolo, creato appositamente, a giugno, portando circa 30 anni di esperienza nei diritti umani in un'azienda la cui collaborazione con il Department of War (DoW), l'ex Department of Defense rinominato, l'ha collocata al centro della spinta dell'esercito statunitense verso l'IA. Il suo mandato si concentra proprio sulle applicazioni militari.

Gli eserciti di tutto il mondo stanno integrando rapidamente l'IA nelle loro operazioni, sviluppando nuove armi e sistemi autonomi come droni e robot. Dall'interno di una delle aziende di IA più potenti al mondo, Yager affronta ora le domande difficili poste da questa svolta.

“Ho sempre voluto andare in luoghi e convincere le persone dove i diritti umani non erano necessariamente l'idea dominante”, ha detto. “Con le scuse dei miei colleghi di OpenAI, sono ora nella pancia della bestia, ed è in realtà un posto molto comodo per me, perché quello che amo fare è persuadere, discutere, dibattere e, si spera, fare la differenza.”

Un'assunzione inaspettata, dopo un contratto conteso

OpenAI si è rivolta a Yager poco dopo aver firmato, alla fine di febbraio, un contratto con il DoW per l'impiego di sistemi di IA avanzati in ambienti classificati. L'accordo di grande rilevanza è seguito a una rottura pubblica tra il DoW e Anthropic. Anthropic aveva chiesto salvaguardie sull'uso militare della tecnologia, in particolare divieti sulla sorveglianza di massa e sulle armi completamente autonome, che il DoW non aveva accettato. Il dipartimento aveva quindi etichettato Anthropic come un rischio per la catena di fornitura, e OpenAI è intervenuta rilevando il contratto, affermando di aver convinto il DoW ad accettare salvaguardie analoghe su sorveglianza e armi autonome. OpenAI ha descritto l'accordo in un post sul blog aziendale.

Per Yager, lavorare in OpenAI non è stata “una decisione immediata”. Temeva, come ha detto l'intervistatore sul palco, di essere assunta per una “operazione di immagine”, un voltafaccia capace di dare all'azienda un'apparenza di responsabilità senza un'influenza reale sulla tecnologia. La sua due diligence è consistita nel parlare con i dipendenti, in particolare “la generazione più giovane, molto preoccupata per ciò che sta creando e per chi tiene il volante”. Questo l'ha convinta ad accettare l'incarico e a verificare se potesse fare la differenza.

Rischi reali e influenza reale

Da quando è entrata in azienda, Yager ha ottenuto qualche successo nel influenzare la direzione della tecnologia, insieme a preoccupazioni continue sulla sua evoluzione. I rischi sono emersi il mese scorso, quando CNN ha riportato che l'esercito statunitense ha rischiato di colpire una nave militare cinese sulla base di un rapporto di intelligence generato dall'IA risultato inaccurato, un episodio sfuggito che tocca esattamente le questioni di targeting che, secondo lei, preoccupano di più.

Yager ha lavorato direttamente con ricercatori e ingegneri per migliorare i modelli, incluso assicurare che rispondano in modo appropriato agli accordi internazionali fondamentali come le leggi di guerra stabilite nel 1949 nelle Convenzioni di Ginevra del dopoguerra. Ha coinvolto esperti internazionali “per sedersi letteralmente alle tastiere e inserire prompt per scenari ad altissimo rischio”, per poi far ricalibrare i modelli da parte degli ingegneri in base alle risposte.

“Non era mai stato fatto prima, quindi è stato estremamente gratificante”, ha detto Yager.

A suo avviso, le aziende di IA stanno cercando di “reinventare la ruota” su questioni come la definizione di umanità e moralità che le società hanno già risolto da tempo. “Le società hanno già capito molte di queste cose, e si chiama diritti umani. Questo dovrebbe essere il punto di partenza”, ha detto, riferendosi agli accordi delle Convenzioni di Ginevra. “Non voglio che sia un'azienda di IA a dirmi cos'è il bene. Se lasciamo che sia l'industria a determinare cos'è il bene, allora è una terra di nessuno.”

'Tornare all'umano dei diritti umani'

Yager ha inoltre espresso disaggio per il dibattito in corso nella Silicon Valley su whether i sistemi di IA, e in particolare le nuove tecnologie agentiche, debbano avere diritti. OpenAI le ha posto la domanda durante il colloquio. All'epoca ha risposto “no”, ribadendo che il suo focus erano i diritti umani, anche se da allora ha riflettuto ulmente sulla questione. Ora si sente più aperta alle conversazioni “estremamente importanti” su “come gli agenti si collocano nelle strutture legali, nelle strutture del lavoro, nelle strutture fiscali”, pur rilevando che queste domande non sono una questione di diritti.

“Non è per niente paragonabile ai diritti umani, e vorrei davvero che potessimo tornare all'umano dei diritti umani”, ha detto. Il pubblico, composto per lo più da uomini d'affari in giacca e cravatta, ha iniziato ad applaudire. “Un grande applauso per questo”, ha detto l'intervistatore sul palco.

Chi costruisce l'IA conta

Un'altra preoccupazione di Yager riguarda la composizione demografica relativamente omogenea dei gruppi che costruiscono l'IA. La settimana scorsa, il presidente Trump ha riunito a Washington decine di leader dell'industria tecnologica per discutere della sicurezza dell'IA. Tutti i firmatari dell'accordo volontario sulla sicurezza erano uomini, e le foto del gruppo più ampio presenti a un pranzo hanno mostrato che anche tutti i partecipanti erano uomini, a eccezione dell'amministratrice delegata di AMD Lisa Su.

“Gli uomini sono fantastici, ma era una foto molto maschile di chi prenderà le decisioni sull'IA”, ha detto Yager. “Un problema è che l'IA sta cambiando radicalmente l'equilibrio di potere tra le persone di tutto il mondo. Non avete visto lì le comunità interessate.”

Yager ha osservato che anche il governo sta adottando rapidamente l'IA. Sta aiutando organismi di supervisione, come il Government Accountability Office e l'Office of Inspector General, a costruire strumenti per monitorare ciò che il governo sta facendo, un meccanismo di accountability che, secondo lei, “si sente importante per la democrazia”. In questo modo, il suo ruolo va oltre la definizione dei modelli di OpenAI, fino ad aiutare gli organi di controllo federali ad auditare l'adozione dell'IA da parte del governo stesso.

Questo articolo è stato pubblicato originariamente su Fortune.com.