Google DeepMind lancia Gemini Robotics ER 2 per il ragionamento spaziale in tempo reale e la collaborazione tra robot

Google DeepMind ha lanciato Gemini Robotics ER 2, il modello di "embodied reasoning" più capace dell'azienda, progettato per servire da cervello di alto livello per i robot. Il modello abilita il ragionamento spaziale in tempo reale, la pianificazione di attività multi-step e la collaborazione tra robot diversi, rappresentando un aggiornamento significativo rispetto al predecessore, Gemini Robotics ER 1.6. Il rilascio intensifica la კონკorrenza nel mercato emergente dei modelli di fondazione per la robotica general-purpose, dove operatori come NVIDIA con Project GR00T, Figure AI, Physical Intelligence e il programma Optimus di Tesla stanno tutti correndo per costruire sistemi AI in grado di controllare macchine fisiche in una vasta gamma di compiti.

Gemini Robotics ER 2 è ora disponibile pubblicamente per gli sviluppatori tramite la Gemini API, Google AI Studio e in anteprima privata sulla Gemini Enterprise Agent Platform. Gli sviluppatori possono usarlo per creare agenti AI fisici che dialogano con gli esseri umani, comprendono il mondo fisico e pianificano attività multi-step prima di affidare l'esecuzione motoria a modelli vision-language-action (VLA) di livello inferiore. Questa architettura a livelli — in cui un modello di ragionamento orchestra decisioni di alto livello e delega il controllo fisico a modelli di esecuzione specializzati — riflette una filosofia di progettazione condivisa da diversi progetti di AI per la robotica, come alternativa ai modelli end-to-end singoli che cercano di gestire tutto, dalla percezione al controllo motorio, in un unico sistema.

Il modello può chiamare nativamente strumenti come Google Search o qualsiasi funzione definita dall'utente. La sua architettura consente a un robot di "pensare" alla mossa successiva mentre esegue contemporaneamente le azioni correnti, consentendo un funzionamento più fluido.

Potenziare le capacità agentiche fisiche

La maggior parte dei compiti nel mondo fisico richiede più passaggi. Gemini Robotics ER 2 funziona come un agente fisico che orchestra le fasi, consente l'autocorrezione e generalizza a situazioni nuove. Gli sviluppatori possono dichiarare interfacce di controllo di basso livello — inclusi modelli VLA o API di navigazione — come strumenti e trasmettere video, audio o testo multimodali direttamente nel modello.

Google riferisce che Gemini Robotics ER 2 supera in modo costante ER 1.6 nell'orchestrazione degli strumenti in tre modalità di controllo: VLA reale, VLA simulato e teleoperazione umana.

Il ragionamento di alto livello nella robotica dipende in larga misura dalla velocità di esecuzione. Gemini Robotics ER 2 si integra con la Gemini Live API, utilizzando un endpoint di streaming bidirezionale ottimizzato per attività sensibili alla latenza. Il risultato è un'orchestrazione fluida in cui il modello comanda modelli d'azione e API di robotica per completare compiti multi-step senza le pause di "stop-and-think" tipiche dei sistemi precedenti. Per dimostrare queste capacità, Google ha realizzato una demo con Spot dei partner di Boston Dynamics. Gemini Robotics ER 2 orchestra le Spot APIs — come navigazione e movimento del manipolatore — per creare un robot interattivo che recupera oggetti su comando in linguaggio naturale. Il codice è disponibile su GitHub insieme ad altri esempi.

Intelligenza temporale per il completamento robusto dei compiti

Una delle sfide più difficili della robotica è capire quando un compito è davvero concluso. Gemini Robotics ER 2 introduce miglioramenti significativi nella comprensione video e nel tracciamento dei progressi, consentendo ai robot di verificare che compiti complessi — come stringere una lampadina o chiudere un sacco della spazzatura — rispettino le specifiche prima di passare al passaggio successivo.

Classificazione continua dei progressi

La classificazione dei progressi si riferisce alla capacità di un robot di monitorare il completamento di un'attività in tempo reale. Nelle valutazioni di Google, ogni frame di un flusso video viene assegnato a uno di cinque livelli di avanzamento (0-20%, 20-40%, 40-60%, 60-80%, 80-100%). Quantificando il progresso del compito, il modello fornisce ai robot consapevolezza della situazione in tempo reale, consentendo loro di adattare le azioni al volo o di riprovare i passaggi falliti senza riavviare l'intero flusso di lavoro.

Gemini Robotics ER 2 raggiunge un'accuratezza del 57.4% nei task di classificazione dei progressi, superando i modelli di generazione precedente e i modelli frontier concorrenti.

Individuazione precisa del momento

La moment-finding misura la capacità di un modello di identificare il frame video esatto in cui si verifica un evento critico — ad esempio, quando smettere di versare il caffè in una tazza. Nei task di moment-finding, Gemini Robotics ER 2 raggiunge un'accuratezza del 91.3% con una distanza media assoluta di 0.96s. Secondo Google, questa performance compete da vicino con categorie di modelli molto più grandi, pur offrendo precisione a una frazione del costo di calcolo e con una velocità di esecuzione 4x superiore — la latenza inferiore al secondo necessaria per operare in sicurezza robot fisici in ambienti reali.

Collaborazione tra più robot

Nessun singolo robot è adatto a ogni compito: un rover su ruote eccelle in ambienti interni, mentre un robot umanoide può rendere meglio su terreni irregolari. Gemini Robotics ER 2 introduce la collaborazione tra più robot, consentendo a macchine diverse di comunicare tramite una comprensione semantica condivisa per passarsi le attività e completare compiti complessi. Google ha dimostrato questa capacità con Apollo 2 di Apptronik e Franka F3 Duo che lavorano insieme. Questo colloca Google accanto ad Amazon, che ha distribuito flotte eterogenee di robot nei centri di evasione ordini, anche se quei sistemi si basano su una coordinazione centralizzata della gestione del magazzino anziché su una comunicazione semantica in tempo reale tra robot di marche diverse.

Miglioramento dell'intelligenza spaziale generale

Gemini Robotics ER 2 fa progredire le capacità core di ragionamento spaziale in tre benchmark:

• Rilevamento successo/fallimento: ora opera su flussi video grezzi invece che su istantanee statiche, consentendo al modello di intercettare fallimenti a metà esecuzione come fuoriuscite, scivolamenti o disallineamenti.
• Lettura generale di strumenti: si estende oltre quadranti circolari e vetri spia per includere display digitali, scale lineari, righelli e termometri a liquido. Google ha testato la capacità su 10 diversi tipi di strumenti.
• VQA spaziale migliorata: migliora il Visual Question Answering grazie ai progressi di Gemini nella comprensione multimodale.

Il modello ottiene costantemente la massima accuratezza in tutte le capacità principali, con risultati di rilievo nel rilevamento del successo (immagine e video), nel Question Answering (ERQA) e nella lettura generalizzata degli strumenti.

Progressi nella sicurezza

Google descrive Gemini Robotics ER 2 come il suo modello di robotica più sicuro fino ad oggi, con miglioramenti significativi nei benchmark Safety Instruction Following e Human Proximity — valutazioni che misurano quanto un modello rispetti i vincoli fisici durante i compiti di ragionamento e la consapevolezza spaziale per il rilevamento di esseri umani nelle vicinanze. Questi benchmark hanno un peso pratico mentre la robotica industriale si sposta dalle tradizionali installazioni in gabbia verso ambienti collaborativi in cui esseri umani e robot condividono gli stessi spazi di lavoro.

Nei test, Gemini Robotics ER 2 ha arrestato con successo un robot umanoide quando una persona è entrata nelle vicinanze e ha ripreso autonomamente il lavoro solo quando l'area è stata sgombra.

Google sta inoltre introducendo un nuovo benchmark che valuta la capacità di un foundation model di agire come orchestratore VLA sicuro. Il benchmark testa la capacità del modello di applicare vincoli di sicurezza, monitorare l'ambiente, valutare la fattibilità fisica e chiedere chiarimenti a un essere umano. Per i dettagli, vedere il safety technical report.

Gemini Robotics ER 2 supera ER 1.6 e altri modelli frontier nei benchmark Safety Instruction Following e Human Proximity.

Prospettive future

Google ha dichiarato che intende spingere questi modelli verso compiti ancora più complessi per accelerare lo sviluppo di robot utili e supportare la comunità della robotica. Gli sviluppatori possono trovare esempi di configurazione e prompting su GitHub e consultare il model card per ulteriori dettagli.