Google DeepMind stellt Gemini Robotics ER 2 für räumliches Denken in Echtzeit und Zusammenarbeit mehrerer Roboter vor

Google DeepMind hat Gemini Robotics ER 2 vorgestellt, das bislang leistungsfähigste Modell des Unternehmens für „embodied reasoning“, das als hochstufiges Gehirn für Roboter dienen soll. Das Modell ermöglicht räumliches Denken in Echtzeit, die Planung mehrstufiger Aufgaben und die Zusammenarbeit zwischen verschiedenen Robotern und stellt ein deutliches Upgrade gegenüber seinem Vorgänger Gemini Robotics ER 1.6 dar. Die Veröffentlichung verschärft den Wettbewerb im entstehenden Markt für allgemeine Robotics-Foundation-Modelle, in dem Akteure wie NVIDIA mit Project GR00T, Figure AI, Physical Intelligence und Teslas Optimus-Programm darum ringen, KI-Systeme zu entwickeln, die physische Maschinen über unterschiedliche Aufgaben hinweg steuern können.

Gemini Robotics ER 2 steht Entwicklern ab sofort öffentlich über die Gemini API, Google AI Studio und in einer privaten Vorschau auf der Gemini Enterprise Agent Platform zur Verfügung. Entwickler können es nutzen, um physische KI-Agenten zu bauen, die mit Menschen chatten, die physische Welt verstehen und mehrstufige Aufgaben planen, bevor die Motorsteuerung an niedrigere Vision-Language-Action-(VLA)-Modelle übergeben wird. Diese geschichtete Architektur — bei der ein Denkmodell hochstufige Entscheidungen orchestriert und die physische Steuerung spezialisierten Ausführungsmodellen überlässt — spiegelt eine Designphilosophie wider, die auch mehrere andere KI-Initiativen für Robotik verfolgen, als Alternative zu einzelnen End-to-End-Modellen, die alles von der Wahrnehmung bis zur Motorsteuerung in einem System abbilden wollen.

Das Modell kann nativ Werkzeuge wie die Google Suche oder jede vom Nutzer definierte Funktion aufrufen. Seine Architektur ermöglicht es einem Roboter, über den nächsten Schritt nachzudenken, während er gleichzeitig aktuelle Aktionen ausführt, was zu einem flüssigeren Betrieb führt.

Fortschritte bei physischen agentischen Fähigkeiten

Die meisten Aufgaben in der physischen Welt erfordern mehrere Schritte. Gemini Robotics ER 2 fungiert als physischer Agent, der Schritte orchestriert, Selbstkorrektur ermöglicht und auf neuartige Situationen verallgemeinert. Entwickler können niedrigere Steuerungsschnittstellen — etwa VLA-Modelle oder Navigations-APIs — als Werkzeuge deklarieren und multimodale Video-, Audio- oder Textdaten direkt in das Modell streamen.

Google berichtet, dass Gemini Robotics ER 2 ER 1.6 bei der Werkzeugorchestrierung über drei Steuerungsmodi hinweg durchgängig übertrifft: reales VLA, simuliertes VLA und menschliche Teleoperation.

Hochstufiges Denken in der Robotik hängt stark von der Ausführungsgeschwindigkeit ab. Gemini Robotics ER 2 ist in die Gemini Live API integriert und nutzt einen bidirektionalen Streaming-Endpunkt, der für latenzkritische Aufgaben optimiert ist. Das Ergebnis ist eine flüssige Orchestrierung, bei der das Modell Aktionsmodelle und Robotics-APIs anweist, mehrstufige Aufgaben ohne die störenden „stop-and-think“-Pausen älterer Systeme auszuführen. Reaktionszeiten unter einer Sekunde sind seit Langem eine Voraussetzung für sichere, geschlossene Robotersteuerung; dass dies in einem auf einem Large-Language-Model basierenden System erreicht wird, verringert die Lücke zwischen kognitiver Planung und physischer Reaktion, die den Praxiseinsatz bisher eingeschränkt hat.

Um diese Fähigkeiten zu demonstrieren, hat Google eine Demo mit Spot von Boston Dynamics entwickelt. Gemini Robotics ER 2 orchestriert Spot APIs — etwa für Navigation und Manipulatorbewegungen — und schafft so einen interaktiven Roboter, der auf Sprachbefehle hin Objekte holt. Der Code ist auf GitHub verfügbar zusammen mit weiteren Beispielen.

Zeitliche Intelligenz für robuste Aufgabenerledigung

Eine der größten Herausforderungen in der Robotik ist zu erkennen, wann eine Aufgabe vollständig abgeschlossen ist. Gemini Robotics ER 2 bringt deutliche Verbesserungen beim Videoverständnis und beim Fortschritts-Tracking mit, sodass Roboter prüfen können, ob komplexe Aufgaben — etwa das Festziehen einer Glühbirne oder das Zuknoten eines Müllbeutels — den Spezifikationen entsprechen, bevor sie fortfahren.

Kontinuierliche Fortschrittsklassifizierung

Fortschrittsklassifizierung beschreibt die Fähigkeit eines Roboters, den Fortschritt bis zum Abschluss einer Aufgabe in Echtzeit zu verfolgen. In Googles Evaluierungen wird jedes Bild eines Videostreams einer von fünf Fortschrittsstufen zugeordnet (0–20 %, 20–40 %, 40–60 %, 60–80 %, 80–100 %). Durch die Quantifizierung des Aufgabenfortschritts verschafft das Modell Robotern Situationsbewusstsein und ermöglicht es ihnen, Aktionen unterwegs anzupassen oder fehlgeschlagene Schritte zu wiederholen, ohne den gesamten Arbeitsablauf neu zu starten.

Gemini Robotics ER 2 erreicht bei Fortschrittsklassifizierungsaufgaben eine Genauigkeit von 57,4 % und übertrifft damit Modelle der vorherigen Generation sowie konkurrierende Frontier-Modelle.

Präzise Momentenerkennung

Momentenerkennung misst die Fähigkeit eines Modells, das exakte Videobild zu identifizieren, in dem ein kritisches Ereignis stattfindet — etwa wann mit dem Eingießen von Kaffee in eine Tasse aufgehört werden sollte. Bei Momentenerkennungsaufgaben erreicht Gemini Robotics ER 2 91,3 % Genauigkeit und eine mittlere absolute Distanz von 0,96 s. Laut Google steht diese Leistung in engem Wettbewerb mit deutlich größeren Modellkategorien, liefert die Präzision jedoch bei einem Bruchteil der Rechenkosten und mit vierfacher Ausführungsgeschwindigkeit — der Latenz im Subsekundenbereich, die für den sicheren Betrieb physischer Roboter in realen Umgebungen erforderlich ist.

Zusammenarbeit mehrerer Roboter

Kein einzelner Roboter eignet sich für jede Aufgabe: Ein fahrender Rover ist in Innenräumen stark, während ein humanoider Roboter auf unebenem Gelände besser abschneiden kann. Gemini Robotics ER 2 führt die Zusammenarbeit mehrerer Roboter ein und ermöglicht es unterschiedlichen Maschinen, über ein gemeinsames semantisches Verständnis zu kommunizieren, Aufgaben zu übergeben und komplexe Arbeiten gemeinsam zu erledigen. Google hat diese Fähigkeit mit Apptroniks Apollo 2 und dem Franka F3 Duo demonstriert, die zusammenarbeiten. Damit positioniert sich Google neben Amazon, das heterogene Roboterflotten in Fulfillment-Zentren einsetzt, auch wenn diese Systeme auf zentraler Lagerverwaltungskoordination statt auf semantischer Echtzeitkommunikation zwischen Robotern unterschiedlicher Hersteller beruhen.

Verbesserte räumliche Intelligenz

Gemini Robotics ER 2 erweitert die zentralen Fähigkeiten im räumlichen Denken über drei Benchmarks hinweg:

• Erkennung von Erfolg/Misserfolg: Arbeitet nun mit Rohvideostreams statt mit statischen Einzelbildern, um während der Ausführung auftretende Fehler wie Verschüttungen, Ausrutscher oder Fehlausrichtungen zu erkennen.
• Allgemeines Ablesen von Instrumenten: Geht über runde Zifferblätter und Sichtgläser hinaus und umfasst digitale Anzeigen, lineare Skalen, Lineale und Flüssigkeitsthermometer. Google testete die Fähigkeit an 10 verschiedenen Instrumententypen.
• Erweiterte räumliche VQA: Verbessert Visual Question Answering durch Geminis Fortschritte im multimodalen Verständnis.

Das Modell erzielt durchgängig die höchste Genauigkeit über alle Kernfähigkeiten hinweg, darunter Erkennung von Erfolg (Bild und Video), Question Answering (ERQA) und allgemeines Ablesen von Instrumenten.

Fortschritte bei der Sicherheit

Google bezeichnet Gemini Robotics ER 2 als sein bisher sicherstes Robotikmodell mit deutlichen Verbesserungen bei den Benchmarks Safety Instruction Following und Human Proximity — Tests, die prüfen, wie gut ein Modell während Denkaufgaben physische Einschränkungen einhält und Menschen in der Umgebung erkennt. Diese Benchmarks sind praktisch relevant, da sich die industrielle Robotik von klassischen, abgeschotteten Einsätzen hin zu kollaborativen Umgebungen verlagert, in denen Menschen und Roboter Arbeitsräume teilen.

In Tests stoppte Gemini Robotics ER 2 einen humanoiden Roboter erfolgreich, sobald sich eine Person in seiner Nähe befand, und nahm die Arbeit autonom erst wieder auf, als der Bereich frei war.

Google führt außerdem einen neuen Benchmark ein, der die Fähigkeit eines Foundation Models bewertet, als sicherer VLA-Orchestrator zu agieren. Der Benchmark prüft, ob ein Modell Sicherheitsvorgaben durchsetzen, die Umgebung überwachen, die physische Machbarkeit bewerten und menschliche Rückfragen einholen kann. Vollständige Details finden sich im Sicherheits-Technical-Report.

Gemini Robotics ER 2 übertrifft ER 1.6 und andere Frontier-Modelle sowohl bei Safety Instruction Following als auch bei Human Proximity.

Ausblick

Google erklärte, man wolle das Modell auf noch komplexere Aufgaben ausrichten, um die Entwicklung hilfreicher Roboter zu beschleunigen und die Robotik-Community zu unterstützen. Entwickler finden Konfigurations- und Prompting-Beispiele auf GitHub und können die Model Card für weitere Details einsehen.