Roboter können humanoiden Maschinen jetzt mit einem einzigen Nvidia-Fundamentmodell das Gehen, Laufen, Krabbeln, Tanzen und die Manipulation von Objekten beibringen.

Nvidias SONIC — kurz für "supersizing motion tracking for natural humanoid control" — ist darauf ausgelegt, humanoiden Robotern Ganzkörperkontrolle zu geben, sodass sie ihre Gelenke koordinieren, das Gleichgewicht halten und ihre Bewegungen in Echtzeit anpassen können.

Das leichte Open-Source-Fundamentmodell ist nun öffentlich verfügbar, nachdem Nvidia im Juli einen Checkpoint für Anwendungen wie Teleoperation und vision-language-action-(VLA)-gesteuerte Steuerung veröffentlicht hatte. Die Forschung hinter SONIC wurde diesen Monat außerdem in Science Robotics veröffentlicht, im Rahmen von Nvidias Bestreben, das Modell mehr Ingenieuren zugänglich zu machen.

Ein anderer Ansatz für die Robotersteuerung

Während Sprach- und Sehmodelle sich rasch erweitert haben und inzwischen Milliarden von Parametern auf unzähligen Datensätzen verarbeiten, sind die Modelle zur Steuerung humanoider Bewegung relativ klein geblieben — einige wenige GPUs, abgestimmt auf eine begrenzte Zahl von Verhaltensweisen. Eine neue Fähigkeit oder Bewegung zur Robotik hinzuzufügen, erforderte bislang meist den Bau eines komplett neuen Controllers, was erklärt, warum humanoide Systeme bei der Verallgemeinerung über Aufgaben hinweg langsamer sind als softwarebasierte KI-Modelle.

SONIC soll das ändern. Das Modell nutzt mehr als 100 Millionen Motion-Capture-Frames — entsprechend rund 700 Stunden menschlicher Bewegung —, um ein einziges Trainingsmodell für Roboter zu erstellen.

"Die Ganzkörpersteuerung erfordert, dass jedes Gelenk zusammenarbeitet, während gleichzeitig das Gleichgewicht gehalten, Kontakte verarbeitet und sich an sich ändernde Bewegungsziele in Echtzeit angepasst wird", sagte Yuke Zhu, Director und Distinguished Research Scientist bei Nvidia, gegenüber AI Business.

Funktionsweise

SONIC wurde entlang von drei Dimensionen demonstriert: Modellgröße, Trainingsdaten und Rechenleistung, wobei die Trainingsmodelle zwischen 1,2 Millionen und 42 Millionen Parametern lagen. Das Ergebnis ist ein Controller, der eine Reihe von Bewegungen verfolgen und sich zugleich an Bewegungen anpassen kann, auf die er im Training nicht gestoßen ist.

Für Zhu stellt dies eine Veränderung dar, wie humanoide Roboter programmiert werden können.

"Anstatt Controller für einzelne Fähigkeiten per Hand zu entwerfen, lernt SONIC über groß angelegtes Motion Tracking eine allgemeine Bewegungsgrundlage", sagte er. "Dieselbe Policy kann durch VR-, Video- oder VLA-Modelle gesteuert werden und generalisiert auf Verhaltensweisen, die über die im Training gesehenen hinausgehen."

Diese Flexibilität könnte zunehmend wichtig werden, wenn humanoide Roboter von kontrollierten Demonstrationen in reale, unvorhersehbare Umgebungen übergehen, in denen Koordination, Gleichgewicht und Wiederherstellung ebenso wichtig sind wie die eigentliche Zielaufgabe.

In Tests zeigte das Team SONIC bei einer Reihe von Aufgaben, darunter das Aufheben und Platzieren eines Bohrers in einer Box, das Wegwerfen einer Getränkedose in den Müll sowie den Umgang mit Objekten wie einer Karotte, einem Schwamm und einem Apfel. Außerdem wurde der Roboter gezeigt, wie er Kung-Fu ausführt und auf dem Boden krabbelt, während er einen menschlichen Demonstrator in Echtzeit nachahmt.

Die verbleibenden Herausforderungen

Trotz der Fortschritte ist SONIC weiterhin ein Forschungssystem, und einige der schwierigsten Probleme der humanoiden Steuerung sind noch ungelöst. Zhu sagte, kontaktreiche Interaktionen und stark eingeschränkte Bewegungen seien besonders herausfordernd, vor allem dort, wo eine Lücke zwischen Simulation und realer Leistung besteht.

"Nvidia verbessert diese Aspekte durch reichhaltigere Trainingsdaten, bessere Simulation und Domain Randomization, während einige Einschränkungen letztlich von den physischen Fähigkeiten des Roboters abhängen", sagte er.

Die größere Bewährungsprobe wird jedoch sein, ob Entwickler das Design von kontrollierten Demonstrationen auf physische Einsätze übertragen können.

"Der nächste Schritt besteht darin, langfristige Robustheit, Zuverlässigkeit und Sicherheit in unterschiedlichen realen Umgebungen zu zeigen", sagte Zhu. "Dafür sind breitere Validierung, ein verbesserter Sim-to-Real-Transfer und Produktions-Sicherheitssysteme erforderlich, die über den gesamten Robotics-Stack integriert sind."

SONIC in Nvidias Rahmenwerk

SONIC ist Teil von Nvidias größerer Initiative, den zugrunde liegenden Technologie-Stack für Physical AI aufzubauen.

Der Chipkonzern positioniert Robotik zunehmend als Erweiterung seiner KI-Plattform, wobei seine Isaac- und Cosmos-Ökosysteme Robotik-Fundamentmodelle, Simulation, synthetische Daten und Werkzeuge für den Einsatz von KI-Modellen auf physischen Maschinen umfassen.

Während Nvidias Isaac-GR00T-Plattform darauf ausgelegt ist, Anweisungen zu interpretieren und zu bestimmen, was ein Roboter tun soll, übersetzt SONIC diese Absichten in koordinierte physische Bewegung.

"SONIC ist die Bewegungsgrundlage, die hochrangige Absichten in koordinierte Ganzkörper-Bewegung umsetzt", sagte Zhu. "Es verbindet Simulation und Fundamentmodelle, einschließlich VLA-Modelle, mit der Echtzeit-Robotersteuerung und stellt eine wiederverwendbare Ganzkörper-Policy bereit, anstatt für jede Aufgabe einen neuen Low-Level-Controller zu benötigen."