Roboty humanoidalne można już uczyć chodzenia, biegania, czołgania się, tańca i manipulowania obiektami za pomocą jednego modelu bazowego Nvidii.

SONIC firmy Nvidia — skrót od „supersizing motion tracking for natural humanoid control” — ma zapewniać robotom humanoidalnym kontrolę całego ciała, umożliwiając im koordynację stawów, utrzymywanie równowagi oraz dostosowywanie ruchów w czasie rzeczywistym.

Lekki model bazowy typu open source jest teraz publicznie dostępny, a Nvidia opublikowała w lipcu checkpoint do zastosowań obejmujących teleoperację oraz sterowanie oparte na vision-language-action (VLA). Badania stojące za SONIC zostały również opublikowane w tym miesiącu w Science Robotics w ramach starań Nvidii o udostępnienie modelu większej liczbie inżynierów.

Inne podejście do sterowania robotami

Podczas gdy modele językowe i wizyjne szybko rozrosły się do miliardów parametrów trenowanych na niezliczonych zbiorach danych, modele używane do sterowania ruchem humanoidów pozostawały relatywnie małe — to tylko kilka GPU dostrojonych do ograniczonego zestawu zachowań. Dodanie nowej umiejętności lub ruchu do repertuaru robota zwykle wymagało zbudowania całkowicie nowego kontrolera, co częściowo wyjaśnia, dlaczego systemy humanoidalne wolniej uogólniają się między zadaniami niż modele AI działające w oprogramowaniu.

SONIC ma to zmienić. Model wykorzystuje ponad 100 milionów klatek z przechwytywania ruchu — odpowiadających około 700 godzinom ludzkiego ruchu — aby stworzyć jeden model treningowy dla robotów.

"Sterowanie całym ciałem wymaga, aby każdy staw współpracował przy zachowaniu równowagi, obsłudze kontaktów i dostosowywaniu się w czasie rzeczywistym do zmieniających się celów ruchu", powiedział AI Business Yuke Zhu, dyrektor i wybitny badacz Nvidii.

Jak to działa

SONIC został zademonstrowany w trzech wymiarach: wielkości modelu, danych treningowych i mocy obliczeniowej, przy czym modele treningowe miały od 1,2 miliona do 42 milionów parametrów. Efektem jest kontroler, który potrafi śledzić szeroki zakres ruchów, a jednocześnie dostosowuje się do ruchów, których nie napotkał podczas treningu.

Dla Zhu oznacza to zmianę w sposobie programowania robotów humanoidalnych.

"Zamiast ręcznie projektować kontrolery dla pojedynczych umiejętności, SONIC uczy się ogólnej bazy ruchu poprzez wielkoskalowe śledzenie ruchu", powiedział. "Ta sama polityka może być napędzana przez modele VR, wideo lub VLA i generalizuje się do zachowań wykraczających poza te widziane podczas treningu."

Taka elastyczność może stawać się coraz ważniejsza, gdy roboty humanoidalne przechodzą od kontrolowanych demonstracji do rzeczywistych, nieprzewidywalnych środowisk, w których koordynacja, równowaga i odzyskiwanie stabilności są równie istotne jak samo zadanie docelowe.

W testach zespół pokazał, że SONIC wykonuje szereg zadań, w tym podniesienie i umieszczenie wiertarki w pudełku, wrzucenie puszki po napoju do kosza oraz manipulowanie takimi przedmiotami jak marchewka, gąbka i jabłko. Pokazano też robota wykonującego kung-fu i czołgającego się po podłodze, jednocześnie kopiującego ludzkiego demonstratora w czasie rzeczywistym.

Pozostałe wyzwania

Mimo postępów SONIC nadal jest systemem badawczym, a niektóre z najtrudniejszych problemów w sterowaniu humanoidami pozostają nierozwiązane. Zhu powiedział, że interakcje bogate w kontakt oraz wysoce ograniczone ruchy są szczególnie trudne, zwłaszcza tam, gdzie istnieje różnica między symulacją a wynikami w świecie rzeczywistym.

"Nvidia poprawia to poprzez bogatsze dane treningowe, lepszą symulację i randomizację domen, podczas gdy niektóre ograniczenia ostatecznie zależą od fizycznych możliwości robota", powiedział.

Większym testem będzie jednak to, czy deweloperzy zdołają przełożyć projekt z kontrolowanych demonstracji na fizyczne wdrożenia.

"Następnym krokiem jest wykazanie długoterminowej odporności, niezawodności i bezpieczeństwa w różnych rzeczywistych środowiskach", powiedział Zhu. "Wymaga to szerszej walidacji, lepszego transferu z symulacji do rzeczywistości oraz systemów bezpieczeństwa klasy produkcyjnej zintegrowanych w całym stosie robotycznym."

SONIC w ramach frameworku Nvidii

SONIC jest częścią szerszej kampanii Nvidii mającej na celu zbudowanie podstawowego stosu technologicznego dla physical AI.

Producent układów scalonych coraz częściej pozycjonuje robotykę jako rozszerzenie swojej platformy AI, a ekosystemy Isaac i Cosmos obejmują modele bazowe dla robotów, symulację, dane syntetyczne oraz narzędzia do wdrażania modeli AI na fizycznych maszynach.

Podczas gdy platforma Isaac GR00T firmy Nvidia ma interpretować instrukcje i określać, co robot powinien zrobić, SONIC przekłada te intencje na skoordynowany ruch fizyczny.

"SONIC to baza ruchu, która zamienia intencję wysokiego poziomu w skoordynowany ruch całego ciała", powiedział Zhu. "Łączy symulację i modele bazowe, w tym modele VLA, z kontrolą robota w czasie rzeczywistym, zapewniając wielokrotnego użytku politykę całego ciała zamiast wymagania nowego kontrolera niskiego poziomu dla każdego zadania."