Humanoïde robots kunnen nu worden geleerd om te lopen, te rennen, te kruipen, te dansen en objecten te hanteren met behulp van één enkel Nvidia-fundatiemodel.

Nvidia's SONIC — een afkorting van "supersizing motion tracking for natural humanoid control" — is ontworpen om humanoïde robots controle over het hele lichaam te geven, waarmee ze hun gewrichten kunnen coördineren, hun balans kunnen behouden en hun bewegingen in realtime kunnen aanpassen.

Het lichtgewicht open-source fundatiemodel is nu publiek beschikbaar, waarbij Nvidia in juli een checkpoint uitbracht voor toepassingen zoals teleoperatie en vision-language-action (VLA)-gestuurde besturing. Het onderzoek achter SONIC werd deze maand ook gepubliceerd in Science Robotics, als onderdeel van Nvidia's streven om het model bij meer engineers te brengen.

Een andere aanpak van robotbesturing

Terwijl taal- en visiemodellen snel zijn gegroeid tot miljarden parameters, getraind op talloze datasets, zijn de modellen die humanoïde bewegingen besturen relatief klein gebleven — een handvol GPU's afgestemd op een beperkte reeks gedragingen. Het toevoegen van een nieuwe vaardigheid of beweging aan het repertoire van een robot vereiste doorgaans het bouwen van een volledig nieuwe controller, wat mede verklaart waarom humanoïde systemen trager generaliseren over taken dan op software gebaseerde AI-modellen.

SONIC is ontworpen om dat te veranderen. Het model put uit meer dan 100 miljoen motion-capture frames — goed voor ongeveer 700 uur aan menselijke bewegingen — om één enkel robottrainingsmodel te creëren.

"Controle over het hele lichaam vereist dat elk gewricht samenwerkt terwijl de balans wordt behouden, contacten worden afgehandeld en veranderende bewegingsdoelen realtime worden aangepast," aldus Yuke Zhu, directeur en distinguished research scientist bij Nvidia, tegenover AI Business.

Hoe het werkt

SONIC is gedemonstreerd over drie dimensies: modelgrootte, trainingsdata en rekenkracht, met trainingsmodellen variërend van 1,2 miljoen tot 42 miljoen parameters. Het resultaat is een controller die een reeks bewegingen kan volgen en zich tegelijkertijd kan aanpassen aan bewegingen die tijdens de training niet zijn tegengekomen.

Voor Zhu betekent dat een verandering in hoe humanoïde robots geprogrammeerd kunnen worden.

"In plaats van controllers voor afzonderlijke vaardigheden met de hand te ontwerpen, leert SONIC een algemene bewegingsfundatie via grootschalige motion tracking," zei hij. "Hetzelfde policy kan worden aangestuurd door VR-, video- of VLA-modellen en generaliseert naar gedrag dat verder gaat dan wat tijdens de training is gezien."

Die flexibiliteit kan steeds belangrijker worden naarmate humanoïde robots van gecontroleerde demonstraties naar onvoorspelbare praktijkomgevingen gaan, waar coördinatie, balans en herstel net zo belangrijk zijn als de taak zelf.

In tests toonde het team SONIC die een reeks taken uitvoerde, waaronder het oppakken en plaatsen van een boormachine in een doos, het gooien van een frisdrankblikje in de prullenbak en het hanteren van objecten zoals een wortel, een spons en een appel. De robot werd ook getoond terwijl deze kung-fu uitvoerde en over de vloer kroop, waarbij een menselijke demonstrator in realtime werd gevolgd.

Resterende uitdagingen

Ondanks de vooruitgang is SONIC nog steeds een onderzoekssysteem en blijven enkele van de moeilijkste problemen in de besturing van humanoïde robots onopgelost. Zhu zei dat interacties met veel contact en sterk beperkte bewegingen bijzonder uitdagend zijn, vooral waar er een kloof bestaat tussen simulatie en prestaties in de echte wereld.

"Nvidia verbetert dit via rijkere trainingsdata, betere simulatie en domeinrandomisatie, terwijl sommige beperkingen uiteindelijk afhangen van de fysieke capaciteiten van de robot," zei hij.

De grotere test zal zijn of ontwikkelaars het ontwerp kunnen vertalen van gecontroleerde demonstraties naar fysieke inzet, waar herhaalbaarheid en veiligheid centrale vereisten worden in plaats van secundaire overwegingen.

"De volgende stap is het aantonen van langetermijnrobuustheid, betrouwbaarheid en veiligheid in uiteenlopende praktijkomgevingen," zei Zhu. "Dit vereist bredere validatie, verbeterde sim-to-real-overdracht en veiligheidssystemen van productiekwaliteit, geïntegreerd in de hele robotics-stack."

SONIC binnen Nvidia's framework

SONIC maakt deel uit van Nvidia's bredere streven om de onderliggende technologie-stack voor fysieke AI te bouwen. De chipmaker heeft robotics steeds meer gepositioneerd als een verlengstuk van zijn AI-platform, met de ecosystemen Isaac en Cosmos die robotfundatiemodellen, simulatie, synthetische data en tools voor het inzetten van AI-modellen op fysieke machines omvatten.

Terwijl Nvidia's Isaac GR00T-platform is ontworpen om instructies te interpreteren en te bepalen wat een robot moet doen, vertaalt SONIC die intenties naar gecoördineerde fysieke bewegingen.

"SONIC is de bewegingsfundatie die intenties op hoog niveau omzet in gecoördineerde bewegingen van het hele lichaam," zei Zhu. "Het verbindt simulatie en fundatiemodellen, waaronder VLA-modellen, met realtime robotbesturing, en biedt een herbruikbaar whole-body policy in plaats van een nieuwe low-level controller voor elke taak."