Les robots humanoïdes peuvent désormais apprendre à marcher, courir, ramper, danser et manipuler des objets à l'aide d'un seul modèle de fondation de Nvidia.

SONIC de Nvidia — acronyme de « supersizing motion tracking for natural humanoid control » (surdimensionner le suivi de mouvement pour un contrôle humanoïde naturel) — est conçu pour donner aux robots humanoïdes un contrôle du corps entier, leur permettant de coordonner leurs articulations, de maintenir leur équilibre et d'adapter leurs mouvements en temps réel.

Ce modèle de fondation open source léger est désormais disponible publiquement, Nvidia ayant publié un point de contrôle en juillet pour des applications incluant la téléopération et le contrôle piloté par vision-langage-action (VLA). La recherche derrière SONIC a également été publiée ce mois-ci dans Science Robotics, dans le cadre des efforts de Nvidia pour rendre le modèle accessible à un plus grand nombre d'ingénieurs.

Une approche différente du contrôle robotique

Alors que les modèles de langage et de vision se sont rapidement développés pour intégrer des milliards de paramètres entraînés sur d'innombrables jeux de données, les modèles utilisés pour contrôler le mouvement des humanoïdes sont restés relativement modestes — quelques GPU réglés sur un ensemble limité de comportements. Ajouter une nouvelle compétence ou un nouveau mouvement au répertoire d'un robot exigeait généralement de construire un contrôleur entièrement nouveau, ce qui explique en partie pourquoi les systèmes humanoïdes ont été plus lents à généraliser d'une tâche à l'autre que les modèles d'IA logiciels.

SONIC est conçu pour changer la donne. Le modèle s'appuie sur plus de 100 millions d'images de capture de mouvement — représentant environ 700 heures de mouvement humain — pour créer un modèle unique d'entraînement robotique.

« Le contrôle du corps entier exige que chaque articulation se coordonne tout en maintenant l'équilibre, en gérant les contacts et en s'adaptant en temps réel à des objectifs de mouvement changeants », a déclaré à AI Business Yuke Zhu, directeur et distinguished research scientist chez Nvidia.

Comment cela fonctionne

SONIC a été démontré selon trois dimensions : la taille du modèle, les données d'entraînement et la puissance de calcul, avec des modèles d'entraînement allant de 1,2 million à 42 millions de paramètres. Il en résulte un contrôleur capable de suivre une gamme de mouvements tout en s'adaptant à des mouvements qu'il n'a pas rencontrés pendant l'entraînement.

Pour Zhu, cela représente un changement dans la manière dont les robots humanoïdes peuvent être programmés.

« Au lieu de concevoir manuellement des contrôleurs pour des compétences individuelles, SONIC apprend une fondation de mouvement générale grâce à un suivi de mouvement à grande échelle », a-t-il déclaré. « La même politique peut être pilotée par la VR, la vidéo ou des modèles VLA et se généralise à des comportements au-delà de ceux observés pendant l'entraînement. »

Cette flexibilité pourrait devenir de plus en plus importante à mesure que les robots humanoïdes passent de démonstrations contrôlées à des environnements réels et imprévisibles, où la coordination, l'équilibre et le rétablissement comptent autant que la tâche cible elle-même.

Lors de tests, l'équipe a montré SONIC accomplissant une gamme de tâches, notamment prendre une perceuse et la placer dans une boîte, jeter une canette de soda à la poubelle et manipuler des objets tels qu'une carotte, une éponge et une pomme. Le robot a également été montré en train d'exécuter des mouvements de kung-fu et de ramper au sol, en imitant en temps réel un démonstrateur humain.

Les défis qui subsistent

Malgré ces progrès, SONIC reste un système de recherche, et certains des problèmes les plus difficiles du contrôle des humanoïdes demeurent irrésolus. Zhu a indiqué que les interactions riches en contacts et les mouvements fortement contraints sont particulièrement difficiles, surtout lorsqu'il existe un écart entre la simulation et les performances dans le monde réel.

« Nvidia améliore ces aspects grâce à des données d'entraînement plus riches, une meilleure simulation et la randomisation de domaine, tandis que certaines limites dépendent en fin de compte des capacités physiques du robot », a-t-il déclaré.

Le plus grand test consistera à déterminer si les développeurs peuvent faire passer cette conception des démonstrations contrôlées aux déploiements physiques, où la répétabilité et la sécurité deviennent des exigences centrales plutôt que des considérations secondaires.

« L'étape suivante consiste à démontrer une robustesse, une fiabilité et une sécurité durables dans des environnements réels diversifiés », a déclaré Zhu. « Cela exige une validation plus large, un meilleur transfert simulation-réel et des systèmes de sécurité de niveau production intégrés à l'ensemble de la pile robotique. »

SONIC au sein de l'écosystème de Nvidia

SONIC s'inscrit dans la campagne plus large de Nvidia visant à construire la pile technologique sous-jacente de l'IA physique. Le fabricant de puces positionne de plus en plus la robotique comme une extension de sa plateforme d'IA, ses écosystèmes Isaac et Cosmos couvrant les modèles de fondation robotiques, la simulation, les données synthétiques et les outils de déploiement de modèles d'IA sur des machines physiques.

Tandis que la plateforme Isaac GR00T de Nvidia est conçue pour interpréter des instructions et déterminer ce qu'un robot doit faire, SONIC traduit ces intentions en mouvements physiques coordonnés.

« SONIC est la fondation de mouvement qui convertit une intention de haut niveau en mouvement coordonné du corps entier », a déclaré Zhu. « Il relie la simulation et les modèles de fondation, y compris les modèles VLA, au contrôle robotique en temps réel, fournissant une politique réutilisable du corps entier plutôt que d'exiger un nouveau contrôleur de bas niveau pour chaque tâche. »