Nvidia heeft de Jetson Orin Nano 2 geïntroduceerd, een nieuw edge-AI-platform dat is ontworpen voor het bouwen van robots, drones en vision-AI-systemen die in realtime werken, terwijl de chipmaker zijn inzet voortzet om fysieke AI — machines die de fysieke wereld waarnemen en erop reageren in plaats van alleen tekst of afbeeldingen te genereren — naar de praktijk te brengen.

Het platform, op dinsdag onthuld en naar verwachting beschikbaar in de eerste helft van 2027, is gebaseerd op een nieuwe versie van Nvidia's Ampere-architectuur-silicium. Nvidia noemde machine-visionbedrijf Cognex, fabrikant van bouwmachines Doosan Bobcat en robotstofzuigerstartup Matic als eerste klanten, een lijst die industriële, commerciële en consumententoepassingen bestrijkt.

Volgens Nvidia biedt de Nano 2 twee keer zoveel prestaties als de vorige generatie, of tot 40% lager energieverbruik bij hetzelfde prestatieniveau. Omdat edge-systemen AI direct op het apparaat uitvoeren in plaats van in een datacenter, zijn beide cijfers van belang voor batterijaangedreven robots en drones die in realtime moeten reageren zonder het stroom- of koelingsbudget van een server.

In een mediabriefing zei Deepu Talla, vice-president robotica en edge AI bij Nvidia, dat de lancering een reactie is op het bereiken van een "kantelpunt" in modelnauwkeurigheid.

"Wat vroeger een groot datacenter en veel GPU's vereiste, kan nu op Nvidia Jetson draaien," zei hij. "We kunnen nu dezelfde frontier-nauwkeurigheid bereiken als de grootste modellen van vorig jaar."

Deze grotere toegankelijkheid van hoogwaardige AI-modellen is gunstig voor de robotica-industrie en maakt, aldus Talla, geavanceerde fysieke AI eindelijk praktisch aan de edge.

"Robotica is een drie-computerprobleem," zei hij. "De eerste computer is waar we alle intelligentie trainen, de tweede computer in het midden is waar we alle tests en beleidsbeoordelingen doen. De laatste computer, de derde computer, is de runtime of het robotbrein, en dat is Nvidia Jetson."

Real-time modellen aan de edge

Nvidia zegt dat de Orin Nano 2 de nieuwste kleine en middelgrote taalmodellen en vision-language-modellen in realtime kan draaien. Talla verwees naar Nvidia's eigen Nemotron-modellen als voorbeeld en merkte op dat de nieuwste Nemotron 3.5 Lightning op Jetson ongeveer 115 tokens per seconde kan draaien.

Die prestatie wordt niet alleen mogelijk gemaakt door hardwareverbeteringen, maar ook door vooruitgang in modeltraining. Talla schreef de voortgang toe aan betere trainingsdata, verbeteringen in modelarchitectuur en de mogelijkheid om grotere modellen te gebruiken om kleinere modellen te trainen, of te distilleren. Het resultaat, zei hij, is een trainingskader voor robotica dat sneller en eenvoudiger zal zijn dan eerdere systemen.

De roboticarekening verlagen

"Vroeger was roboticaprogrammering extreem tijdrovend en duur," zei Talla. "Maar nu, met autonome mogelijkheden, gaat roboticaprogrammering extreem eenvoudig worden, en we zien al een explosie van AI-toepassingen op instapniveau."

Die verschuiving kan robotica economisch haalbaar maken buiten toepassingen met hoog volume in de industrie, doordat AI-modellen meer programmeertaken automatiseren.

Ben Lee, hoogleraar aan de School of Engineering and Applied Science van de University of Pennsylvania, zei dat Nvidia's bestaande positie in edge AI het bedrijf een sterk uitgangspunt geeft nu robots steeds capabelere modellen nodig hebben om lokaal te werken.

"Nvidia heeft met het Jetson-platform een aanzienlijke markt gehad in edge-AI-chips," zei Lee. "Door krachtigere AI-processors te integreren en extra softwareondersteuning voor inferentie te bieden, kan het gebruik van nieuwere AI-modellen in robotica en andere autonome systemen mogelijk worden."

Lee benadrukte ook de economie van het inzetten van robots buiten traditionele industriële omgevingen. Volgens hem kan een volwassener softwarestack de technische inspanning verminderen die robotica historisch moeilijk te rechtvaardigen maakte voor toepassingen met lagere waarde.

"Voor robotica is de uitdaging dat engineeringskosten moeilijk te rechtvaardigen zijn voor algemene toepassingen met lagere waarde," zei hij. "Een volwassen softwarestack die deze robots en processors eenvoudiger programmeerbaar maakt, zal de engineeringinspanning verlagen en de kosten drukken."

Kleinere modellen, grotere voetafdruk

Nvidia's inzet richting de roboticamarkt komt op een moment dat breder wordt herzien wat überhaupt als een klein model geldt, volgens Alexander Harrowell, analist bij Omdia, onderdeel van Informa TechTarget.

"Het is zeker waar dat er meer AI in robots terechtkomt, waarbij kleine multimodale transformers in die ruimte steeds gebruikelijker worden," zei Harrowell.

Dat onderscheid is belangrijk voor hoe de sector Nvidia's specificaties moet lezen, suggereerde hij.

"Hoewel kleine AI-modellen veel beter en belangrijker worden, verandert wat we als een klein model zien," zei hij, wijzend op het feit dat een typisch model op Hugging Face is gegroeid van ongeveer 10 tot 100 miljoen parameters naar 3 tot 8 miljard. Hugging Face is een veelgebruikte publieke opslagplaats waar AI-modellen worden gedeeld.

Harrowell was sceptischer over wat de hardware van de Orin Nano 2 daadwerkelijk kan ondersteunen.

"Als je naar de specificaties van de Nano 2 kijkt, is de beperkende factor de geheugencapaciteit," zei hij.

Nu beschikbaarheid niet wordt verwacht vóór de eerste helft van 2027, zullen de hoeveelheid geheugen in de uiteindelijke hardware — en welke modellen daarin passen — tot de belangrijkste details behoren die ontwikkelaars afwegen bij het ontwerpen van systemen rond het platform.

Bron: AI Business