Dieptedata bewijst pas zijn waarde zodra deze het bord bereikt waarop inferentie wordt uitgevoerd, en juist die overdracht kost veel integratietijd. De Orbbec Femto Mega, een edge AI-dieptecamera die precies rond deze overdracht is ontworpen, combineert een indirecte Time-of-Flight-sensor (iToF) met onboard NVIDIA Jetson-verwerking en streamt diepte-, RGB- en puntwolkgegevens via één USB-C- of ethernetverbinding naar de host die de inferentiestack draait — waaronder een Jetson Orin developer kit, NVIDIA's edge AI-computeplatform voor embedded en robotica-workloads. Deze gids laat zien hoe die verbinding er in de praktijk uitziet, van bekabeling tot SDK-output, voor ontwikkelaars die de Femto Mega integreren in een Jetson Orin-workflow.

Waarom iToF geschikt is voor indoor edge AI-workflows

Indirecte Time-of-Flight meet de faseverschuiving van gemoduleerd infraroodlicht dat door een scène wordt gereflecteerd, terwijl stereovisie diepte berekent via triangulatie tussen twee beeldsensoren. Dat onderscheid is binnenshuis belangrijk: iToF levert een volledig diepteframe vanuit één sensorhead zonder brede stereo-baseline, waardoor de camera compact blijft en de correlatiefouten worden vermeden die stereosystemen kunnen veroorzaken op oppervlakken met weinig textuur of repetitieve patronen.

De dieptesensor van de Femto Mega gebruikt een infrarode golflengte van 850nm en levert een resolutie tot 1024×1024 bij 15 fps in brede field-of-view-modus — een beeldveld van 120 bij 120 graden — of 640×576 bij 30 fps in smalle field-of-view-modus. Het werkende dieptebereik loopt globaal van 0,25 tot 5,46 meter, afhankelijk van de gekozen modus.

Dat bereik- en resolutieprofiel past bij de indoorperceptietaken waarvoor edge AI-pipelines doorgaans worden gebouwd. Kwaliteitsinspectie op korte afstand, dimensioneren en volumecapture in de logistiek, patiëntpositionering en begeleide workout- of motion capture-toepassingen bevinden zich allemaal binnen enkele meters van de sensor. Orbbecs eigen productdocumentatie vermeldt als bedrijfsomgeving gebruik binnenshuis bij 10°C tot 25°C en8 tot 90 procent relatieve luchtvochtigheid, niet-condenserend. Gebruik bij breed temperatuurbereik of buitenshuis vraagt om een andere camera uit Orbbecs assortiment; dit integratiepad gaat daarom uit van een gecontroleerde indooromgeving — de setting waarin iToF-dieptedata het beste presteert.

De Femto Mega beschikt ook over een geïntegreerde inertiemeeteenheid (IMU), waardoor bewegingsgegevens kunnen worden gecorreleerd met elk diepteframe. Voor toepassingen in de buurt van autonome mobiele robots (AMR) of handheld-capture laat de IMU-stream downstream inferentiecode sensorbeweging tussen frames compenseren in plaats van uit te gaan van een stilstaande camera.

Hoe de fysieke verbinding er concreet uitziet

De Femto Mega wordt geleverd met twee opties voor gegevensverbinding: USB 3.0 Type-C of ethernet met Power over Ethernet Plus (PoE+). Beide paden vervoeren dezelfde verwerkte diepte-, RGB- en IMU-output; het verschil zit in kabellengte en stroomvoorziening, niet in het dataformaat.

Voor een installatie op een werkbank of robot waarbij de Jetson Orin-host binnen een meter of twee van de camera staat, is USB 3.0 Type-C de eenvoudigste route. Het stroomverbruik is laag — de camera is gespecificeerd op gemiddeld minder dan 13W — zodat één Type-C-kabel naar een powered USB 3.0-poort op het Jetson Orin-carrierboard zowel data als stroom verzorgt. Orbbec vermeldt ook een DC 12V/2A-voedingsadapter en PoE+ als alternatieve voedingsopties, die beter werken wanneer de camera verder van de host staat: bijvoorbeeld een bovenrijmontage-eenheid in een kwaliteitsinspectiecel of een vaste camera die een logistiek dimensionaleringstation in de gaten houdt. Bij een PoE+-implementatie vervoert één ethernetrun naar een PoE+-injector of -switch nabij de Jetson Orin-host zowel stroom als data, wat de kabelrouting vereenvoudigt.

Controleer vóór het aansluiten of de fysieke montage past bij uw constructie. De Femto Mega heeft een ¼-20 UNC-mount aan de onderzijde en vier M2.5-bevestigingspunten aan de zijkant; een standaard cameramount of een op maat gemaakt beugel met het juiste gatenpatroon werkt beide, afhankelijk van hoe de rest van de opstelling is gebouwd.

Eén architecturale пункт is het vermelden waard. De onboard NVIDIA Jetson Nano van de Femto Mega verzorgt de diepte-engine-verwerking van de camera zelf en zet ruwe ToF-data om in de dieptekaart, puntwolk en IR/RGB-output die de SDK beschikbaar stelt. De Jetson Orin in deze opstelling is een apart, extern hostapparaat: het ontvangt de reeds verwerkte data via USB of ethernet en draait de downstream inferentieworkload, of dat nudetectie, pose-schatting of een eigen model is. De camera draait niet uw inferentiegrafiek — hij levert de Orin-host schone, gekalibreerde diepte- en RGB-streams, waardoor de rekenbudget van de host vrijblijft voor de eigenlijke AI-workload in plaats van ruwe sensorverwerking.

Puntwolkdata in de pipeline brengen met de Orbbec SDK

Zodra de camera is aangesloten en van stroom is voorzien, zet de Orbbec SDK de USB- of ethernetstream om in bruikbare frames aan de hostzijde en stelt puntwolk, dieptekaart, IR en RGB als aparte outputs bloot. Een typische Jetson Orin-integratie haalt deze via dezelfde algemene volgorde binnen, ongeacht het verbindingstype.

Ten eerste enumereert de SDK aangesloten apparaten en opent een pipeline naar de Femto Mega, waarbij de diepte- en kleurstreamprofielen worden geselecteerd die passen bij de gekozen field-of-view-modus.

Ten tweede wordt depth-to-color-alignment geconfigureerd zodat de diepte- en RGB-frames een gemeenschappelijke coördinatenruimte delen. Dat is belangrijk voor elke downstreamstap die een dieptewaarde aan een specifieke pixel in de kleurafbeelding moet koppelen, zoals het segmenteren van een object en dit vervolgens opmeten.

Ten derde zet de puntwolkgeneratiestap van de SDK het uitgelijnde diepteframe om in een 3D-puntwolk — het formaat dat de meeste inferentie- en perceptiepipelines verwachten voor objectlokalisatie, volume-inschatting of obstakelkartering.

Vervolgens worden de puntwolk of de uitgelijnde diepte- en RGB-frames overgedragen aan het inferentieframework dat de Jetson Orin-host draait. De SDK is cross-platform en wordt actief onderhouden als open-source SDK v2, met ROS- en ROS 2-wrappers — bindingen voor het Robot Operating System dat veel in roboticastacks voorkomt — en Python-ondersteuning, waardoor de overdracht doorgaans in een bestaande robotica- of computervisiecodebase past zonder dat een eigen bruglaag nodig is.

Teams die migreren vanaf een Azure Kinect DK-opstelling kunnen de K4A Wrapper van Orbbec gebruiken, waarmee Femto Mega-codepaden de Azure Kinect Sensor SDK spiegelen — dit vergemakkelijkt de migratie in plaats van dat er opnieuw tegen een nieuwe API vanaf nul moet worden geschreven.

De camera ondersteunt ook hardwaretrigger voor synchronisatie van meerdere sensoren. Neem dit vroeg op in het pipelineontwerp als de implementatie meer dan één Femto Mega omvat of frame-uitgelijnd moet blijven met een andere sensor op hetzelfde platform. Synchronisatie op triggerniveau afhandelen, in plaats van achteraf tijdstempels in software te reconciliëren, houdt de puntwolkdata schoner bij de invoer van inferentie.

Praktische checklist vóór u begint

Voordat u integratiecode schrijft, moet u vier beslissingen vastleggen:

1. Welk verbindingstype past bij de kabelafstand en het stroomverbruik?
2. Welke dieptemodus — brede of smalle field of view — past bij de werkafstand en de vereiste framerate?
3. Heeft de implementatie hardwaretriggerynchronisatie over meerdere sensoren nodig?
4. Welke SDK-taalbinding — C++, Python of een ROS-wrapper — past bij hoe de rest van de Jetson Orin-pipeline is gebouwd?

Het goed nemen van deze vier beslissingen vóór de eerste regel integratiecode voorkomt de meest voorkomende bron van herwerk: halverwege de ontwikkeling ontdekken dat de gekozen dieptemodus de werkafstand die de toepassing werkelijk nodig heeft, niet dekt.

Veelgestelde vragen

Draait de Femto Mega zijn eigen AI-inferentie, of gebeurt dat op de Jetson Orin-host?

De onboard NVIDIA Jetson Nano van de camera verzorgt alleen de diepte-engine-verwerking. Hij zet ruwe sensordata om in dieptekaarten, puntwolken en uitgelijnde RGB-output. Het inferentiemodel draait op het aparte hostapparaat — in deze gids een Jetson Orin-platform dat die verwerkte data via USB of ethernet ontvangt.

Kunnen ethernet en USB 3.0 tegelijk worden gebruikt voor redundantie?

De productspecificatie vermeldt USB 3.0 Type-C en ethernet als alternatieve opties voor gegevensverbinding. De Femto Mega is ontworpen rond één actieve gegevensverbinding tegelijk in plaats van gelijktijdige dual-stream werking; plan daarom de architectuur rond één verbindingstype per camera.

Welke dieptemodus hoort bij een inspectietaak op korte afstand versus een logistieketaak over een groter gebied?

Smalle field-of-view-modus levert 640×576 diepteresolutie bij 30 fps, wat geschikt is voor korte, detailgerichte taken zoals kwaliteitsinspectie, waarbij framerate en updatesnelheid belangrijker zijn dan dekkingsgebied. Brede field-of-view-modus levert de volledige 1024×1024-resolutie bij 15 fps over een veel groter beeldveld van 120 bij 120 graden, wat past bij dimensionalering- of scèneniveau-taken waarbij het dekken van meer ruimte belangrijker is dan framerate.

Is de Femto Mega geschikt voor buitengebruik of gebruik bij wisselende temperaturen?

Nee. Orbbecs specificatie vermeldt als bedrijfsomgeving gebruik binnenshuis binnen een bereik van 10°C tot 25°C; dit integratiepad is daarom gebouwd rond gecontroleerde indooromstandigheden in plaats van buitenshuis of omgevingen met grote temperatuurschommelingen.

Waar verder te kijken

De bovenstaande stappen dekken het kernintegratiepad, maar de keuze van de dieptemodus, de exacte SDK-API-aanroepen en het huidige firmwaregedrag zijn het waard om vóór het afronden van een ontwerp rechtstreeks bij de bron te verifiëren. De Femto Mega-productpagina bevat de volledige specificatietabel en datasheet, terwijl de Orbbec SDK-documentatie de actuele API-referentie dekt voor puntwolkgeneratie, stream-alignment en de hier genoemde ROS/ROS 2-wrappers.

Deze gids verscheen oorspronkelijk op FinTechZoom.