Les données de profondeur ne révèlent leur valeur qu'une fois parvenues à la carte qui exécute l'inférence, et c'est précisément ce transfert qui fait perdre une grande partie du temps d'intégration. L'Orbbec Femto Mega, une caméra de profondeur pour IA embarquée conçue autour de ce transfert, associe un capteur Time-of-Flight indirect (iToF) à un traitement NVIDIA Jetson intégré, puis diffuse les données de profondeur, RGB et de nuage de points via une connexion unique USB-C ou Ethernet vers l'hôte qui exécute la pile d'inférence — y compris un kit de développement Jetson Orin, la plateforme d'informatique embarquée de NVIDIA dédiée aux charges embarquées et robotiques. Ce guide détaille ce que cette connexion implique en pratique, du câblage à la sortie du SDK, pour les développeurs qui intègrent le Femto Mega dans un flux de travail basé sur Jetson Orin.

Pourquoi l'iToF convient aux flux de travail IA embarquée en intérieur

Le Time-of-Flight indirect mesure le déphasage de la lumière infrarouge modulée réfléchie par une scène, tandis que la vision stéréo triangule la profondeur entre deux capteurs d'image. Cette distinction compte en intérieur : l'iToF renvoie une image de profondeur complète depuis une seule tête de capteur sans large base stéréo, ce qui garde la caméra compacte et évite les erreurs de corrélation que les systèmes stéréo peuvent produire sur des surfaces peu texturées ou répétitives.

Le capteur de profondeur du Femto Mega utilise une longueur d'onde infrarouge de 850nm et délivre une résolution allant jusqu'à 1024×1024 à 15 fps en mode grand champ de vision — un champ de 120 sur 120 degrés — ou 640×576 à 30 fps en mode champ de vision étroit. La plage de profondeur de travail s'étend grossièrement de 0,25 à 5,46 mètres selon le mode sélectionné.

Ce profil de portée et de résolution convient aux tâches de perception en intérieur pour lesquelles les pipelines d'IA embarquée sont généralement conçus. L'inspection qualité à courte distance, le dimensionnement et la capture volumétrique en logistique, le positionnement des patients et les applications de coaching sportif ou de capture de mouvement se situent tous à quelques mètres du capteur. La documentation produit d'Orbbec elle-même indique un environnement d'utilisation en intérieur, de 10°C à 25°C, avec une humidité relative de 8 à 90 pour cent, sans condensation. Un fonctionnement à large plage de températures ou en extérieur nécessite une autre caméra de la gamme Orbbec ; ce chemin d'intégration suppose donc un environnement intérieur contrôlé — le cadre où les données de profondeur iToF sont plus fiables.

Le Femto Mega intègre également une unité de mesure inertielle (IMU), permettant de corréler les données de mouvement à chaque image de profondeur. Pour les cas d'usage proches des robots mobiles autonomes (AMR) ou de capture à main levée, le flux IMU permet au code d'inférence en aval de compenser le mouvement du capteur entre les images au lieu de supposer une caméra statique.

À quoi ressemble concrètement la connexion physique

Le Femto Mega est livré avec deux options de connexion de données : USB 3.0 Type-C ou Ethernet avec Power over Ethernet Plus (PoE+). Les deux chemins transportent les mêmes sorties de profondeur, RGB et IMU traitées ; la différence réside dans la distance de câblage et l'alimentation électrique, pas dans le format des données.

Pour une configuration de bureau ou montée sur robot où l'hôte Jetson Orin se trouve à un ou deux mètres de la caméra, l'USB 3.0 Type-C est le chemin le plus simple. La consommation électrique est faible — la caméra est spécifiée à moins de 13W en moyenne — de sorte qu'un seul câble Type-C vers un port USB 3.0 alimenté sur la carte porteuse Jetson Orin gère à la fois les données et l'alimentation. Orbbec liste également un adaptateur secteur DC 12V/2A et le PoE+ comme entrées d'alimentation alternatives, plus adaptées lorsque la caméra est plus éloignée de l'hôte : une unité montée en plafond dans une cellule d'inspection qualité, par exemple, ou une caméra fixe surveillant un poste de dimensionnement logistique. Dans un déploiement PoE+, une seule liaison Ethernet vers un injecteur ou un commutateur PoE+ près de l'hôte Jetson Orin transporte l'alimentation et les données ensemble, simplifiant le routage des câbles.

Vérifiez que la fixation physique correspond à votre support avant tout câblage. Le Femto Mega utilise une fixation ¼-20 UNC en dessous et quatre points de montage M2.5 sur le côté ; une fixation de caméra standard ou un support personnalisé avec le bon motif de perçage fonctionneront tous deux, selon la construction du reste de l'installation.

Un point d'architecture mérite d'être énoncé clairement. Le NVIDIA Jetson Nano embarqué du Femto Mega gère le traitement propre du moteur de profondeur de la caméra, convertissant les retours ToF bruts en carte de profondeur, nuage de points et sorties IR/RGB exposés par le SDK. Le Jetson Orin de cette configuration est un périphérique hôte externe distinct : il reçoit les données déjà traitées via USB ou Ethernet et exécute la charge d'inférence en aval, qu'il s'agisse de détection d'objets, d'estimation de pose ou d'un modèle personnalisé. La caméra n'exécute pas votre graphe d'inférence — elle fournit à l'hôte basé sur Orin des flux de profondeur et RGB propres et calibrés, libérant le budget de calcul de l'hôte pour la charge d'IA réelle plutôt que pour le traitement brut des capteurs.

Intégrer les données de nuage de points dans le pipeline avec le SDK Orbbec

Une fois la caméra connectée et alimentée, le SDK Orbbec transforme le flux USB ou Ethernet en images exploitables côté hôte, exposant le nuage de points, la carte de profondeur, l'IR et le RGB comme sorties distinctes. Une intégration Jetson Orin typique les récupère via la même séquence générale, quel que soit le type de connexion.

Premièrement, le SDK énumère les périphériques connectés et ouvre un pipeline vers le Femto Mega, en sélectionnant les profils de flux de profondeur et de couleur correspondant au mode de champ de vision choisi.

Deuxièmement, l'alignement profondeur-couleur est configuré afin que les images de profondeur et RGB partagent un espace de coordonnées commun. Cela compte pour toute étape en aval nécessitant d'associer une valeur de profondeur à un pixel spécifique de l'image couleur, comme segmenter un objet puis le mesurer.

Troisièmement, l'étape de génération de nuage de points du SDK convertit l'image de profondeur alignée en nuage de points 3D — le format attendu par la plupart des pipelines d'inférence et de perception pour la localisation d'objets, l'estimation de volume ou la cartographie d'obstacles.

Ensuite, le nuage de points ou les images de profondeur et RGB alignées sont transmis au framework d'inférence que l'hôte Jetson Orin exécute. Le SDK est multiplateforme et activement maintenu en tant que SDK open source v2, avec des wrappers ROS et ROS 2 — des liaisons pour le Robot Operating System courant dans les piles robotiques — et un support Python, de sorte que ce transfert s'intègre généralement dans une base de code robotique ou de vision par ordinateur existante plutôt que de nécessiter une couche de pont personnalisée.

Les équipes migrant depuis une configuration Azure Kinect DK peuvent utiliser le K4A Wrapper d'Orbbec, qui permet aux chemins de code du Femto Mega de refléter l'Azure Kinect Sensor SDK — facilitant la migration au lieu d'exiger une réécriture complète contre une nouvelle API.

La caméra prend également en charge le déclenchement matériel pour la synchronisation multi-capteurs. Intégrez cela tôt dans la conception du pipeline si le déploiement implique plusieurs Femto Mega, ou s'il doit rester aligné en frames avec un autre capteur sur la même plateforme. Gérer la synchronisation au niveau du déclencheur, plutôt que de réconcilier les horodatages après coup dans le logiciel, garantit des données de nuage de points plus propres à l'entrée de l'inférence.

Liste de contrôle pratique avant de commencer

Avant d'écrire le code d'intégration, tranchez quatre décisions :

1. Quel type de connexion correspond à votre longueur de câble et votre budget électrique ?
2. Quel mode de profondeur — champ de vision large ou étroit — correspond à la distance de travail et à la fréquence d'images requise ?
3. Le déploiement nécessite-t-il une synchronisation par déclenchement matériel entre plusieurs capteurs ?
4. Quelle liaison linguistique du SDK — C++, Python ou un wrapper ROS — correspond à la construction du reste du pipeline Jetson Orin ?

Prendre ces quatre décisions correctement avant la première ligne de code d'intégration évite la source de re travail la plus courante : découvrir en cours de développement que le mode de profondeur sélectionné ne couvre pas la distance de travail réellement requise par l'application.

Questions fréquentes

Le Femto Mega exécute-t-il sa propre inférence IA, ou cela se produit-il sur l'hôte Jetson Orin ?

Le NVIDIA Jetson Nano embarqué de la caméra gère uniquement le traitement du moteur de profondeur. Il convertit les données brutes du capteur en cartes de profondeur, nuages de points et sorties RGB alignées. Le modèle d'inférence s'exécute sur le périphérique hôte distinct — dans ce guide, une plateforme Jetson Orin recevant ces données traitées via USB ou Ethernet.

Peut-on utiliser Ethernet et USB 3.0 simultanément pour la redondance ?

La spécification produit liste l'USB 3.0 Type-C et l'Ethernet comme options de connexion de données alternatives. Le Femto Mega est conçu autour d'une seule connexion de données active à la fois plutôt que d'un fonctionnement à double flux simultané ; l'architecture doit donc être planifiée autour d'un type de connexion principal par caméra.

Quel mode de profondeur choisir pour une tâche d'inspection à courte distance par rapport à une tâche logistique plus étendue ?

Le mode champ de vision étroit dére une résolution de profondeur de 640×576 à 30 fps, ce qui convient aux tâches rapprochées axées sur le détail comme l'inspection qualité, où la fréquence d'images et la vitesse de mise à jour importent plus que la zone couverte. Le mode grand champ de vision délivre la pleine résolution de 1024×1024 à 15 fps sur un champ bien plus étendu de 120 sur 120 degrés, ce qui convient aux tâches de dimensionnement ou de niveau scène où couvrir davantage d'espace importe plus que la fréquence d'images.

Le Femto Mega est-il homologué pour un déploiement en extérieur ou à températures variables ?

Non. La spécification d'Orbbec liste l'environnement d'utilisation comme intérieur, dans une plage de 10°C à 25°C ; ce chemin d'intégration est donc conçu pour des conditions intérieures contrôlées plutôt que pour des environnements extérieurs ou à fortes variations de température.

Pour aller plus loin

Les étapes ci-dessus couvrent le chemin d'intégration principal, mais le choix du mode de profondeur, les appels API exacts du SDK et le comportement actuel du firmware méritent d'être vérifiés directement à la source avant de finaliser une conception. La page produit du Femto Mega contient le tableau complet des spécifications et la fiche technique, tandis que la documentation du SDK Orbbec couvre la référence API actuelle pour la génération de nuages de points, l'alignement des flux et les wrappers ROS/ROS 2 mentionnés ici.

Ce guide est initialement paru sur FinTechZoom.