Los datos de profundidad solo demuestran su valor cuando llegan a la placa que ejecuta la inferencia, y esa transferencia es donde se pierde gran parte del tiempo de integración. La Orbbec Femto Mega, una cámara de profundidad para IA en el borde diseñada precisamente en torno a esa transferencia, combina un sensor indirecto de Tiempo de Vuelo (iToF) con procesamiento NVIDIA Jetson integrado, y luego transmite datos de profundidad, RGB y nube de puntos a través de una única conexión USB-C o Ethernet al equipo anfitrión que ejecuta la pila de inferencia, incluido un kit de desarrollador Jetson Orin, la plataforma de cómputo de IA en el borde de NVIDIA para cargas de trabajo embebidas y de robótica. Esta guía recorre cómo es esa conexión en la práctica, desde el cableado hasta la salida del SDK, para desarrolladores que integren la Femto Mega en un flujo de trabajo basado en Jetson Orin.

Por qué el iToF encaja con los flujos de trabajo de IA en el borde en interiores

El Tiempo de Vuelo Indirecto mide el desplazamiento de fase de la luz infrarroja modulada reflejada en una escena, mientras que la visión estéreo triangula la profundidad entre dos sensores de imagen. La distinción importa en interiores: el iToF devuelve un cuadro completo de profundidad desde un único cabezal sensor sin necesidad de una línea base estéreo amplia, lo que mantiene la cámara compacta y evita los errores de correlación que los sistemas estéreo pueden producir en superficies de baja textura o repetitivas.

El sensor de profundidad de la Femto Mega utiliza una longitud de onda infrarroja de 850nm y entrega resoluciones de hasta 1024×1024 a 15 fps en modo de campo de visión amplio —un campo de 120 por 120 grados—, o 640×576 a 30 fps en modo de campo de visión estrecho. El rango de profundidad de trabajo es de aproximadamente 0,25 a 5,46 metros según el modo seleccionado.

Ese perfil de rango y resolución encaja con las tareas de percepción en interiores para las que suelen construirse los pipelines de IA en el borde. La inspección de calidad a corta distancia, la dimensionamiento y captura volumétrica en logística, el posicionamiento de pacientes y las aplicaciones de entrenamiento guiado o captura de movimiento se encuentran todas a pocos metros del sensor. La propia documentación de producto debbec indica como entorno de operación el uso en interiores, a 10 °C a 25 °C y 8 a 90 por ciento de humedad relativa, sin condensación. La operación en rangos de temperatura amplios o en exteriores requiere otra cámara de la línea de Orbbec, por lo que esta ruta de integración asume un entorno interior controlado, el escenario donde los datos de profundidad iToF funcionan mejor.

La Femto Mega también incorpora una unidad de medición inercial (IMU), de modo que los datos de movimiento pueden correlacionarse con cada cuadro de profundidad. Para casos de uso cercanos a robots móviles autónomos (AMR) o de captura manual, el flujo de la IMU permite que el código de inferencia posterior compense el movimiento del sensor entre cuadros en lugar de asumir una cámara estática.

Cómo es realmente la conexión física

La Femto Mega se ofrece con dos opciones de conexión de datos: USB 3.0 Type-C o Ethernet con Power over Ethernet Plus (PoE+). Ambas rutas transportan la misma salida procesada de profundidad, RGB e IMU; la diferencia está en la distancia de cableado y la entrega de energía, no en el formato de datos.

Para una configuración de banco o montada en un robot donde el equipo anfitrión Jetson Orin se encuentra a un metro o dos de la cámara, USB 3.0 Type-C es la ruta más simple. El consumo de energía es bajo —la cámara está especificada con un promedio inferior a 13W—, por lo que un único cable Type-C a un puerto USB 3.0 con alimentación en la placa portadora del Jetson Orin maneja datos y energía. Orbbec también lista un adaptador de corriente DC 12V/2A y PoE+ como entradas de alimentación alternativas, que funcionan mejor cuando la cámara está más lejos del anfitrión: por ejemplo, una unidad montada en el techo de una celda de inspección de calidad o una cámara fija que observa una estación de dimensionamiento logístico. En un despliegue PoE+, una única corrida de Ethernet hacia un inyector o switch PoE+ cerca del anfitrión Jetson Orin transporta energía y datos juntas, simplificando el enrutamiento de cables.

Confirme que el montaje físico coincida con su soporte antes de conectar nada. La Femto Mega utiliza un montaje ¼-20 UNC en la base y cuatro puntos de montaje M2.5 en el lateral; tanto un montaje de cámara estándar como un soporte personalizado con el patrón de agujeros correcto funcionarán, según cómo esté construido el resto del equipo.

Un punto arquitectónico vale la pena señalar claramente. El NVIDIA Jetson Nano integrado de la Femto Mega maneja el procesamiento del motor de profundidad de la propia cámara, convirtiendo las señales ToF crudas en el mapa de profundidad, la nube de puntos y la salida IR/RGB que expone el SDK. El Jetson Orin en esta configuración es un dispositivo anfitrión externo separado: recibe los datos ya procesados por USB o Ethernet y ejecuta la carga de trabajo de inferencia posterior, ya sea detección de objetos, estimación de pose o un modelo personalizado. La cámara no ejecuta su grafo de inferencia; entrega al anfitrión basado en Orin flujos de profundidad y RGB limpios y calibrados con los que trabajar, liberando el presupuesto de cómputo del anfitrión para la carga de trabajo real de IA en lugar del procesamiento crudo del sensor.

Incorporando datos de nube de puntos al pipeline con el SDK de Orbbec

Una vez que la cámara está conectada y alimentada, el SDK de Orbbec convierte el flujo USB o Ethernet en cuadros utilizables del lado del anfitrión, exponiendo nube de puntos, mapa profundidad, IR y RGB como salidas distintas. Una integración típica en Jetson Orin los obtiene a través de la misma secuencia general independientemente del tipo de conexión.

Primero, el SDK enumera los dispositivos conectados y abre un pipeline hacia la Femto Mega, seleccionando los perfiles de flujo de profundidad y color correspondientes al modo de campo de visión elegido.

Segundo, se configura la alineación de profundidad a color para que los cuadros de profundidad y RGB compartan un espacio de coordenadas común. Eso importa para cualquier paso posterior que necesite asociar un valor de profundidad con un píxel específico de la imagen de color, como segmentar un objeto y luego medirlo.

Tercero, el paso de generación de nube de puntos del SDK convierte el cuadro de profundidad alineado en una nube de puntos 3D, el formato que la mayoría de los pipelines de inferencia y percepción esperan para localización de objetos, estimación de volumen o mapeo de obstáculos.

A partir de ahí, la nube de puntos o los cuadros de profundidad y RGB alineados se entregan al framework de inferencia que ejecute el anfitrión Jetson Orin. El SDK es multiplataforma y se mantiene activamente como SDK v2 de código abierto, con wrappers de ROS y ROS 2 —enlaces para el Robot Operating System común en las pilas de robótica— y soporte de Python, por lo que la entrega normalmente encaja en una base de código existente de robótica o visión por computadora en lugar de requerir una capa de puente personalizada.

Los equipos que migren desde una configuración con Azure Kinect DK pueden usar el K4A Wrapper de Orbbec, que permite que las rutas de código de la Femto Mega repliquen el Azure Kinect Sensor SDK, facilitando la migración en lugar de requerir una reescritura contra una nueva API desde cero.

La cámara también admite disparador por hardware para la sincronización de múltiples sensores. Incorpore esto temprano en el diseño del pipeline si el despliegue implica más de una Femto Mega, o si necesita mantenerse alineado en cuadros con otro sensor en la misma plataforma. Manejar la sincronización a nivel del disparador, en lugar de conciliar marcas de tiempo después en software, mantiene los datos de la nube de puntos más limpios al entrar a la inferencia.

Lista de verificación práctica antes de comenzar

Antes de escribir código de integración, defina cuatro decisiones:

1. ¿Qué tipo de conexión se ajusta a la corrida de cables y al presupuesto de energía?
2. ¿Qué modo de profundidad —campo de visión amplio o estrecho— coincide con la distancia de trabajo y la tasa de cuadros requerida?
3. ¿El despliegue necesita sincronización por disparador de hardware entre múltiples sensores?
4. ¿Qué enlace de lenguaje del SDK —C++, Python o un wrapper de ROS— coincide con cómo está construido el resto del pipeline de Jetson Orin?

Acertar en estas cuatro decisiones antes de la primera línea de código de integración evita la fuente más común de retrabajo: descubrir a mitad del desarrollo que el modo de profundidad seleccionado no cubre la distancia de trabajo que la aplicación realmente necesita.

Preguntas frecuentes

¿La Femto Mega ejecuta su propia inferencia de IA, o eso sucede en el anfitrión Jetson Orin?

El NVIDIA Jetson Nano integrado de la cámara maneja únicamente elamiento del motor de profundidad. Convierte los datos crudos del sensor en mapas de profundidad, nubes de puntos y salida RGB alineada. El modelo de inferencia se ejecuta en el dispositivo anfitrión separado —en esta guía, una plataforma Jetson Orin que recibe esos datos procesados por USB o Ethernet.

¿Se pueden usar Ethernet y USB 3.0 al mismo tiempo para redundancia?

La especificación del producto lista USB 3.0 Type-C y Ethernet como opciones de conexión de datos alternativas. La Femto Mega está diseñada en torno a una única conexión de datos activa a la vez en lugar de una operación simultánea de doble flujo, por lo que la arquitectura debe planificarse en torno a un tipo de conexión principal por cámara.

¿Qué modo de profundidad se debe elegir para una tarea de inspección a corta distancia frente a una tarea logística de área más amplia?

El modo de campo de visión estrecho entrega una resolución de profundidad de 640×576 a 30 fps, lo que se adapta a tareas cercanas y orientadas al detalle, como la inspección de calidad, donde la tasa de cuadros y la velocidad de actualización importan más que el área de cobertura. El modo de campo de visión amplio entrega la resolución completa de 1024×1024 a 15 fps en un campo mucho mayor de 120 por 120 grados, lo que se ajusta a tareas de dimensionamiento o a nivel de escena donde cubrir más espacio importa más que la tasa de cuadros.

¿La Femto Mega está clasificada para despliegue en exteriores o con temperatura variable?

No. La especificación de Orbbec indica como entorno de operación el uso en interiores dentro de un rango de 10 °C a 25 °C, por lo que esta ruta de integración está construida para condiciones interiores controladas en lugar de entornos de exteriores o de amplias variaciones de temperatura.

Próximos pasos

Los pasos anteriores cubren la ruta de integración central, pero la selección del modo de profundidad, las llamadas exactas a la API del SDK y el comportamiento actual del firmware conviene confirmarlos directamente contra la fuente antes de finalizar un diseño. La página de producto de la Femto Mega contiene la tabla completa de especificaciones y la hoja de datos, mientras que la documentación del SDK de Orbbec cubre la referencia actual de la API para generación de nubes de puntos, alineación de flujos y los wrappers de ROS/ROS 2 referenciados aquí.

Esta guía apareció originalmente en FinTechZoom.