深度数据只有到达运行推理的板卡才能体现其价值,而这一交接环节正是大量集成时间流失的地方。Orbbec Femto Mega 正是围绕这一交接环节打造的边缘 AI 深度相机,它将间接飞行时间(iToF)传感器与板载 NVIDIA Jetson 处理相结合,然后通过单一的 USB-C 或以太网连接,将深度、RGB 和点云数据传输到运行推理栈的主机——包括 Jetson Orin 开发者套件,NVIDIA 面向嵌入式和机器人工作负载的边缘 AI 计算平台。本指南为希望将 Femto Mega 接入基于 Jetson Orin 工作流程的开发者,介绍从布线到 SDK 输出的实际连接方式。

为什么 iToF 适合室内边缘 AI 工作流程

间接飞行时间(iToF)通过测量经场景反射的调制红外光的相位偏移来获取深度,而立体视觉则是通过两个图像传感器之间进行三角测量。这一区别在室内尤为重要:iToF 无需宽立体基线即可从单个传感器头返回完整的深度帧,使相机保持紧凑,并避免了立体系统在低纹理或重复性表面上可能产生的相关误差。

Femto Mega 的深度传感器采用 850nm 红外波长,在宽视野模式下可输出最高 1024×1024 分辨率、15 fps 的图像(视野为 120×120 度),或在窄视野模式下输出 640×576 分辨率、30 fps 的图像。工作深度范围根据所选模式大致在 0.25 至 5.46 米之间。

这种范围与分辨率组合非常适合边缘 AI 流水线通常面向的室内感知任务。近距离质量检测、物流中的尺寸测量与体积捕捉、患者定位,以及健身指导或动作捕捉应用,均位于传感器数米范围内。Orbbec 官方产品文档列出的工作环境为室内使用,温度 10°C 至 25°C,相对湿度 8% 至 90%,无冷凝。宽温范围或户外运行需要选用 Orbbec 产品线中的其他相机,因此这一集成路径假定受控的室内环境——这也是 iToF 深度数据表现最佳的场景。

Femto Mega 还集成了惯性测量单元(IMU),因此可以将运动数据与每个深度帧进行关联。对于自主移动机器人(AMR)相关或手持采集用例,IMU 数据流让下游推理代码能够在帧间补偿传感器移动,而不是假定相机静止不动。

物理连接的实际形态

Femto Mega 提供两种数据连接选项:USB 3.0 Type-C,或带以太网供电增强版(PoE+)的以太网。两种路径传输相同的处理后深度、RGB 和 IMU 输出,区别在于布线距离和供电方式,而非数据格式。

对于 Jetson Orin 主机位于相机一两米范围内的台式或机器人搭载式设置,USB 3.0 Type-C 是更简单的路径。功耗较低——相机规格为平均 13W 以下——因此一根 Type-C 线缆连接到 Jetson Orin 载板上有供电的 USB 3.0 端口即可同时处理数据和供电。Orbbec 还列出了 DC 12V/2A 电源适配器和 PoE+ 作为替代供电输入,更适用于相机距离主机较远的场景:例如质量检测单元中吊装安装的设备,或监视物流尺寸测量工位的固定相机。在 PoE+ 部署中,一根以太网线连接到 Jetson Orin 主机附近的 PoE+ 注入器或交换机,即可同时传输电力和数据,简化布线路由。

在接线之前,请确认物理安装方式与您的固定装置匹配。Femto Mega 底部采用 ¼-20 UNC 安装孔,侧面有四个 M2.5 安装点;标准相机支架或具有正确孔位图案的定制支架均可使用,具体取决于整个设备的构建方式。

有一个架构要点值得明确说明。Femto Mega 板载的 NVIDIA Jetson Nano 负责相机自身的深度引擎处理,将原始 ToF 数据转换为 SDK 暴露的深度图、点云和 IR/RGB 输出。您设置中的 Jetson Orin 是独立的外部主机设备:它通过 USB 或以太网接收已经处理好的数据,并运行下游推理工作负载,无论是目标检测、姿态估计还是自定义模型。相机并不运行您的推理图——它向基于 Orin 的主机提供干净、经过校准的深度和 RGB 数据流,从而将主机的算力预算留给实际的 AI 工作负载,而非原始传感器处理。

使用 Orbbec SDK 将点云数据引入流水线

相机连接并上电后,Orbbec SDK 会将 USB 或以太网数据流转换为主机端可用的帧,并以独立输出的形式暴露点云、深度图、IR 和 RGB。典型的 Jetson Orin 集成无论连接类型如何,都会通过相同的大致流程获取这些数据。

首先,SDK 枚举已连接的设备并打开到 Femto Mega 的流水线,选择与您所选视野模式匹配的深度和彩色流配置。

其次,配置深度到彩色的对齐,使深度帧和 RGB 帧共享同一坐标空间。这对于任何需要将深度值与彩色图像中特定像素关联起来的下游步骤都至关重要,例如分割物体然后进行测量。

第三,SDK 的点云生成步骤将已对齐的深度帧转换为 3D 点云——这是大多数推理和感知流水线用于物体定位、体积估算或障碍物映射所期望的格式。

此后,点云或已对齐的深度和 RGB 帧会被交给 Jetson Orin 主机运行的任何推理框架。该 SDK 是跨平台的,并以开源 SDK v2 的形式积极维护,提供 ROS 和 ROS 2 封装(机器人技术栈中常用的机器人操作系统绑定)以及 Python 支持,因此这一交接通常可以直接融入现有的机器人或计算机视觉代码库,无需自定义桥接层。

对于自行构建下游推理模型而非集成现成模型的团队,Acquaint Softtech 的专业 AI 开发服务可以帮助围绕该流水线产生的深度和 RGB 数据设计和训练自定义感知模型。

从 Azure Kinect DK 迁移的团队可以使用 Orbbec 的 K4A Wrapper,它让 Femto Mega 的代码路径与 Azure Kinect Sensor SDK 保持一致——从而简化迁移,而无需针对全新 API 从头重写。

该相机还支持硬件触发以实现多传感器同步。如果部署涉及多台 Femto Mega,或需要与同一平台上的其他传感器保持帧对齐,请在流水线设计初期就纳入这一功能。在触发层面处理同步,而非事后在软件中调和时间戳,可以让进入推理的点云数据更加干净。

开始前的实用清单

在编写集成代码之前,请先确定以下四项决策:

1. 哪种连接类型适合您的布线距离和功耗预算?
2. 哪种深度模式——宽视野或窄视野——符合工作距离和所需帧率?
3. 部署是否需要跨多个传感器的硬件触发同步?
4. 哪种 SDK 语言绑定——C++、Python 或 ROS 封装——与 Jetson Orin 流水线其余部分的构建方式相匹配?

在编写第一行集成代码之前把这四个决策定好,可以避免最常见的返工原因:即开发进行到一半才发现所选深度模式无法覆盖应用实际需要的工作距离。

常见问题

Femto Mega 是否自行运行 AI 推理,还是由 Jetson Orin 主机来完成?

相机的板载 NVIDIA Jetson Nano 仅负责深度引擎处理。它将原始传感器数据转换为深度图、点云和对齐的 RGB 输出。推理模型运行在独立的主机设备上——在本指南中,即通过 USB 或以太网接收该处理后数据的 Jetson Orin 平台。

能否同时使用以太网和 USB 3.0 以冗余?

产品规格将 USB 3.0 Type-C 和以太网列为备选的数据连接选项。Femto Mega 的设计是一次只支持一条活动数据连接,而非同时双流运行,因此架构规划应围绕每台相机一种主要连接类型来展开。

对于近距离检测任务与较大范围的物流任务,应选择哪种深度模式?

窄视野模式提供 640×576 深度分辨率、30 fps,适合近距离、注重细节的任务,例如质量检测——此时帧率和更新速度比覆盖面积更重要。宽视野模式在 120×120 度的大视野内提供完整的 1024×1024 分辨率、15 fps,适合尺寸测量或场景级任务——此时覆盖更大空间比帧率更重要。

Femto Mega 是否适用于户外或变温环境部署?

不适用。Orbbec 的规格将工作环境列为 10°C 至 25°C 范围内的室内使用,因此这一集成路径是围绕受控室内条件构建的,而非户外或宽温波动环境。

后续步骤

以上步骤涵盖了核心集成路径,但在最终确定设计之前,深度模式选择、具体的 SDK API 调用以及当前固件行为都值得直接对照原始资料进行确认。Femto Mega 产品页面载有完整的规格表和数据表,Orbbec SDK 文档则涵盖此处提及的点云生成、流对齐以及 ROS/ROS 2 封装的最新 API 参考。

本指南最初发表于 FinTechZoom。