Orbbec Femto Mega 與 NVIDIA Jetson Orin:邊緣 AI 深度感測整合指南
重點速覽
- •Orbbec Femto Mega 結合間接飛行時間感測器與負責深度處理的內建 NVIDIA Jetson Nano,而 AI 推論則在獨立的 Jetson Orin 主機設備上執行。
- •相機支援 USB 3.0 Type-C 或 PoE+ 乙太網路作為單一作用中資料連接,平均功耗低於 13W,並可選用 DC 12V/2A 轉接器作為替代供電。
- •其深度感測器在 120 度廣視野下可提供 1024×1024 解析度 @ 15 fps,或在窄角模式下提供 640×576 @ 30 fps,工作範圍約 0.25 至 5.46 公尺。
- •開源的 Orbbec SDK v2 提供 C++、Python 與 ROS/ROS 2 綁定,並附有 K4A Wrapper,讓從 Azure Kinect DK 遷移的團隊可重複使用既有程式路徑。
- •Femto Mega 僅適用於 10°C 至 25°C 的室內環境,並配備整合式 IMU 與用於多感測器同步的硬體觸發支援。

深度資料唯有抵達執行推論的板卡才能發揮價值,而這個交接環節正是許多整合時間流失之處。Orbbec Femto Mega 是一款專為此交接而打造的邊緣 AI 深度相機,將間接飛行時間(iToF)感測器與內建 NVIDIA Jetson 處理結合,接著透過單一 USB-C 或乙太網路連線,將深度、RGB 與點雲資料串流至執行推論堆疊的主機——包括 Jetson Orin 開發者套件,這是 NVIDIA 面向嵌入式與機器人工作負載的邊緣 AI 運算平台。本指南為希望將 Femto Mega 整合至 Jetson Orin 工作流程的開發者,實際說明從線纜連接到 SDK 輸出的完整樣貌。
為何 iToF 適合室內邊緣 AI 工作流程
間接飛行時間(iToF)量測調變紅外光自場景反射後的相位偏移,而立體視覺則是在兩個影像感測器之間進行三角測距。這項區別在室內環境至關重要:iToF 僅以單一感測頭即可回傳完整深度影格,無需寬廣的立體基線,使相機保持緊湊,並避免立體系統在低紋理或重複性表面上可能產生的相關性誤差。
Femto Mega 的深度感測器採用 850nm 紅外波長,在廣視野模式下可輸出最高 1024×1024 解析度 @ 15 fps——視野為 120×120 度——或在窄視野模式下輸出 640×576 @ 30 fps。工作深度範圍視所選模式而定,約為 0.25 至 5.46 公尺。
這樣的範圍與解析度組合,正適合邊緣 AI 管線通常為之打造的室內感知任務。近距離品質檢測、物流中的尺寸量測與體積擷取、病患定位,以及健身指導或動作捕捉應用,都在感測器數公尺範圍之內。Orbbec 官方產品文件列出的操作環境為室內使用,溫 10°C 至 25°C、相對濕度 8% 至 90%、非結露條件。寬溫或戶外操作則需要 Orbbec 產品線中的其他相機,因此此整合路徑以受控的室內環境為前提——這也是 iToF 深度資料表現最佳的場景。
Femto Mega 亦配備整合式慣性測量單元(IMU),可將運動資料與每個深度影格進行關聯。對於自主行動機器人(AMR)相關或手持擷取的使用情境,IMU 串流可讓下游推論程式補償影格之間的感測器移動,而非假設相機靜止不動。
實際的實體連接樣貌
Femto Mega 提供兩種資料連接選項:USB 3.0 Type-C,或具備 Power over Ethernet Plus(PoE+)的乙太網路。兩種路徑皆傳輸相同的處理後深度、RGB 與 IMU 輸出,差異在於線纜距離與供電方式,而非資料格式。
對於 Jetson Orin 主機位於相機一至兩公尺內的桌面或機器人搭載設置,USB 3.0 Type-C 是較簡單的選擇。功耗低——相機規格平均低於 13W——因此一條連接至 Jetson Orin 載板供電 USB 3.0 埠的 Type-C 線纜即可同時處理資料與電力。Orbbec 亦列出 DC 12V/2A 電源轉接器與 PoE+ 作為替代供電輸入,適用於相機距離主機較遠的情況:例如品質檢測單元中吊掛安裝的設備,或監看物流尺寸量測站的固定相機。在 PoE+ 部署中,一條連接至 Jetson Orin 主機附近 PoE+ 注入器或交換器的乙太網路線即可同時傳輸電力與資料,簡化佈線。
在接線之前,請先確認實體安裝方式與您的固定裝置相符。Femto Mega 底部採用 ¼-20 UNC 安裝孔,側面有四個 M2.5 安裝點;標準相機支架或具有正確孔位的客製托架皆可使用,取決於整體設備架構的設計。
有一個架構要點值得明確說明。Femto Mega 內建的 NVIDIA Jetson Nano 負責相機自身的深度引擎處理,將原始 ToF 回傳訊號轉換為 SDK 公開的深度圖、點雲與 IR/RGB 輸出。此設置中的 Jetson Orin 是獨立的外部主機備:它透過 USB 或乙太網路接收已處理的資料,並執行下游推論工作負載,無論是物件偵測、姿態估測或自訂模型。相機並不執行您的推論圖——它交付給 Orin 主機的是乾淨、已校正的深度與 RGB 串流,讓主機的運算資源得以專注於實際的 AI 工作負載,而非原始感測器處理。
以 Orbbec SDK 將點雲資料導入管線
相機連接並供電後,Orbbec SDK 會在主機端將 USB 或乙太網路串流轉換為可用的影格,並以獨立輸出形式公開點雲、深度圖、IR 與 RGB。典型的 Jetson Orin 整合無論連接類型為何,都遵循相同的一般流程。
首先,SDK 列舉已連接的裝置並開啟至 Femto Mega 的管線,選擇與所選視野模式相符的深度與彩色串流設定檔。
其次,設定深度對彩色對齊,使深度與 RGB 影格共享共同座標空間。這對任何需要將深度值對應至彩色影像中特定像素的下游步驟都很重要,例如分割物件後進行量測。
第三,SDK 的點雲生成步驟將對齊後的深度影格轉換為 3D 點雲——這是大多數推論與感知管線在物件定位、體積估算或障礙物建圖時所預期的格式。
接著,點雲或對齊後的深度與 RGB 影格會被交付至 Jetson Orin 主機所執行的推論框架。該 SDK 為跨平台並以開源 SDK v2 的形式持續維護,提供 ROS 與 ROS 2 包裝器——即機器人技術堆疊中常見的機器人作業系統綁定——以及 Python 支援,因此這個交接環節通常可直接融入現有的機器人或電腦視覺程式碼庫,而無需自訂橋接層。
對於從 Azure Kinect DK 設置遷移的團隊,可使用 Orbbec 的 K4A Wrapper,讓 Femto Mega 的程式路徑比照 Azure Kinect Sensor SDK——簡化遷移過程,而無需針對全新 API 從頭改寫。
相機亦支援用於多感測器同步的硬體觸發。若部署涉及多台 Femto Mega,或需要與同一平台上的其他感測器保持影格對齊,請儘早將此功能納入管線設計。在觸發層級處理同步,而非事後在軟體中協調時間戳,可讓進入推論的點雲資料更乾淨。
開始前的實用檢清單
在撰寫整合程式碼之前,請先確定四項決策:
- 哪種連接類型符合您的線纜長度與電力預算?
- 哪種深度模式——廣角或窄角視野——符合工作距離與所需影格率?
- 部署是否需要跨多個感測器的硬體觸發同步?
- 哪種 SDK 語言綁定——C++、Python 或 ROS 包裝器——符合 Jetson Orin 管線其餘部分的建置方式?
在撰寫第一行整合程式碼之前確定這四項決策,可避免最常見的返工來源:開發到一半才發現所選深度模式無法涵蓋應用實際需要的工作距離。
常見問題
Femto Mega 是否自行執行 AI 推論,還是由 Jetson Orin 主機執行?
相機內建的 NVIDIA Jetson Nano 僅負責深度引擎處理。它將原始感測器資料轉換為深度圖、點雲與對齊後的 RGB 輸出。推論模型在獨立的主機設備上執行——在本指南中,即為透過 USB 或乙太網路接收該處理後資料的 Jetson Orin 平台。
可以同時使用乙太網路與 USB 3.0 以達成冗餘嗎?
產品規格將 USB 3.0 Type-C 與乙太網路列為替代的資料連接選項。Femto Mega 的設計是單一作用中資料連接,而非同時雙串流運作,因此架構規劃應以每台相機一種主要連接類型為原則。
近距離檢測任務與較大範圍的物流任務,各應選擇哪種深度模式?
窄視野模式提供 640×576 深度解析度 @ 30 fps,適合注重細節的近距離任務,如品質檢測,此時影格率與更新速度比覆蓋範圍更重要。廣視野模式則以 15 fps 提供完整的 1024×1024 解析度,覆蓋大達 120×120 度的視野,適合尺寸量測或場景層級任務,此時覆蓋範圍比影格率更重要。
Femto Mega 是否適用於戶外或變溫環境部署?
否。Orbbec 的規格將操作環境列為 10°C 至 25°C 範圍內的室內使用,因此此整合路徑是以受控室內條件為前提,而非戶外或大幅溫差環境。
後續步驟
以上步驟涵蓋核心整合路徑,但在最終定案設計前,深度模式選擇、確切的 SDK API 呼叫與目前的韌體行為,仍值得直接對照原始資料加以確認。Femto Mega 產品頁面載有完整的規格表與資料手冊,而bbec SDK 文件則涵蓋點雲生成、串流對齊與本文所提及 ROS/ROS 2 包裝器的最新 API 參考。
本指南最初發表於 FinTechZoom。