深度データは、推論を実行するボードに届いて初めて価値を発揮します。この受け渡しの部分で、統合作業の時間の多くが失われます。Orbbec Femto Megaは、まさにこの受け渡しを念頭に設計されたエッジAI深度カメラで、間接Time-of-Flight(iToF)センサーとオンボードのNVIDIA Jetson処理を組み合わせ、深度、RGB、ポイントクラウドデータを単一のUSB-CまたはEthernet接続を通じて、推論スタックを実行するホストにストリーミングします。接続先には、組み込みやロボティクス向けのNVIDIAのエッジAIコンピューティングプラットフォームであるJetson Orin開発キットが含まれます。このガイドは、Femto MegaをJetson Orinベースのワークフローに組み込む開発者に向けて、ケーブル配線からSDK出力まで、実際の接続の姿を解説します。

なぜiToFが屋内エッジAIワークフローに適するのか

間接Time-of-Flightは、シーンで反射した変調赤外光の位相差を測定します。一方、ステレオビジョンは2つのイメージセンサー間で三角測量により深度を求めます。この違いは屋内で重要になります。iToFは広いステレオベースラインを必要とせず、単一のセンサーヘッドから完全な深度フレームを返すため、カメラをコンパクトに保てるうえ、低テクスチャや反復的な表面でステレオ方式が生じうる相関誤差を回避できます。

Femto Megaの深度センサーは850nmの赤外波長を使用し、ワイド視野角モード(120度×120度の視野)では最大1024×1024の解像度を15fpsで、ナロー視野角モードでは640×576を30fpsで出力します。動作深度範囲は選択したモードに応じて、おおよそ0.25〜5.46メートルです。

この範囲と解像度のプロファイルは、エッジAIパイプラインが通常想定する屋内での知覚タスクに適しています。近距離での品質検査、物流における寸法計測や体積計測、患者のポジショニング、ガイド付きワークアウトやモーションキャプチャの用途は、いずれもセンサーから数メートル以内に収まります。Orbbec自身の製品ドキュメントでは、動作環境として屋内使用、10°C〜25°C、相対湿度8〜90%(結露なし)と記載されています。広い温度範囲や屋外での動作には、Orecのラインナップの別のカメラが必要となります。したがって、この統合パスは管理された屋内環境を前提としています。これがiToF深度データが最も安定して機能する環境です。

Femto Megaは内蔵の慣性計測ユニット(IMU)も搭載しており、各深度フレームとモーションデータを関連付けることができます。自律移動ロボット(AMR)関連やハンドヘルド計測のユースケースでは、IMUストリームにより、静的なカメラを想定するのではなく、フレーム間のセンサー移動を下流の推論コードで補正できます。

物理的な接続の実際

Femto Megaには2つのデータ接続オプションがあります。USB 3.0 Type-C、またはPower over Ethernet Plus(PoE+)対応Ethernetです。どちらの経路も、処理済みの深度、RGB、IMU出力を同じように伝送します。違いはデータ形式ではなく、ケーブル距離と電力供給です。

Jetson Orinホストがカメラから1〜2メートル以内にあるテストベンチレベルやロボット搭載型のセットアップでは、USB 3.0 Type-Cがより簡単な経路です。消費電力は低く、カメラの平均消費電力は13W未満とされているため、Jetson Orinキャリアボードの給電対応USB 3.0ポートへのType-Cケーブル1本でデータと電源の両方を賄えます。OrbbecはDC 12V/2A電源アダプターとPoE+を代替電源入力として挙げており、これらはカメラがホストから離れた場所にある場合に適しています。たとえば、品質検査セルの天井設置型ユニットや、物流の寸法計測ステーションを見守る固定カメラなどです。PoE+展開では、Jetson Orinホスト付近のPoE+インジェクターまたはスイッチへのEthernetケーブル1本で電力とデータをまとめて伝送でき、配線を簡素化できます。

配線を始める前に、物理的なマウントが設置具と一致していることを確認してください。Femto Megaは底面に¼-20 UNCマウント、側面に4つのM2.5マウントポイントを備えています。標準のカメラマウントでも、正しい穴パターンを持つカスタムブラケットでも、 rigの他の部分の構築方法に応じてどちらも使用できます。

明記しておくべきアーキテクチャ上のポイントがあります。Femto MegaのオンボードNVIDIA Jetson Nanoは、カメラ自身の深度エンジン処理を担当し、生のToFデータをSDKが公開する深度マップ、ポイントクラウド、IR/RGB出力に変換します。このセットアップにおけるJetson Orinは、独立した外部ホストデバイスです。OrinはUSBまたはEthernet経由で処理済みデータを受信し、物体検出、姿勢推定、カスタムモデルなどの下流の推論ワークロードを実行します。カメラは推論グラフを実行しません。カメラは、クリーンで較正済みの深度およびRGBストリームをOrinベースのホストに引き渡し、生のセンサー処理ではなく実際のAIワークロードにホストの計算リソースを割り当てられるようにします。

Orbbec SDKによるポイントクラウドデータのパイプラインへの取り込み

カメラの接続と給電が完了すると、Orbbec SDKがUSBまたはEthernetストリームをホスト側で利用可能なフレームに変換し、ポイントクラウド、深度マップ、IR、RGBを個別の出力として公開します。典型的なJetson Orin統合では、接続タイプに関係なく、おおむね同じ手順でこれらを取得します。

まず、SDKが接続されたデバイスを列挙し、Femto Megaへのパイプラインを開き、選択した視野角モードにする深度およびカラーストリームプロファイルを選択します。

次に、深度とRGBフレームが共通の座標空間を共有するよう、深度からカラーへのアライメントを設定します。これは、物体をセグメント化してから計測するなど、深度値をカラー画像の特定のピクセルに関連付ける必要がある下流の処理において重要です。

第三に、SDKのポイントクラウド生成ステップが、アライメント済みの深度フレームを3Dポイントクラウドに変換します。これは、物体の位置推定、体積推定、障害物マッピングにおいて、ほとんどの推論・知覚パイプラインが期待する形式です。

その後、ポイントクラウド、またはアライメント済みの深度およびRGBフレームは、Jetson Orinホストが実行する推論フレームワークに引き渡されます。SDKはクロスプラットフォームで、オープンソースのSDK v2として活発にメンテナンスされており、ロボティクススタックで広く使われるRobot Operating System向けのROSおよびROS 2ラッパーとPythonサポートを備えています。そのため、この引き渡しは通常、カスタムブリッジ層を必要とせず、既存のロボティクスやコンピュータビジョンのコードベースに組み込めます。

既製品を統合するのではなく、下流の推論モデル自体を構築するチームにとっては、Acquaint Softtechの専門的なAI Development Servicesが、このパイプラインが生成する深度およびRGBデータを基にカスタム知覚モデルを設計・学習する支援となります。

Azure Kinect DK環境から移行するチームは、OrbbecのK4A Wrapperを利用できます。これにより、Femto MegaのコードパスがAzure Kinect Sensor SDKと同じように動作するため、新しいAPIに対してゼロから書き直すことなく移行を進められます。

カメラはマルチセンサー同期のためのハードウェアトリガーもサポートしています。複数のFemto Megaを展開する場合や、同じプラットフォーム上の別のセンサーとフレーム同期を維持する必要がある場合は、パイプライン設計の早期段階でこれを組み込んでください。ソフトウェアで後からタイムスタンプを調整するのではなく、トリガーレベルで同期を処理する方が、推論に入るポイントクラウドデータをよりクリーンに保てます。

作業開始前の実践的なチェックリスト

統合コードを書く前に、4つの決定事項を固めてください。

1. ケーブル配線と電力予算に適した接続タイプはどれか。
2. 動作距離と必要なフレームレートに合う深度モード(ワイドまたはナロー視野角)はどれか。
3. 展開において複数センサー間のハードウェアトリガー同期が必要か。
4. Jetson Orinパイプラインの他の部分の構築方法に合うSDK言語バインディング(C++、Python、ROSラッパー)はどれか。

統合コードの最初の1行を書く前にこれら4つの決定を正しく行うことで、最も一般的な手戻り、すなわち開発途中で選択した深度モードがアプリケーションが実際に必要とする動作距離をカバーしていないと判明する事態を回避できます。

よくある質問

Femto Megaは独自のAI推論を実行しますか、それともJetson Orinホストで実行されますか?

カメラのオンボードNVIDIA Jetson Nanoは深度ンジン処理のみを担当します。生のセンサーデータを深度マップ、ポイントクラウド、アライメント済みRGB出力に変換します。推論モデルは独立したホストデバイス上で実行されます。このガイドでは、USBまたはEthernet経由で処理済みデータを受信するJetson Orinプラットフォームです。

冗長性のためにEthernetとUSB 3.0を同時に使用できますか?

製品仕様では、USB 3.0 Type-CとEthernetが代替のデータ接続オプションとして挙げられています。Femto Megaは同時デュアルストリーム動作ではなく、単一のアクティブなデータ接続を前提に設計されているため、カメラごとに1つの主要な接続タイプを軸にアーキテクチャを計画してください。

近距離の検査タスクと、より広い範囲の物流タスクでは、どの深度モードを選ぶべきですか?

ナロー視野角モードは640×576の深度解像度を30fpsで提供し、カバーエリアよりもフレームレートと更新速度が重要となる品質検査のような近距離の細部重視のタスクに適しています。ワイド視野角モードは、はるかに広い120度×120度の視野で完全な1024×1024解像度を15fpsで提供し、フレームレートよりも空間カバー範囲が重要となる寸法計測やシーンレベルのタスクに適しています。

Femto Megaは屋外や温度変化のある環境での展開に対応していますか?

いいえ。Orbbecの仕様では、動作環境は10°C〜25°Cの範囲での屋内使用と記載されており、この統合パスは屋外や広い温度変動の環境ではなく、管理された屋内条件を前提に構築されています。

次のステップ

上記のステップで中核となる統合パスをカバーしていますが、設計を確定する前に、深度モードの選択、正確なSDK APIコール、最新のファームウェア動作について、一次ソースで直接確認することをお勧めします。Femto Mega製品ページに完全な仕様表とデータシートがあり、Orbbec SDKドキュメントでは、ポイントクラウド生成、ストリームアライメント、ここで取り上げたROS/ROS 2ラッパーの最新APIリファレンスを確認できます。

このガイドはもともとFinTechZoomに掲載されたものです。