Tiefendaten entfalten ihren Wert erst, wenn sie die Karte erreichen, auf der die Inferenz läuft – und genau an dieser Übergabe geht ein großer Teil der Integrationszeit verloren. Die Orbbec Femto Mega, eine Edge-AI-Tiefenkamera, die genau um diese Übergabe herum konzipiert ist, kombiniert einen indirekten Time-of-Flight-Sensor (iToF) mit integrierter NVIDIA-Jetson-Verarbeitung und streamt Tiefen-, RGB- und Punktwolkendaten über eine einzige USB-C- oder Ethernet-Verbindung an den Host, der die Inferenz-Pipeline betreibt – einschließlich eines Jetson Orin Developer Kits, NVIDIAs Edge-AI-Computing-Plattform für Embedded- und Robotik-Workloads. Dieser Leitfaden zeigt Entwicklern, die die Femto Mega in einen Jetson-Orin-basierten Workflow integrieren möchten, wie diese Verbindung in der Praxis aussieht – von der Verkabelung bis zur SDK-Ausgabe.

Warum iToF zu Indoor-Edge-AI-Workflows passt

Indirect Time-of-Flight misst die Phasenverschiebung von moduliertem Infrarotlicht, das von einer Szene reflektiert wird, während Stereovision die Tiefe zwischen zwei Bildsensoren trianguliert. Der Unterschied ist in Innenräumen relevant: iToF liefert einen vollständigen Tiefenframe von einem einzigen Sensorkopf, ohne eine breite Stereobasis zu benötigen, was die Kamera kompakt hält und die Korrelationsfehler vermeidet, die Stereosysteme auf strukturarmen oder sich wiederholenden Oberflächen erzeugen können.

Der Tiefensensor der Femto Mega nutzt eine Infrarotwellenlänge von 850 nm und liefert eine Auflösung von bis zu 1024×1024 bei 15 fps im Weitwinkelmodus – ein Sichtfeld von 120 mal 120 Grad – oder 640×576 bei 30 fps im Schmalwinkelmodus. Der nutzbare Tiefenbereich liegt je nach gewähltem Modus bei etwa 0,25 bis 5,46 Metern.

Dieses Profil aus Reichweite und Auflösung eignet sich für die Indoor-Wahrungsaufgaben, für die Edge-AI-Pipelines üblicherweise gebaut werden. Qualitätsprüfung aus nächster Nähe, Vermessung und volumetrische Erfassung in der Logistik, Patientenpositionierung sowie geführtes Training oder Motion-Capture-Anwendungen liegen alle im Bereich weniger Meter vom Sensor entfernt. Orbbecs eigene Produktdokumentation nennt als Betriebsumgebung die Innennutzung bei 10 °C bis 25 °C und 8 bis 90 Prozent relativer Luftfeuchtigkeit, nicht kondensierend. Für den Betrieb bei breiten Temperaturbereichen oder im Freien ist eine andere Kamera aus Orbbecs Portfolio erforderlich; dieser Integrationsweg geht daher von einer kontrollierten Innenraumumgebung aus – dem Setting, in dem iToF-Tiefendaten am besten funktionieren.

Die Femto Mega verfügt zudem über eine integrierte Trägheitsmesseinheit (IMU), sodass Bewegungsdaten mit jedem Tiefenframe abgeglichen werden können. Für Anwendungsfälle im Umfeld autonomer mobiler Roboter (AMR) oder bei der Erfassung aus der Hand ermöglicht der IMU-Stream der nachgelagerten Inferenz-Software, die Sensorbewegung zwischen Frames auszugleichen, statt von einer statischen Kamera auszugehen.

Wie die physische Verbindung tatsächlich aussieht

Die Femto Mega wird mit zwei Datenverbindungsoptionen geliefert: USB 3.0 Type-C oder Ethernet mit Power over Ethernet Plus (PoE+). Beide Wege übertragen dieselbe verarbeitete Tiefen-, RGB- und IMU-Ausgabe; der Unterschied liegt in der Kabellänge und Stromversorgung, nicht im Datenformat.

Für einen Aufbau am Arbeitsplatz oder auf einem Roboter, bei dem der Jetson-Orin-Host ein bis zwei Meter von der Kamera entfernt sitzt, ist USB 3.0 Type-C der einfachere Weg. Die Leistungsaufnahme ist gering – die Kamera ist mit durchschnittlich unter 13 W spezifiziert –, sodass ein einziges Type-C-Kabel an einen USB-3.0-Anschluss mit Stromversorgung am Jetson-Orin-Trägerboard sowohl Daten als auch Strom überträgt. Orbbec führt außerdem ein DC-12-V/2A-Netzteil und PoE+ als alternative Stromquellen auf, die besser geeignet sind, wenn die Kamera weiter vom Host entfernt sitzt: etwa eine über Kopf montierte Einheit in einer Qualitätsprüfzelle oder eine feste Kamera, die eine logistische Vermessungsstation überwacht. In einer PoE+-Bereitstellung überträgt ein einzelnes Ethernet-Kabel zu einem PoE+-Injector oder Switch in der Nähe des Jetson-Orin-Hosts Strom und Daten gemeinsam, was die Kabelverlegung vereinfacht.

Prüfen Sie vor der Verkabelung, ob die physische Befestigung zu Ihrer Halterung passt. Die Femto Mega nutzt eine ¼-20-UNC-Befestigung an der Unterseite und vier M2.5-Befestigungspunkte an der Seite; eine Standard-Kamerahalterung oder eine kundenspezifische Halterung mit dem passenden Lochbild funktionieren beide, je nachdem, wie der Rest des Aufbaus konstruiert ist.

architektonischer Punkt verdient eine klare Aussage. Die integrierte NVIDIA Jetson Nano der Femto Mega übernimmt ausschließlich die Tiefen-Engine-Verarbeitung der Kamera selbst und wandelt die rohen ToF-Signale in die Tiefenkarte, die Punktwolke und die IR/RGB-Ausgabe um, die das SDK bereitstellt. Der Jetson Orin in diesem Setup ist ein separates, externes Host-Gerät: Er empfängt die bereits verarbeiteten Daten über USB oder Ethernet und führt die nachgelagerte Inferenz-Arbeitslast aus – sei es Objekterkennung, Posenschätzung oder ein benutzerdefiniertes Modell. Die Kamera führt nicht den Inferenz-Graphen aus – sie liefert dem Orin-basierten Host saubere, kalibrierte Tiefen- und RGB-Streams, wodurch das Rechenbudget des Hosts für die eigentliche KI-Arbeitslast statt für die rohe Sensorverarbeitung freigesetzt wird.

Punktwolkendaten mit dem Orbbec SDK in die Pipeline bringen

Sobald die Kamera angeschlossen und mit Strom versorgt ist, wandelt das Orbbec SDK den USB- oder Ethernet-Stream auf der Host-Seite in nutzbare Frames um und stellt Punktwolke, Tiefenkarte, IR und RGB als separate Ausgaben bereit. Eine typische Jetson-Orin-Integration zieht diese unabhängig vom Verbindungstyp in derselben allgemeinen Sequenz.

Zuerst enumeriert das SDK die verbundenen Geräte und öffnet eine Pipeline zur Femto Mega, wobei die Tiefen- und Farbstream-Profile ausgewählt werden, die zum gewählten Sichtfeldmodus passen.

Zweitens wird die Depth-to-Color-Ausrichtung konfiguriert, sodass Tiefen- und RGB-Frames einen gemeinsamen Koordinatenraum teilen. Das ist für jeden nachgelagerten Schritt relevant, der einen Tiefenwert einem bestimmten Pixel im Farbbild zuordnen muss – etwa wenn ein Objekt segmentiert und anschließend vermessen werden soll.

Drittens wandelt der Punktwolken-Generierungsschritt des SDK den ausgerichteten Tiefenframe in eine 3D-Punktwolke um – das Format, das die meisten Inferenz- und Wahrnehmungs-Pipelines für Objektlokalisierung, Volumenschätzung oder Hindernis-Kartierung erwarten.

Von dort aus werden die Punktwolke oder die ausgerichteten Tiefen- und RGB-Frames an das Inferenz-Framework übergeben, das der Jetson-Orin-Host betreibt. Das SDK ist plattformübergreifend und wird aktiv als Open-Source SDK v2 gepflegt, mit ROS- und ROS-2-Wrappern – Bindings für das in Robotik-Stacks verbreitete Robot Operating System – sowie Python-Unterstützung, sodass die Übergabe typischerweise in eine bestehende Robotik- oder Computer-Vision-Codebasis passt, ohne eine benutzerdefinierte Brückenschicht zu erfordern.

Teams, die von einem Azure-Kinect-DK-Setup migrieren, können den K4A Wrapper von Orbbec verwenden, der es Femto-Mega-Codepfaden ermöglicht, das Azure Kinect Sensor SDK abzubilden – das erleichtert die Migration, anstatt eine komplette Neuentwicklung gegen eine neue API zu erfordern.

Die Kamera unterstützt zudem einen Hardware-Trigger zur Synchronisation mehrerer Sensoren. Planen Sie dies frühzeitig in das Pipeline-Design ein, wenn die Bereitstellung mehr als eine Femto Mega umfasst oder mit einem anderen Sensor auf derselben Plattform frame-synchron bleiben muss. Die Handhabung der Synchronisation auf Trigger-Ebene – statt Zeitstempel nachträglich in Software abzugleichen – hält die Punktwolkendaten sauberer für die Inferenz.

Praktische Checkliste vor dem Start

Bevor Sie Integrationscode schreiben, sollten Sie vier Entscheidungen klären:\n1. Welcher Verbindungstyp passt zu Kabellänge und Strombudget?
2. Welcher Tiefenmodus – Weitwinkel oder Schmalwinkel – entspricht Arbeitsabstand und erforderlicher Bildrate?
3. Benötigt die Bereitstellung Hardware-Trigger-Synchronisation über mehrere Sensoren?
4. Welches SDK-Sprachbinding – C++, Python oder ein ROS-Wrapper – passt zur Struktur der übrigen Jetson-Orin-Pipeline?

Wer diese vier Entscheidungen vor der ersten Zeile Integrationscode richtig trifft, vermeidet die häufigste Ursache für Nacharbeit: die Erkenntnis mitten in der Entwicklung, dass der gewählte Tiefenmodus den tatsächlich benötigten Arbeitsabstand der Anwendung nicht abdeckt.

Häufig gestellte Fragen

Führt die Femto Mega ihre eigene KI-Inferenz aus, oder geschieht das auf dem Jetson-Orin-Host?

Die integrierte NVIDIA Jetson Nano der Kamera übernimmt ausschließlich die Tiefen-Engine-Verarbeitung. Sie wandelt rohe Sensordaten in Tiefenkarten, Punktwolken und ausgerichtete RGB-Ausgabe um. Das Inferenzmodell läuft auf dem separaten Host-Gerät – in diesem Leitfaden eine Jetson-Orin-Plattform, die die verarbeiteten Daten über USB oder Ethernet empfängt.

Können Ethernet und USB 3.0 gleichzeitig für Redundanz genutzt werden?

Die Produktspezifikation führt USB 3.0 Type-C und Ethernet als alternative Datenverbindungsoptionen auf. Die Femto Mega ist für eine einzige aktive Datenverbindung gleichzeitig ausgelegt und nicht für den gleichzeitigen Dual-Stream-Betrieb – die Architektur sollte daher auf einen Verbindungstyp pro Kamera ausgelegt werden.

Welcher Tiefenmodus sollte für eine Nahbereichs-Inspektionsaufgabe im Vergleich zu einer logistischen Aufgabe mit größerer Fläche gewählt werden?

Der Schmalwinkelmodus liefert eine Tiefenauflösung von 640×576 bei 30 fps und eignet sich für nahe, detailorientierte Aufgaben wie die Qualitätsprüfung, bei denen Bildrate und Aktualisierungsgeschwindigkeit wichtiger sind als die Abdeckungsfläche. Der Weitwinkelmodus liefert die volle Auflösung von 1024×1024 bei 15 fps über ein deutlich größeres Feld von 120 mal 120 Grad und passt zu Vermessungs- oder Szenen-Aufgaben, bei denen die Abdeckung mehr Fläche wichtiger ist als die Bildrate.

Ist die Femto Mega für den Einsatz im Freien oder bei schwankenden Temperaturen zugelassen?

Nein. Orbbecs Spezifikation nennt als Betriebsumgebung die Innennutzung im Bereich von 10 °C bis 25 °C. Dieser Integrationsweg ist daher auf kontrollierte Innenraumbedingungen ausgelegt und nicht auf Outdoor- oder Umgebungen mit großen Temperaturschwankungen.

Wie es weitergeht

Die obigen Schritte decken den Kern des Integrationswegs ab, doch die Auswahl des Tiefenmodus, die genauen SDK-API-Aufrufe und das aktuelle Firmware-Verhalten sollten vor dem endgültigen Design direkt an der Quelle überprüft werden. Die Femto-Mega-Produktseite enthält die vollständige Spezifikationstabelle und das Datenblatt, während die Orbbec-SDK-Dokumentation die aktuelle API-Referenz zur Punktwolkenerzeugung, Stream-Ausrichtung und den hier erwähnten ROS-/ROS-2-Wrappern abdeckt.

Dieser Leitfaden erschien ursprünglich auf FinTechZoom.