Dane głębi dowodzą swojej wartości dopiero wtedy, gdy dotrą do płyty wykonującej inferencję — i właśnie na tym przekazaniu gubi się znaczna część czasu integracji. Orbbec Femto Mega, kamera głębi dla AI na krawędzi zaprojektowana właśnie wokół tego przekazania, łączy pośredni czujnik Time-of-Flight (iToF) z wbudowanym przetwarzaniem NVIDIA Jetson, a następnie przesyła dane głębi, RGB i chmury punktów przez pojedyncze połączenie USB-C lub Ethernet do hosta uruchamiającego stos inferencji — w tym do zestawu deweloperskiego Jetson Orin, platformy obliczeń AI na krawędzi firmy NVIDIA dla zastosowań wbudowanych i robotycznych. Ten przewodnik przedstawia, jak to połączenie wygląda w praktyce, od okablowania po wyjście SDK, dla deweloperów integrujących Femto Mega w przepływie opartym na Jetson Orin.

Dlaczego iToF pasuje do wewnętrznych przepływów AI na krawędzi

Pośredni Time-of-Flight mierzy przesunięcie fazy modulowanego światła podczerwonego odbitego od sceny, podczas gdy wizja stereoskopowa wyznacza głębię przez triangulację między dwoma czujnikami obrazu. Ta różnica ma znaczenie w pomieszczeniach: iToF zwraca pełną klatkę głębi z pojedynczej głowicy czujnika bez szerokiej bazy stereoskopowej, co pozwala zachować kompaktową budowę kamery i unikać błędów korelacji, jakie systemy stereoskopowe mogą generować na powierzchniach o niskiej fakturze lub powtarzalnych.

Czujnik głębi Femto Mega wykorzystuje podczerwień o długości fali 850 nm i zapewnia rozdzielczość do 1024×1024 przy 15 kls w trybie szerokiego pola widzenia — polu 120 na 120 stopni — lub 640×576 przy 30 kl./s w trybie wąskiego pola widzenia. Roboczy zakres głębi wynosi orientacyjnie od 0,25 do 5,46 metra w zależności od wybranego trybu.

Taki profil zakresu i rozdzielczości odpowiada wewnętrznym zadaniom percepcji, dla których zwykle buduje się przepływy AI na krawędzi. Inspekcja jakościowa z bliska, wymiarowanie i przechwytywanie objętości w logistyce, pozycjonowanie pacjentów oraz aplikacje do prowadzonych treningów lub przechwytywania ruchu mieszczą się w zasięgu kilku metrów od czujnika. Dokumentacja produktowa Orbbec określa środowisko pracy jako pomieszczenia wewnętrzne w temperaturze od 10°C do 25°C i wilgotności względnej od 8 do 90 procent, bez kondensacji. Praca w szerokim zakresie temperatur lub na zewnątrz wymaga innej kamery z oferty Orbbec, dlatego ta ścieżka integracji zakłada kontrolowane środowisko wewnętrzne — warunki, w których dane głębi iToF sprawdzają się najlepiej.

Femto Mega posiada również zintegrowaną jednostkę pomiaru bezwładności (IMU), dzięki czemu dane ruchu można korelować z każdą klatką głębi. W zastosowaniach bliskich autonomicznym robotom mobilnym (AMR) lub przechwytywaniu ręcznym strumień IMU pozwala kodowi inferencyjnemu kompensować ruch czujnika między klatkami zamiast zakładać statyczną kamerę.

Jak faktycznie wygląda połączenie fizyczne

Femto Mega oferuje dwie opcje połączenia danych: USB 3.0 Type-C lub Ethernet z Power over Ethernet Plus (PoE+). Obie ścieżki przenoszą te same przetworzone dane głębi, RGB i IMU; różnica dotyczy długości okablowania i dostarczania zasilania, a nie formatu danych.

Dla konfiguracji laboratoryjnej lub zamontowanej na robocie, gdzie host Jetson Orin znajduje się w odległości jednego–dwóch metrów od kamery, prostszą ścieżką jest USB 3.0 Type-C. Pobór mocy jest niski — kamera ma określony średni pobór poniżej 13 W — więc pojedynczy kabel Type-C do zasilanego portu USB 3.0 na płycie nośnej Jetson Orin obsługuje zarówno dane, jak i zasilanie. Orbbec wymienia również zasilacz DC 12V/2A oraz PoE+ jako alternatywne źródła zasilania, które sprawdzają się lepiej, gdy kamera znajduje się dalej od hosta: na przykład jednostka zamontowana nad komorą inspekcji jakości lub stała kamera obserwująca stanowisko wymiarowania w logistyce. We wdrożeniu PoE+ pojedynczy przebieg Ethernetu do zasilacza PoE+ lub switcha w pobliżu hosta Jetson Orin przenosi zasilanie i dane razem, upraszczając prowadzenie okablowania.

Przed podłączeniem czokolwiek upewnij się, że mocowanie fizyczne pasuje do Twojego stanowiska. Femto Mega wykorzystuje mocowanie ¼-20 UNC na spodzie i cztery punkty montażowe M2.5 z boku; sprawdzi się zarówno standardowy mocowanie kamery, jak i wspornik wykonany na zamówienie z właściwym rozstawem otworów, w zależności od konstrukcji pozostałej części zestawu.

Jedną kwestię architektoniczną warto wypowiedzieć wprost. Wbudowany w Femto Mega procesor NVIDIA Jetson Nano obsługuje wyłącznie wewnętrzne przetwarzanie silnika głębi, przekształcając surowe dane ToF w mapę głębi, chmurę punktów oraz wyjścia IR/RGB udostępniane przez SDK. Jetson Orin w tej konfiguracji to oddzielne, zewnętrzne urządzenie hosta: odbiera już przetworzone dane przez USB lub Ethernet i wykonuje pracę inferencyjną — wykrywanie obiektów, estymację pozy lub własny model. Kamera nie uruchamia Twojego grafu inferencji — przekazuje hostowi opartemu na Orin czyste, skalibrowane strumienie głębi i RGB, uwalniając budżet obliczeniowy hosta na właściwe zadania AI zamiast surowego przetwarzania danych z czujnika.

Wprowadzanie chmury punktów do przepływu za pomocą Orbbec SDK

Po podłączeniu i zasileniu kamery Orbbec SDK przekształca strumień USB lub Ethernet w użyteczne klatki po stronie hosta, udostępniając chmurę punktów, mapę głębi, IR i RGB jako oddzielne wyjścia. Typowa integracja z Jetson Orin pobiera je według tej samej ogólnej sekwencji niezależnie od typu połączenia.

Po pierwsze, SDK wylicza podłączone urządzenia i otwiera potok do Femto Mega, wybierając profile strumieni głębi i koloru dopasowane do wybranego trybu pola widzenia.

Po drugie, konfiguruje się wyrównanie głębi do koloru, aby klatki głębi i RGB współdzieliły wspólną przestrzeń współrzędnych. Ma to znaczenie dla każdego dalszego kroku, który musi powiązać wartość głębi z konkretnym pikselem obrazu kolorowego, np. segmentacji obiektu, a następnie jego pomiaru.

Po trzecie, etap generowania chmury punktów w SDK przekształca wyrównaną klatkę głębi w trójwymiarową chmurę punktów — format, którego oczekuje większość potoków inferencji i percepcji przy lokalizacji obiektów, szacowaniu objętości lub mapowaniu przeszkód.

Następnie chmura punktów lub wyrównane klatki głębi i RGB są przekazywane do frameworku inferencji uruchamianego na hoście Jetson Orin. SDK jest wieloplatformowe i aktywnie utrzymywane jako open-source SDK v2, z wrapperami ROS i ROS 2 — powązaniami dla systemu Robot Operating System powszechnego w stosach robotycznych — oraz wsparciem Pythona, więc przekazanie zwykle wpisuje się w istniejący kod robotyki lub wizji komputerowej bez konieczności budowy własnej warstwy mostkowej.

Zespoły migrujące z konfiguracji Azure Kinect DK mogą skorzystać z K4A Wrapper firmy Orbbec, który pozwala ścieżkom kodu Femto Mega odwzorować Azure Kinect Sensor SDK — ułatwiając migrację zamiast wymuszania przepisania od zera pod API.

Kamera obsługuje także wyzwalanie sprzętowe do synchronizacji wielu czujników. Zaprojektuj to wcześnie w potoku, jeśli wdrożenie obejmuje więcej niż jedną kamerę Femto Mega albo musi pozostać wyrównane klatkowo z innym czujnikiem na tej samej platformie. Obsługa synchronizacji na poziomie wyzwalania, a nie uzgadnianie znaczników czasu post factum w oprogramowaniu, zapewnia czystsze dane chmury punktów na wejściu do inferencji.

Praktyczna lista kontrolna przed rozpoczęciem

Przed napisaniem kodu integracji ustal cztery decyzje:

1. Który typ połączenia pasuje do długości okablowania i budżetu zasilania?
2. Który tryb głębi — szerokie czy wąskie pole widzenia — odpowiada roboczej odległości i wymaganej częstotliwości klatek?
3. Czy wdrożenie wymaga synchronizacji wyzwalaniem sprzętowym wielu czujników?
4. Które powiązanie językowe SDK — C++, Python czy wrapper ROS — pasuje do sposobu zbudowania pozostałej części potoku Jetson Orin?

Podjęcie tych czterech decyzji przed pierwszą linią kodu integracji pozwala uniknąć najczęstszego źródła poprawek: odkrycia w połowie prac, że wybrany tryb głębi nie obejmuje roboczej odległości faktycznie wymaganej przez aplikację.

Najczęściej zadawane pytania

Czy Femto Mega sam wykonuje inferencję AI, czy odbywa się to na hoście Jetson Orin?

Wbudowany w kamerę procesor NVIDIA Jetson Nano obsługuje wyłącznie przetwarzanie silnika głębi. Przekształca surowe dane z czujnika w mapy głębi, chmury punktów i wyrównane wyjście RGB. Model inferencji działa na oddzielnym urządzeniu hosta — w tym przewodniku platforma Jetson Orin odbierająca przetworzone dane przez USB lub Ethernet.

Czy Ethernet i USB 3.0 można używać jednocześnie dla redundancji?

Specyfikacja produktu wymienia USB 3.0 Type-C i Ethernet jako alternatywne opcje połączenia danych. Femto Mega został zaprojektowany wokół pojedynczego aktywnego połączenia danych w danym momencie, a nie równoczesnej pracy dwóch strumieni, więc architekturę należy planować wokół jednego typu połączenia na kamerę.

Który tryb głębi wybrać dla inspekcji z bliska w porównaniu z szerszym zadaniem logistycznym?

Tryb wąskiego pola widzenia zapewnia rozdzielczość głębi 640×576 przy 30 kl./s, co odpowiada bliskim zadaniom nastawionym na szczegóły, takim jak inspekcja jakościowa, gdzie częstotliwość klatek i szybkość odświeżania są ważniejsze niż obszar pokrycia. Tryb szerokiego pola widzenia zapewnia pełną rozdzielczość 1024×1024 przy 15 kl./s na znacznie większym polu 120 na 120 stopni, co pasuje do zadań wymiarowania lub na poziomie sceny, gdzie pokrycie większej przestrzeni jest ważniejsze niż częstotliwość klatek.

Czy Femto Mega jest przystosowany do pracy na zewnątrz lub w zmiennych temperaturach?

Nie. Specyfikacja Orbbec określa środowisko pracy jako pomieszczenia wewnętrzne w zakresie od 10°C do25°C, więc ta ścieżka integracji jest zbudowana wokół kontrolowanych warunków wewnętrznych, a nie środowisk zewnętrznych lub o dużych wahaniach temperatury.

Co dalej

Powyższe kroki obejmują podstawową ścieżkę integracji, ale wybór trybu głębi, dokładne wywołania API SDK oraz aktualne zachowanie firmware warto potwierdzić bezpośrednio u źródła przed sfinalizowaniem projektu. Strona produktu Femto Mega zawiera pełną tabelę specyfikacji i kartę katalogową, natomiast dokumentacja Orbbec SDK obejmuje aktualne odniesienie API dla generowania chmury punktów, wyrównania strumieni oraz wspominanych tu wrapperów ROS/ROS 2.

Ten przewodnik ukazał się pierwotnie na FinTechZoom.