Данные глубины приносят пользу только после того, как попадают на плату, выполняющую инференс, и именно на этом этапе теряется значительная часть времени интеграции. Orbbec Femto Mega — камера глубины для периферийного ИИ, спроектированная именно вокруг этой передачи данных, — сочетает косвенный Time-of-Flight (iToF) сенсор со встроенной обработкой NVIDIA Jetson, а затем передает данные глубины, RGB и облака точек через единственное подключение USB-C или Ethernet на хост, где работает стек инференса — включая отладочный комплект Jetson Orin, платформу периферийных вычислений NVIDIA для встраиваемых систем и робототехники. Это руководство описывает, как такое подключение выглядит на практике — от прокладки кабелей до вывода SDK — для разработчиков, интегрирующих Femto Mega в рабочий процесс на базе Jetson Orin.

Почему iToF подходит для внутренних задач периферийного ИИ

Косвенный Time-of-Flight измеряет сдвиг фазы модулированного инфракрасного света, отраженного от сцены, тогда как стереозрение вычисляет глубину путем триангуляции между двумя сенсорами изображения. Это различие важно в помещениях: iToF возвращает полный кадр глубины с одного сенсорного блока без широкой стереобазы, что делает камеру компактной и позволяет избежать ошибок корреляции, которые стереосистемы могут допускать на поверхностях со слабой текстурой или повторяющимся рисунком.

Датчик глубины Femto Mega использует инфракрасную длину волны 850 нм и выдает разрешение до 1024×1024 при 15 fps в широком режиме поля зрения — 120 на 120 градусов — или 640×576 при 30 fps в узком режиме поля зрения. Рабочий диапазон глубины составляет примерно от 0,25 до 5,46 метра в зависимости от выбранного режима.

Такой профиль диапазона и разрешения подходит для задач внутреннего восприятия, ради которых обычно создаются конвейеры периферийного ИИ. Контроль качества на близком расстоянии, обмер и объемный захват в логистике, позиционирование пациентов, а также приложения для тренировок с сопровождением или захвата движения — все они находятся в пределах нескольких метров от сенсора. В собственной документации Orbbec указано, что рабочая среда — использование в помещении при температуре от 10°C до 25°C и относительнойности от 8 до 90 процентов, без конденсации. Для работы в широком диапазоне температур или на улице потребуется другая камера из линейки Orbbec, поэтому данный путь интеграции предполагает контролируемую внутреннюю среду — условия, в которых данные глубины iToF работают лучше всего.

Femto Mega также оснащена встроенным инерциальным измерительным блоком (IMU), что позволяет сопоставлять данные движения с каждым кадром глубины. Для применений, близких к автономным мобильным роботам (AMR), или ручного захвата поток IMU позволяет коду инференса компенсировать перемещение сенсора между кадрами вместо предположения о статичной камере.

Как выглядит физическое подключение

Femto Mega поставляется с двумя вариантами подключения данных: USB 3.0 Type-C или Ethernet с Power over Ethernet Plus (PoE+). Оба варианта передают одинаковые обработанные данные глубины, RGB и IMU; разница заключается в длине кабеля и подаче питания, а не в формате данных.

Для настольной или роботизированной установки, где хост Jetson Orin находится в пределах одного-двух метров от камеры, проще использовать USB 3.0 Type-C. Энергопотребление невелико — камера рассчитана в среднем на менее 13 Вт, — поэтому один кабель Type-C к порту USB 3.0 с питанием на несущей плате Jetson Orin обеспечивает и данные, и питание. Orbbec также указывает адаптер питания DC 12V/2A и PoE+ в качестве альтернативных источников питания, которые лучше подходят, когда камера находится дальше от хоста: например, блок, закрепленный над ячейкой контроля качества, или стационарная камера, наблюдающая за станцией обмера на логистическом объекте. При развертывании с PoE+ одна линия Ethernet к инжектору PoE+ или коммутатору рядом с хостом Jetson Orin передает питание и данные вместе, упрощая прокладку кабелей.

Прежде чем подключать оборудование, убедитесь, что крепление соответствует вашей конструкции. Femto Mega использует крепление ¼-20 UNC снизу и четыре точки крепления M2.5 сбоку; подойдет как стандартное крепление камеры, так и изготовленный на заказ кронштейн с правильным рисунком отверстий — в зависимости от конструкции остальной установки.

Одно архитектурное обстоятельство стоит сформулировать прямо. Встроенный NVIDIA Jetson Nano в Femto Mega обрабатывает только движок глубины самой камеры, преобразуя сырые данные ToF в карту глубины, облако точек и вывод IR/RGB, которые предоставляет SDK. Jetson Orin в этой схеме — отдельное внешнее хост-устройство: оно принимает уже обработанные данные по USB или Ethernet и выполняет последующую рабочую нагрузку инференса — будь то обнаружение объектов, оценка позы или собственная модель. Камера не выполняет ваш граф инференса — она передает хосту на Orin чистые, откалиброванные потоки глубины и RGB, освобождая вычислительный бюджет хоста для собственно ИИ-нагрузки вместо обработки сырых сенсорных данных.

Ввод данных облака точек в конвейер с помощью Orbbec SDK

После подключения и подачи питания на камеру Orbbec SDK преобразует поток USB или Ethernet в пригодные для использования кадры на стороне хоста, предоставляя облако точек, глубины, IR и RGB как отдельные выходы. Типовая интеграция с Jetson Orin получает их через одну и ту же общую последовательность независимо от типа подключения.

Во-первых, SDK перечисляет подключенные устройства и открывает конвейер к Femto Mega, выбирая профили потоков глубины и цвета, соответствующие выбранному режиму поля зрения.

Во-вторых, настраивается выравнивание глубины и цвета, чтобы кадры глубины и RGB разделяли общее пространство координат. Это важно для любого последующего шага, где нужно связать значение глубины с конкретным пикселем цветного изображения, например, при сегментации объекта с последующим его измерением.

В-третьих, шаг генерации облака точек в SDK преобразует выровненный кадр глубины в 3D-облако точек — формат, который ожидает большинство конвейеров инференса и восприятия для локализации объектов, оценки объема или построения карты препятствий.

Далее облако точек или выровненные кадры глубины и RGB передаются в любой фреймворк инференса, работающий на хосте Jetson Orin. SDK кроссплатформенный и активно развивается как открытый SDK v2 с обертками ROS и ROS 2 — биндингами для Robot Operating System, распространенной в робототехнических стеках, — и поддержкой Python, поэтому такая интеграция обычно встраивается в существующую кодовую базу робототехники или компьютерного зрения, не требуя собственного мостового слоя.

Команды, мигрирующие с Azure Kinect DK, могут использовать K4A Wrapper от Orbbec, который позволяет путям кода Femto Mega повторять Azure Kinect Sensor SDK — это упрощает миграцию вместо переписывания под новый API с нуля.

Камера также поддерживает аппаратный триггер для синхронизации нескольких сенсоров. Заложите это в архитектуру конвейера заранее, если развертывание включает более одной Femto Mega или должно оставаться выровненным по кадрам с другим сенсором на той же платформе. Обработка синхронизации на уровне триггера, а не согласование временных меток программно постфактум, сохраняет данные облака точек более чистыми при подаче в инференс.

Практический чек-лист перед началом работы

Прежде чем писать код интеграции, определите четыре решения:

1. Какой тип подключения соответствует длине кабельной трассы и бюджету питания?
2. Какой режим глубины — широкое или узкое поле зрения — соответствует рабочему расстоянию и требуемой частоте кадров?
3. Нужно ли развертыванию синхронизация по аппаратному триггеру между несколькими сенсорами?
4. Какой биндинг SDK — C++, Python или обертка ROS — соответствует архитектуре остальной части конвейера на Jetson Orin?

Правильный выбор по этим четырем вопросам до написания первой строки кода интеграции позволяет избежать самой частой причины переделок: обнаружения в середине разработки, что выбранный режим глубины не покрывает фактически необходимое приложению рабочее расстояние.

Часто задаваемые вопросы

Выполняет ли Femto Mega собственный ИИ-инференс, или он происходит на хосте Jetson Orin?

Встроенный NVIDIA Jetson Nano камеры отвечает только за обработку движка глубины. Он преобразует сырые данные сенсора в карты глубины, облака точек и выровненный вывод RGB. Модель инференса работает на отдельном хост-устройстве — в этом руководстве это платформа Jetson Orin, принимающая обработанные данные по USB или Ethernet.

Можно ли использовать Ethernet и USB 3.0 одновременно для резервирования?

В спецификации продукта USB 3.0 Type-C и Ethernet указаны как альтернативные варианты подключения данных. Femto Mega рассчитана на одно активное подключение данных одновременно, а не на одновременную двухпотоковую работу, поэтому архитектуру следует планировать исходя из одного типа подключения на камеру.\n### Какой режим глубины выбрать для задачи контроля на близком расстоянии по сравнению с более широкой логистической задачей?

Узкий режим поля зрения обеспечивает разрешение глубины 640×576 при 30 fps, что подходит для близких задач с высокой детализацией, таких как контроль качества, где частота кадров и скорость обновления важнее зоны покрытия. Широкий режим поля зрения обеспечивает полное разрешение 1024×1024 при 15 fps на значительно большей области в 120 на 120 градусов, что подходит для задач обмера или уровня сцены, где покрытие большего пространства важнее частоты кадров.

Подходит ли Femto Mega для уличного развертывания или условий с переменной температурой?

Нет. В спецификации Orbbec указано, что рабочая среда — использование в помещении при температуре от 10°C до 25°C, поэтому данный путь интеграции построен вокруг контролируемых внутренних условий, а не уличных условий или сред с широкими перепадами температур.

Что делать дальше

Описанные выше шаги охватывают основной путь интеграции, но выбор режима глубины, точные вызовы API SDK и поведение текущей прошивки стоит сверить непосредственно с первоисточником до финализации проекта. На странице продукта Femto Mega представлена полная таблица спецификаций и техническое описание, а документация Orbbec SDK содержит актуальный справочник API по генерации облака точек, выравниванию потоков и упоминаемым здесь оберткам ROS/ROS 2.

Первоначально это руководство было опубликовано на FinTechZoom.