Meta подала заявку на патент на систему камер, которая с помощью распознавания лиц идентифицирует людей по имени и автоматически формирует медиафрагменты на основе их распознанных действий. Система управляется ассистентом: по запросу она передаёт на телефон или гарнитуру заранее отсортированные подборки «кто, что и когда сделал». Заявка является продолжением родительской заявки 2022 года и в настоящее время имеет статус «Ready for Examination» («Готова к рассмотрению») — патент не выдан, и до готовой функции ещё далеко.

Патент опубликовала компания Meta Platforms Technologies — структура, которой принадлежит интеллектуальная собственность Meta в области исследований, разработок и аппаратного обеспечения. В заявке описано, как камеры передают видеоматериал в ИИ, который помечает людей в кадре, определяет, чем они занимаются, и объединяет эти данные в медиафрагменты, предоставляемые по запросу на телефон или гарнитуру.

Эта идея появилась не на пустом месте. Камеры Meta носят на лицах уже несколько лет: умные очки Ray-Ban, созданные совместно с EssilorLuxottica и впервые поступившие в продажу в 2023 году, которые в интернете ныне часто называют «очками извращенцев», записывают видео от первого лица и позволяют владельцу задавать вопросы ИИ о том, что тот видит. По данным EssilorLuxottica, было продано более двух миллионов пар очков под брендом Meta, поэтому любая функция, добавленная поверх них, стартовала бы с солидной установленной базы. Заявка принадлежит той же структуре Meta, которая стоит за этими очками и гарнитурами Quest, а на патентных рисунках изображён человек в очках, наблюдающий за комнатой, полной людей. Распознавание лиц перевело бы это устройство из состояния «записывает то, на что я смотрю» в состояние «знает и называет по имени тех, кто находится в комнате».

Как работает процесс обработки

В патенте описан четырёхэтапный цикл. Камеры захватывают видеоматериал в реальном времени или в записи и передают его в систему. Слой распознавания лиц сканирует кадры, чтобы отметить, кто присутствует, — не просто наличие человека, а конкретную личность. Поверх него работает отдельный слой определения действий, распознающий движения, например взятие предмета в руки, выход из комнаты или сбор группы людей. Наконец, система упаковывает полученные результаты в отдельные медиафайлы, каждый из которых помечен человеком, действием или тем и другим.

От умного дверного звонка систему отличает слой ассистента. В заявке получение материалов описано как диалоговое: подключённое устройство может запросить видеозаписи, и система составляет ответ из помеченных фрагментов, не требуя от пользователя вручную перематывать видео. На рисунках показаны потоки обработки как на сервере, так и на самом устройстве, причём конвейер понимания естественного языка передаёт данные в генератор фрагментов.

Критику вызывает сама возможность — идентификация и фиксация конкретных людей по лицу без их явного согласия. Именно эту озабоченность высказывали сенаторы-демократы, когда требовали от Meta объяснений в связи с планами использования распознавания лиц в умных очках; как ранее сообщал Decrypt, сенаторы предупреждали, что идентификация лиц в реальном времени может подвергнуть людей преследованию и травле. Meta уже оказывалась на этой территории, и это обошлось ей дорого: компания выплатила 650 миллионов долларов для урегулирования иска по закону Иллинойса о биометрической конфиденциальности, связанного со сканированием лиц для отметок людей на фотографиях Facebook, закрыла эту систему распознавания лиц в 2021 году и удалила шаблоны лиц более чем миллиарда пользователей, сославшись на регуляторную неопределённость, а в 2024 году согласилась выплатить Техасу 1,4 миллиарда долларов для урегулирования аналогичных претензий, предъявленных на основании закона этого штата о биометрических данных.

Аппаратное обеспечение Meta уже находится в центре этой борьбы. Владельцы недавно выпущенных очков Ray-Ban получали возможность незаметно записывать незнакомых людей в общественных местах, а подрядчики просматривали частные видеозаписи. В Европе, где эти очки также продаются, GDPR относит данные о лицах к биометрической информации, обработка которой, как правило, требует явного согласия человека, что задаёт более высокую планку для любой функции, называющей по имени посторонних людей. Носимая камера, которая к тому же называет этих незнакомцев по имени, расширила бы разрыв между позиционированием Meta в духе «полезного ассистента» и реальными возможностями технологии — а общественность уже выстраивает средства защиты.

Пока же это патент, а не продукт. Статус заявки — «Ready for Examination» («Готова к рассмотрению»), при этом Patentlyze оценивает вероятность выдачи патента как среднюю. Как продолжение, заявка может претендовать на приоритетную дату родительской заявки 2022 года, преследуя при этом пересмотренные пункты формулы изобретения — это стандартный способ, с помощью которого компании поддерживают идеи на протяжении многолетнего делопроизводства, в ходе которого пункты формулы нередко сужаются до фактической выдачи патента. Meta и ранее подавала аналогичные заявки в области компьютерного зрения для очков, а публикация означает лишь то, что идея официально зафиксирована, а не то, что функция создана или одобрена.