Meta a déposé une demande de brevet pour un système de caméra utilisant la reconnaissance faciale afin d'identifier les personnes par leur nom et de générer automatiquement des clips multimédias autour de leurs actions détectées. Le système est piloté par un assistant : sur demande, il fournit à un téléphone ou à un casque des séquences pré-triées « qui a fait quoi, quand ». La demande est la continuation d'un dépôt parent de 2022 et se trouve actuellement au stade « Ready for Examination » (prête pour l'examen) — non accordée, et loin d'être une fonctionnalité commercialisée.

Meta Platforms Technologies, l'entité qui détient la propriété intellectuelle de Meta en matière de recherche-développement et de matériel, a publié le brevet. Le dépôt décrit des caméras alimentant en séquences une IA qui étiquette les individus présents dans le cadre, détecte ce qu'ils font et regroupe le tout dans des clips multimédias livrés à la demande sur un téléphone ou un casque.

L'idée ne sort pas de nulle part. Le matériel de caméra de Meta se porte sur les visages depuis des années : les lunettes connectées Ray-Ban — développées avec EssilorLuxottica et commercialisées pour la première fois en 2023, désormais largement surnommées « lunettes de pervers » sur Internet — enregistrent des vidéos à la première personne et permettent au porteur d'interroger une IA sur ce qu'elle voit. EssilorLuxottica a indiqué avoir vendu plus de deux millions de paires de ces lunettes estampillées Meta, de sorte que toute fonctionnalité qui s'y ajouterait partirait d'une base installée considérable. La même entité Meta, à l'origine de ces montures et des casques Quest, détient ce dépôt, et les dessins du brevet montrent un porteur de lunettes observant une salle remplie de monde. La reconnaissance faciale ferait passer ce matériel de « j'enregistre ce que je pointe » à « je sais et je nomme qui est dans la pièce ».

Comment fonctionne le pipeline

Le brevet décrit une boucle en quatre étapes. Les caméras captent des séquences en direct ou enregistrées et les transmettent au système. Une couche de reconnaissance faciale analyse les images pour signaler qui est présent — pas seulement qu'une personne est là, mais quelle personne précisément. Une couche distincte de détection d'actions s'exécute par-dessus, lisant des mouvements tels que ramasser un objet, quitter une pièce ou un rassemblement de groupe. Enfin, le système regroupe ses résultats dans des fichiers multimédias individuels, chacun étiqueté avec une personne, une action, ou les deux.

Ce qui le distingue d'une sonnette connectée, c'est la couche d'assistant. Le dépôt présente la récupération des séquences comme conversationnelle : un appareil connecté peut demander des images par requête, et le système compose la réponse à partir des clips étiquetés plutôt que d'exiger de l'utilisateur qu'il défile manuellement dans la vidéo. Les dessins décrivent des flux de traitement côté serveur et sur l'appareil, avec un pipeline de compréhension du langage naturel alimentant le composeur de clips.

La capacité elle-même — identifier et enregistrer des personnes précises par leur visage sans leur consentement actif — est ce qui suscite les critiques. C'est exactement la préoccupation qu'ont exprimée des sénateurs démocrates lorsqu'ils ont interpellé Meta au sujet de la reconnaissance faciale dans ses lunettes connectées ; comme Decrypt l'a précédemment rapporté, les sénateurs ont averti que l'identification faciale en temps réel pourrait exposer des personnes au stalking et au harcèlement. Meta s'est déjà retrouvée sur ce terrain, et cela lui a coûté cher : l'entreprise a versé 650 millions de dollars pour régler un procès de l'Illinois sur la vie privée biométrique concernant les analyses faciales d'étiquetage de photos sur Facebook, a fermé ce système de reconnaissance faciale en 2021 et supprimé les gabarits faciaux de plus d'un milliard d'utilisateurs tout en invoquant l'incertitude réglementaire, et en 2024, elle a accepté de verser 1,4 milliard de dollars au Texas pour régler des réclamations similaires introduites au titre de la loi biométrique de cet État.

Le matériel de Meta se trouve déjà au cœur de ce combat. Les propriétaires des lunettes Ray-Ban récemment commercialisées ont pu enregistrer discrètement des inconnus dans l'espace public, et des sous-traitants ont examiné des séquences privées. En Europe, où les lunettes sont également vendues, le RGPD traite les données faciales comme des informations biométriques nécessitant généralement le consentement explicite de la personne avant tout traitement, ce qui fixe une barre plus haute pour toute fonctionnalité identifiant des passants. Une caméra portable qui nommerait également ces inconnus élargirait l'écart entre le cadrage « assistant utile » de Meta et ce que la technologie peut réellement faire — et le public construit déjà des défenses.

Pour l'instant, il s'agit d'un brevet, pas d'un produit. Le statut est « Ready for Examination » (prête pour l'examen), Patentlyze évaluant la probabilité d'octroi comme moyenne. En tant que continuation, la demande peut revendiquer la date de priorité de son dépôt parent de 2022 tout en poursuivant des revendications révisées — une méthode standard permettant aux entreprises de maintenir des idées en vie au fil des années de procédure, au cours desquelles les revendications sont fréquemment réduites avant tout octroi. Meta a déjà déposé des travaux similaires de vision par ordinateur pour lunettes connectées, et la publication signifie que l'idée est officiellement consignée — non que la fonctionnalité ait été développée ou approuvée.