Meta złożyła wniosek patentowy na system kamer wykorzystujący rozpoznawanie twarzy do identyfikowania osób z imienia i nazwiska oraz automatycznego generowania klipów multimedialnych na podstawie wykrytych działań. System jest sterowany przez asystenta: na żądanie dostarcza on wstępnie posortowane skróty typu „kto co zrobił i kiedy” na telefon lub zestaw na głowę. Wniosek jest kontynuacją macierzystego zgłoszenia z 2022 roku i ma obecnie status „Gotowy do badania” (Ready for Examination) — patent nie został udzielony, a funkcja jest daleka od wdrożenia.

Patent opublikowała spółka Meta Platforms Technologies, podmiot zarządzający własnością intelektualną Meta w zakresie badań i rozwoju oraz sprzętu. Dokument opisuje kamery przekazujące nagrania do sztucznej inteligencji, która oznacza osoby w kadrze, wykrywa, co robią, i łączy te informacje w klipy multimedialne dostarczane na żądanie na telefon lub zestaw na głowę.

Ten pomysł nie wziął się znikąd. Sprzęt kamerowy Meta jest noszony na twarzach od lat: inteligentne okulary Ray-Ban — zbudowane we współpracy z EssilorLuxottica i wprowadzone na rynek po raz pierwszy w 2023 roku, obecnie powszechnie nazywane w internecie „okularami podglądacza” — nagrywają wideo z perspektywy pierwszej osoby i pozwalają użytkownikowi zadawać sztucznej inteligencji pytania o to, co widzi. EssilorLuxottica poinformowała o sprzedaży ponad dwóch milionów par okularów marki Meta, więc każda funkcja dodana do tego sprzętu startowałaby z istotnej bazy zainstalowanych urządzeń. Ten sam podmiot Meta, który stoi za tymi oprawkami i zestawami na głowę Quest, jest właścicielem niniejszego zgłoszenia, a rysunki patentowe przedstawiają osobę w okularach obserwującą pomieszczenie pełne ludzi. Rozpoznawanie twarzy przesunęłoby ten sprzęt od poziomu „nagrywa to, na co wskazuję” do poziomu „rozpoznaje i nazywa po imieniu, kto jest w pomieszczeniu”.

Jak działa ten proces

Patent opisuje czteroetapową pętlę. Kamery rejestrują obraz na żywo lub nagrany wcześniej i przekazują go do systemu. Warstwa rozpoznawania twarzy skanuje klatki, aby wskazać, kto jest obecny — nie tylko że jakaś osoba się tam znajduje, ale która konkretnie. Na niej działa osobna warstwa wykrywania działań, odczytująca ruchy takie jak podniesienie przedmiotu, opuszczenie pomieszczenia czy zebranie się grupy osób. Na koniec system porządkuje swoje ustalenia w pojedyncze pliki multimedialne, z których każdy jest otagowany osobą, działaniem lub jednym i drugim.

Od inteligentnego dzwonka do drzwi odróżnia go warstwa asystenta. Dokument ujmuje wyszukiwanie nagrań w sposób konwersacyjny: podłączone urządzenie może zażądać nagrania za pomocą zapytania, a system układa odpowiedź z otagowanych klipów, zamiast wymagać od użytkownika ręcznego przewijania wideo. Rysunki przedstawiają przepływy przetwarzania zarówno po stronie serwera, jak i na samym urządzeniu, wraz z mechanizmem rozumienia języka naturalnego zasilającym moduł składający klipy.

Krytykę budzi sama zdolność — identyfikowanie i rejestrowanie konkretnych osób na podstawie twarzy bez ich czynnej zgody. To dokładnie ta obawa, którą podzielali senatorowie Partii Demokratycznej, wywierając nacisk na Meta w sprawie rozpoznawania twarzy w inteligentnych okularach; jak wcześniej informował Decrypt, senatorowie ostrzegali, że rozpoznawanie twarzy w czasie rzeczywistym może narażać ludzi na stalking i nękanie. Meta znajdowała się już na tym gruncie wcześniej i kosztowało ją to sporo: firma zapłaciła 650 milionów dolarów w ramach ugody w pozwie dotyczącym prywatności biometrycznej w stanie Illinois, związanym ze skanowaniem twarzy przy oznaczaniu osób na zdjęciach na Facebooku, zamknęła ten system rozpoznawania twarzy w 2021 roku i usunęła szablony twarzy ponad miliarda użytkowników, powołując się na niepewność regulacyjną, a w 2024 roku zgodziła się zapłacić Teksasowi 1,4 miliarda dolarów w celu rozliczenia podobnych roszczeń wniesionych na podstawie prawa biometrycznego tego stanu.

Sprzęt Meta znajduje się już w centrum tego sporu. Właściciele niedawno wypuszczonych okularów Ray-Ban mogli po cichu nagrywać nieznajomych w miejscach publicznych, a podwykonawcy przeglądali prywatne nagrania. W Europie, gdzie okulary również są sprzedawane, RODO traktuje dane twarzy jako informacje biometryczne, których przetwarzanie co do zasady wymaga wyraźnej zgody danej osoby, co ustawia wyższą poprzeczkę dla każdej funkcji nazywającej osoby postronne. Kamera noszona na ciele, która dodatkowo nadawałaby tym nieznajomym tożsamości, poszerzyłaby przepaść między przedstawianiem przez Meta „pomocnego asystenta” a tym, co technologia faktycznie potrafi — a społeczeństwo już buduje środki obrony.

Na razie jest to patent, a nie produkt. Status to „Gotowy do badania” (Ready for Examination), a Patentlyze ocenia prawdopodobieństwo udzielenia patentu jako średnie. Jako kontynuacja wniosek może powoływać się na datę priorytetu zgłoszenia macierzystego z 2022 roku, zabiegając jednocześnie o zmienione zastrzeżenia — standardowy sposób, w jaki firmy utrzymują pomysły przy życiu przez lata procedury patentowej, podczas której zastrzeżenia bywają często zawężane przed udzieleniem patentu. Meta składała wcześniej podobne zgłoszenia z zakresu wizji komputerowej dotyczące okularów, a publikacja oznacza jedynie, że pomysł został oficjalnie odnotowany — nie że funkcja została zbudowana lub zatwierdzona.