Berliński artysta Simon Weckert stworzył koszulę zapinaną na guziki o nazwie Digital Camouflage, której kamery nadzorcze z AI – jak podają doniesienia – nie rozpoznają jako człowieka. Ubiór został zaprojektowany jako bezpośrednia odpowiedź na włączany w tym miesiącu system wideo oparty na sztucznej inteligencji w węźle komunikacyjnym Kottbusser Tor w stolicy Niemiec.

Jak koszula może chronić przed nadzorem?

Weckert, artysta z Berlina, wydał Digital Camouflage – koszulę, która – jak podają doniesienia – może obniżyć pewność systemu wykrywania obiektów co do rozpoznania istoty ludzkiej. Zdaniem Weckerta takie systemy nigdy tak naprawdę nie nauczyły się, czym jest człowiek – poznały jedynie, jak ludzie zwykle wyglądają, na podstawie milionów zdjęć treningowych: krawędzi i faktury w pierwszych warstwach, a następnie zarysu głowy i barków oraz proporcji kończyn w warstwach głębszych.

Digital Camouflage wykorzystuje tę metodę treningową za pomocą krzykliwej plątaniny różowych, pomarańczowych i zielonych kształtów. Weckert wyjaśnił, że nasycone kolory pobudzają pierwsze warstwy sieci neuronowej, podczas gdy nakładające się na siebie formy zniekształcają kontur ciała do tego stopnia, że detektor nie jest w stanie ponownie złożyć fragmentów w jedną postać. Dla ludzkiego oka koszula wygląda jak hipnotyzująca hawajska koszula; dla modeli nadzoru czyta się jako nic.

Weckert zbudował wzór za pomocą „pętli adversarial": generował kandydujący nadruk, pokazywał go detektorowi, mierzył, jak pewne oprogramowanie wciąż było, że widzi człowieka, po czym korygował i powtarzał proces, aż uzyskał zadowalające rezultaty. Jak doniesiono, do przeprowadzenia tych rund wykorzystał metodę generatywną oznaczoną jako TC-EGA (Toroidal-Cropping-based Expandable Generative Attack), a wyniki testował względem YOLO – otwartoźródłowego systemu wykrywania w czasie rzeczywistym, opartego na tej samej klasie technologii, na której bazuje wiele komercyjnych produktów nadzoru.

Podejście to opiera się na dobrze ugruntowanym dorobku badań nad wizją komputerową: przykłady adversarial – niewielkie, często niezauważalne lub wzorzyste zakłócenia powodujące błędną klasyfikację obiektów przez sieci neuronowe – są udokumentowane w literaturze naukowej co najmniej od 2013 roku, a badacze wcześniej stosowali tę koncepcję do fizycznych elementów odzieży, od okularów adversarial po wzorzyste łatki mające mylić detektory. Wkładem Weckerta jest przełożenie tych badań na produkt konsumencki do noszenia, wymierzony bezpośrednio w publiczne wdrożenie.

Weckert wyjaśnił jednak, że koszula nie została zaprojektowana, by pokonać jedną konkretną rządową kamerę, lecz by zadać pytanie, ile zaufania zasługuje system, który można pokonać tanim materiałem. Na własnej stronie podkreśla, że koszula „nie jest obietnicą anonimowości" i nie rości sobie pretensji do skuteczności wobec żadnego konkretnego wdrożenia – właśnie dlatego, że osoby postronne nie mogą tych systemów testować. Odzież sprzedawana jest za około 88 dolarów, a część przychodu ze każdej sprzedaży trafia do cyfrowych organizacji praw obywatelskich.

Dlaczego ludzie nagle szukają ochrony przed nadzorem?

Strona Weckerta wyjaśnia, że kamery – które nazywa skanerami zachowań – mają zostać zainstalowane na Kottbusser Tor, ruchliwej stacji metra U-Bahn w berlińskiej dzielnicy Kreuzberg. Oprogramowanie ma klasyfikować przechodniów jako „normalnych" i „podejrzanych". Jego zdaniem kolejne trzy lokalizacje w Berlinie są następne w kolejce.

Wdrożenie trafia do Niemiec o silnej historycznej niechęci do rozległego monitorowania, zakorzenionej w praktykach nadzoru zarówno ery nazistowskiej, jak i berlińskiej policiesji Stasi; Kottbusser Tor w szczególności był w ostatnich latach świadkiem powtarzających się protestów dotyczących prywatności wobec propozycji monitoringu wideo. Obejmuje to również czas, gdy stopniowo wdrażane jest unijne rozporządzenie o sztucznej inteligencji – szeroko zakrojona ustawa bloku klasyfikująca i ograniczająca systemy AI według ryzyka, w tym te stosowane w przestrzeni publicznej.

W Stanach Zjednoczonych gubernator Teksasu Greg Abbott nakazał w czwartek wieczorem agencjom stanowym wstrzymanie finansowania Flock Safety, której czytniki tablic rejestracyjnych liczą ponad 120 000 w 49 stanach. Republikański senator Josh Hawley wszczął również śledztwo w sprawie sposobu, w jaki firma obchodzi się z gromadzonymi danymi.

Czytniki tablic rejestracyjnych Flock Safety wywołały znaczący sprzeciw po doniesieniach o poważnych nadużyciach wobec systemu przez funkcjonariuszy organów ścigania w celach prywatnych, takich jak śledzenie byłych partnerek, małżonków i rywali uczuciowych. W jednym skrajnym przypadku funkcjonariusz z Kentucky uzyskał dostęp do systemu Flock około 2000 razy, aby monitorować ruchy swojej byłej partnerki. Inny funkcjonariusz w Georgii, będący również szefem policji, przeprowadził ponad 600 wyszukiwań dotyczących byłej partnerki i jej córki, zanim później odebrał sobie życie, gdy stawiał czoła zarzutom o stalkingu i nadużyciu sprzętu policyjnego.

Koszula nie jest pierwszą próbą Weckerta opierania się tym systemom lub przekazywania przesłania. Już w 2020 roku ciągnął przez Berlin wózek z 99 telefonami, by sfingować korek na Google Maps, pokazując, że systemy oparte na AI łatwo zmanipulować.