Берлинский художник Симон Веккерт создал рубашку на пуговицах под названием Digital Camouflage, которую, по сообщениям, камеры ИИ-наблюдения не распознают как человека. Одежда была разработана как прямой ответ на запуск ИИ-системы видеонаблюдения в этом месяце на транспортном узле Котбуссер-Тор в этом городе.

Как рубашка может защитить вас от наблюдения?

Веккерт, художник из Берлина, выпустил Digital Camouflage — рубашку, которая, по сообщениям, может снизить уверенность системы детектирования объектов в распознавании человека. По словам Веккерта, такие системы на самом деле никогда не учились тому, что такое человек — они лишь усвоили, как люди обычно выглядят, на миллионах обучающих фотографий: края и текстура на ранних слоях, затем очертания «голова-плечи» и пропорции конечностей на более глубоких уровнях.

Digital Camouflage эксплуатирует этот метод обучения с помощью кричащего переплетения розовых, оранжевых и зелёных форм. Веккерт объяснил, что насыщенные цвета возбуждают первые слои нейросети, а перекрывающиеся формы искажают контур тела настолько, что детектор не может собрать фрагменты обратно в единую фигуру. Для человеческого глаза рубашка выглядит как гипнотический гавайский принт; для моделей наблюдения она не читается вовсе.

Веккерт создал узор с помощью «состязательного цикла»: он генерировал пробный принт, показывал его детектору, измерял, насколько уверенно ПО всё ещё считало, что видит человека, затем корректировал и повторял процесс, пока не добился удовлетворительных результатов. По сообщениям, для этих итераций он использовал генеративный метод TC-EGA (Toroidal-Cropping-based Expandable Generative Attack), а результаты тестировал на YOLO — системе детектирования в реальном времени с открытым исходным кодом, построенной на том же классе технологий, что лежит в основе многих коммерческих продуктов наблюдения.

Этот подход опирается на хорошо известную область исследований компьютерного зрения: состязательные примеры — небольшие, часто незаметные или узорные возмущения, заставляющие нейросети неверно классифицировать объекты, — описаны в научной литературе как минимум с 2013 года, и исследователи ранее применяли эту концепцию к физической одежде: от состязательных оправ очков до узорных нашивок, призванных запутать детекторы. Вклад Веккерта состоит в том, чтобы превратить эти исследования в носимый потребительский продукт, нацеленный прямо на публичное развёртывание.

Однако Веккерт уточнил, что рубашка не была создана, чтобы обойти какую-то конкретную правительственную камеру, а чтобы поднять вопрос о том, сколько доверия заслуживает система, если её может победить дешёвая ткань. На его собственном сайте он подчёркивает, что рубашка — это «не обещание анонимности», и не делает заявлений о каком-либо конкретном развёртывании именно потому, что посторонние не могут тестировать такие системы. Одежда продаётся примерно за 88 долларов, причём часть средств с каждой продажи идёт организациям по защите цифровых гражданских прав.

Почему люди внезапно ищут защиты от наблюдения?

Как объясняется на сайте Веккерта, камеры — которые он называет сканерами поведения — планируется установить на Котбуссер-Тор, оживлённой станции метро (U-Bahn) в берлинском районе Кройцберг. Программное обеспечение должно сортировать прохожих на «нормальных» и «подозрительных». По его мнению, в очереди на внедрение стоят ещё три локации в Берлине.

Это развёртывание происходит в Германии, где исторически сильно неприятие масштабного мониторинга, уходящее корнями в практику слежки как нацистской эпохи, так и Штази в Восточной Германии, а Котбуссер-Тор в частности в последние годы становился местом неоднократных протестов за приватность против предложений по видеомониторингу. Это также происходит на фоне поэтапного ввода в действие Закона об ИИ Европейского союза — масштабного законодательства блока, классифицирующего и ограничивающего ИИ-системы по уровню риска, включая используемые в общественных пространствах.

В США губернатор Техаса Грег Эбботт в четверг вечером приказал государственным ведомствам прекратить финансирование Flock Safety, чьи считыватели номерных знаков насчитывают более 120 000 единиц в 49 штатах. Республиканский сенатор Джош Хоули также начал расследование того, как компания обращается с собираемыми данными.

Считыватели номерных знаков Flock Safety вызвали серьёзную критику после сообщений о том, что сотрудники правоохранительных органов серьёзно злоупотребляли системой в личных целях, например отслеживая бывших подруг, супругов и романтических соперников. В одном крайнем случае сотрудник полиции из Кентукки получил доступ к системе Flock примерно 2 000 раз, чтобы следить за перемещениями своей бывшей партнёрши. Другой сотрудник в Джорджии, который также был начальником полиции, провёл более 600 поисков по своей бывшей девушке и её дочери, а позже покончил с собой, находясь под обвинениями в преследовании и неправомерном использовании полицейского оборудования.

Рубашка — не первая попытка Веккерта противостоять этим системам или донести послание. Ещё в 2020 году он провёз через Берлин тележку с 99 телефонами, чтобы сымитировать пробку в Google Maps, продемонстрировав, что ИИ-системы легко поддаются манипуляциям.