L'artiste berlinois Simon Weckert a créé une chemise boutonnée nommée Digital Camouflage que les caméras de surveillance par IA ne parviendraient apparemment pas à identifier comme un être humain. Le vêtement a été conçu en réponse directe au système vidéo propulsé par l'IA qui est activé ce mois-ci au pôle de transport de Kottbusser Tor, dans la ville.

Comment une chemise peut-elle vous protéger de la surveillance ?

Weckert, artiste berlinois, a lancé Digital Camouflage, une chemise qui peut, selon les reports, réduire la confiance d'un système de détection d'objets dans la reconnaissance d'un être humain. Selon Weckert, ces systèmes n'ont jamais réellement appris ce qu'est une personne — ils ont seulement appris à quoi les gens ressemblent en général à travers des millions de photos d'entraînement : bords et textures dans les premières couches, puis la silhouette tête-épaules et les proportions des membres plus profondément dans le réseau.

Digital Camouflage exploite cette méthode d'entraînement avec un enchevêtrement éclatant de formes roses, oranges et vertes. Weckert explique que les couleurs saturées stimulent les premières couches du réseau, tandis que les formes superposées déforment le contour du corps au point que le détecteur ne peut pas reconstituer les morceaux en une seule figure. À l'œil humain, la chemise ressemble à un imprimé hawaïen hypnotique ; pour les modèles de surveillance, elle ne représente rien.

Weckert a conçu le motif par une « boucle adverse » : il générait un motif candidat, le soumettait à un détecteur, mesurait le degré de confiance du logiciel qu'il voyait encore une personne, puis ajustait et répétait l'opération jusqu'à obtenir des résultats satisfaisants. Il aurait utilisé une méthode générative appelée TC-EGA (Toroidal-Cropping-based Expandable Generative Attack) pour exécuter ces cycles, et a testé les résultats contre YOLO, un système de détection en temps réel open-source reposant sur la même classe de technologies que de nombreux produits commerciaux de surveillance.

Cette approche s'appuie sur un corpus bien établi de recherches en vision par ordinateur : les exemples adverses — de petites perturbations, souvent imperceptibles ou sous forme de motifs, qui poussent les réseaux de neurones à mal classer les objets — sont documentés dans la littérature académique depuis au moins 2013, et des chercheurs ont déjà appliqué ce concept à des vêtements physiques, des montures de lunettes adverses aux patches à motifs destinés à troubler les détecteurs. La contribution de Weckert est de transformer cette recherche en un produit grand public portable, ciblant directement un déploiement public.

Weckert a toutefois précisé que la chemise n'avait pas été conçue pour vaincre une caméra gouvernementale en particulier, mais pour poser la question de la confiance que mérite un système si un tissu bon marché peut le tromper. Sur son propre site, il souligne que la chemise n'est « pas une promesse d'anonymat » et ne formule aucune affirmation sur un déploiement spécifique, précisément parce que les personnes extérieures ne peuvent pas tester ces systèmes. Le vêtement se vend environ 88 $, une partie de chaque vente étant reversée à des groupes de défense des droits numériques.

Pourquoi les gens cherchent-ils soudainement à se protéger de la surveillance ?

Le site de Weckert explique que des caméras — qu'il appelle des scanners de comportement — doivent être installées à Kottbusser Tor, une station de U-Bahn très fréquentée du quartier de Kreuzberg à Berlin. Le logiciel est censé trier les passants entre « normal » et « suspect ». Il pense que trois autres sites berlinois sont les prochains sur la liste.

Ce déploiement intervient dans une Allemagne marquée par une forte aversion historique pour la surveillance extensive, enracinée dans les pratiques d'espionnage de l'époque nazie comme de la Stasi de l'Allemagne de l'Est, et Kottbusser Tor en particulier a connu ces dernières années des protestations répétées contre des projets de vidéosurveillance. Il intervient également alors que l'AI Act de l'Union européenne — la vaste loi du bloc classant et restreignant les systèmes d'IA par niveau de risque, y compris ceux utilisés dans les espaces publics — est progressivement mis en application.

Aux États-Unis, le gouverneur du Texas, Greg Abbott, a ordonné un jeudi soir aux agences de l'État de cesser de financer Flock Safety, dont les lecteurs de plaques d'immatriculation sont au nombre de plus de 120 000 dans 49 États. Le sénateur républicain Josh Hawley a également ouvert une enquête sur la manière dont l'entreprise traite les données collectées.

Les lecteurs de plaques de Flock Safety ont suscité une forte controverse après des reports sur des agents des forces de l'ordre ayant gravement abusé du système à des fins personnelles, comme suivre d'anciennes copines, conjoints et rivaux amoureux. Dans un cas extrême, un agent du Kentucky a accédé environ 2 000 fois au système Flock pour surveiller les déplacements de son ancienne compagne. Un autre agent en Géorgie, qui était également chef de la police, a effectué plus de 600 recherches sur son ex-petite amie et sa fille avant de mettre fin à ses jours alors qu'il était poursuivi pour harcèlement et usage abusif du matériel de police.

La chemise n'est pas la première tentative de Weckert de s'opposer à ces systèmes ou d'envoyer un message. En 2020, il avait traîné à travers Berlin un chariot de 99 téléphones pour simuler un embouteillage sur Google Maps, démontrant que les systèmes pilotés par l'IA sont faciles à manipuler.