ActualitésMacroAnthropic avertit que des modèles d'IA incontrôlés pourraient bientôt s'autorépliquer sur les appareils domestiques

Anthropic avertit que des modèles d'IA incontrôlés pourraient bientôt s'autorépliquer sur les appareils domestiques

Auteur: Cryptopolitan·

Points clés

  • •Les chercheurs d'Anthropic ont exécuté un modèle de 26 milliards de paramètres sur 15 boîtiers Android TV de marques génériques coûtant environ 55 dollars chacun, montrant que du matériel grand public bon marché peut collectivement héberger de grands modèles d'IA malgré une sortie extrêmement lente.
  • •Lors de tests isolés sur huit nœuds Google Cloud, seul GLM-5.2 de Z.ai a complété le cycle complet d'autoréplication, réussissant dans quatre des cinq exécutions, tandis que le partage de notes de configuration a fait passer le taux de succès de configuration de Qwen3.5-9B de 45 % à entre 61 % et 84 %.
  • •Aucun modèle testé n'a pu se copier de manière fiable sur un autre appareil tout en restant assez petit pour fonctionner sur une smart TV, mais les chercheurs s'attendent à ce que cet écart se comble d'ici fin 2026 si les modèles ouverts légers continuent de progresser.
  • •Un ver d'IA décentralisé serait difficile à arrêter car il n'a aucun point de défaillance central, et Anthropic a cité le botnet Kimwolf, qui a infecté plus de deux millions de téléviseurs Android pour la plupart de marques génériques, comme preuve d'un vaste vivier d'appareils mal sécurisés.
  • •Les défenses proposées incluent le signalement par les fournisseurs d'accès de transferts de modèles anormalement volumineux, des honeypots pour capturer le code des vers, et des mesures du côté de l'offre comme l'interdiction britannique des mots de passe par défaut sur les appareils connectés, bien qu'Anthropic n'ait pas encore observé de réplicateur incontrôlé fonctionnel.
Anthropic avertit que des modèles d'IA incontrôlés pourraient bientôt s'autorépliquer sur les appareils domestiques

La Frontier Red Team d'Anthropic affirme que des modèles d'IA compacts pourraient être à quelques mois de se copier eux-mêmes sur des gadgets domestiques bon marché connectés à Internet, sans centre de données impliqué. Les chercheurs ont averti qu'un tel scénario serait très difficile à contrôler, car les modèles seraient difficiles à arrêter sans aucun point d'autorité central.

Ces résultats sont parus dans un article de recherche publié le 12 octobre sur le site d'Anthropic, et ils concernent toute personne utilisant des appareils connectés à domicile ou dans une petite entreprise.

Quinze boîtiers TV bon marché, un modèle de 26 milliards de paramètres

Les chercheurs William Zhou et Daniel Freeman ont démontré le risque potentiel en reliant 15 boîtiers Android TV de marques génériques pour exécuter Gemma4-26B-A4B, un modèle de 26 milliards de paramètres.aque boîtier coûtait environ 55 dollars et était équipé de 4 Go de RAM. L'équipe a réparti les couches du modèle sur les appareils grâce à une technique appelée pipeline parallelism (parallélisme en pipeline).

L'ensemble des 15 boîtiers Android n'a produit que 0,39 token par seconde au total, bien trop lent pour toute utilisation pratique de chatbot. Les chercheurs ont toutefois fait valoir qu'un ver autoreproducteur n'a pas besoin de fonctionner à grande vitesse sur une seule machine, et qu'il bénéficierait davantage de sa propagation sur un grand nombre d'appareils.

Ils ont également cité Kimwolf, un botnet qui a infecté plus de deux millions de téléviseurs Android pour la plupart de marques génériques, comme exemple du nombre considérable d'appareils mal sécurisés qui constituent des proies faciles dans les foyers. Cet épisode illustre l'autre moitié du scénario : un modèle autoreproducteur compterait moins par sa vitesse d'exécution que par le nombre d'appareils bon marché, connectés en permanence et faiblement protégés qu'il pourrait traverser — les mêmes conditions qui ont permis à des botnets comme Kimwolf de s'implanter en premier lieu.

Aucun des modèles testés n'a pu se répliquer de manière fiable sur un autre appareil tout en restant assez petit pour fonctionner sur une smart TV. Les chercheurs s'attendent à ce que cet écart se comble d'ici la fin 2026 si les modèles ouverts légers continuent de progresser au rythme actuel, une projection qui offre aux fabricants d'appareils, aux opérateurs de réseaux et aux équipes de sécurité un calendrier concret à surveiller.

Une réplication en quatre étapes, et un modèle qui y est parvenu

Anthropic a divisé le processus de réplication en quatre étapes distinctes : identifier les cibles, acquérir la capacité d'exécuter du code, configurer l'inférence, puis répéter le processus depuis chaque nouvel appareil infecté.

Les chercheurs ont largement mis de côté les premières étapes de piratage, citant des travaux antérieurs montrant que de petits modèles peuvent déjà mener des exploits cybernétiques. Ils se sont concentrés sur la troisième étape, la configuration de l'inférence, qui implique une longue série de décisions propres au matériel.

Pour tester l'ensemble du processus, l'équipe a mis en place un réseau isolé de huit nœuds Google Cloud, chacun exécutant un émulateur Android. Un ver préchargé s'est propagé entre les nœuds via un port Android Debug Bridge non sécurisé avant d'installer un serveur pour exécuter Llama3.1-8B. Parmi les modèles à poids ou testés, seul GLM-5.2, développé par la société chinoise Z.ai, a complété le cycle de réplication complet, atteignant les huit nœuds dans quatre des cinq exécutions.

Les modèles sont devenus plus efficaces pour se configurer à mesure qu'ils se propageaient entre générations. Lorsque des instances du modèle Qwen3.5-9B de 9 milliards de paramètres transmettaient leurs notes de configuration à leurs successeurs, le taux de succès est passé de 45 % à la première génération à entre 61 % et 84 % aux générations suivantes. Ce bond intergénérationnel importe car il montre que le savoir-faire peut se transmettre : chaque nouvelle instance hérite de notes de configuration fonctionnelles au lieu de résoudre l'énigme matérielle depuis zéro.

Pourquoi un ver décentralisé est difficile à éliminer

La vitesse brute n'est pas la principale préoccupation dans ce scénario, une distinction qu'Anthropic a pris soin d'expliquer. L'entreprise estime que configurer le modèle 26B sur les boîtiers TV prendrait entre 71 et 150 heures. Le risque le plus grand réside dans la persistance : sans serveur central ni opérateur humain pour arrêter le système, il pourrait échapper aux méthodes habituelles de confinement et de neutralisation.

Roman V. Yampolskiy, expert en IA et cybersécurité à l'Université de Louisville, a jugé ces résultats très importants. Il a affirmé que des vers propulsés par l'IA pourraient dépasser les logiciels malveillants traditionnels en raisonnant sur des appareils inconnus, en s'adaptant lorsqu'une approche échoue et en continuant à se propager sans intervention humaine. S'il ne les considère pas aujourd'hui comme une menace existentielle, il a averti que leur développement est préoccupant.

« Les appareils IoT domestiques et de petites entreprises pourraient être la première cible de telles attaques, car ils sont connectés à Internet et, historiquement, ont eu des mesures de sécurité minimales », ont écrit Zhou et Freeman dans l'article d'Anthropic.

Les défenseurs conservent l'avantage

Anthropic a comparé la tâche défensive à la lutte contre une épidémie, l'objectif étant de maintenir le nombre moyen de nouvelles infections causées par chaque appareil en dessous de un. Les fournisseurs d'accès à Internet pourraient signaler les transferts de modèles anormalement volumineux ou les communications persistantes entre appareils, tandis que des honeypots pourraient être utilisés pour capturer le code d'un ver.

Le rapport cite l'interdiction par le Royaume-Uni des mots de passe par défaut pour les appareils connectés comme un moyen efficace de réduire le nombre d'appareils vulnérables à la disposition des attaquants — une mesure du côté de l'offre qui réduit le vivier de points d'entrée dont dépendrait un modèle autoreproducteur.

Anthropic a également déclaré ne pas encore avoir observé de réplicateur incontrôlé fonctionnel, décrivant les preuves actuelles seulement comme des « signes de ». L'entreprise a publié cette recherche aux côtés d'une affirmation distincte selon laquelle de nouvelles mesures de sauvegarde avaient réduit la distillation de 90 à 99 %.