Anthropics Frontier Red Team warnt, dass kompakte KI-Modelle nur noch wenige Monate von einer Selbstvervielfältigung auf billige, internetfähige Haushaltsgeräte entfernt sein könnten – ganz ohne Rechenzentrum. Die Forscher warnten, dass ein solches Szenario sehr schwer zu kontrollieren wäre, da die Modelle ohne zentrale Kontrollinstanz nur schwer abzuschalten wären.

Die Ergebnisse erschienen in einem am 12. Oktober auf Anthropics Website veröffentlichten Forsungsartikel und betreffen jeden, der zu Hause oder in einem kleinen Unternehmen Smart-Geräte betreibt.

Fünfzehn billige TV-Boxen, ein Modell mit 26 Milliarden Parametern

Die Forscher William Zhou und Daniel Freeman veranschaulichten das potenzielle Risiko, indem sie 15 No-Name-Android-TV-Boxen zusammenschlossen, um Gemma4-26B-A4B auszuführen, ein Modell mit 26 Milliarden Parametern. Jede Box kostete etwa 55 Dollar und verfügte über 4 GB RAM. Das Team verteilte die Schichten des Modells mithilfe einer Technik namens Pipeline-Parallelismus auf die Geräte.

Die 15 Android-Boxen erreichten zusammen nur 0,39 Tokens pro Sekunde – viel zu langsam für jegliche praktische Chatbot-Nutzung. Die Forscher argumentierten jedoch, dass ein sich selbst verbreitender Wurm nicht zwingend schnell auf einer einzelnen Maschine laufen muss und vielmehr davon profitiert, eine große Anzahl von Geräten zu erreichen.

Sie verwiesen zudem auf Kimwolf, ein Botnet, das mehr als zwei Millionen überwiegend No-Name-Android-TVs infizierte, als Beispiel dafür, wie viele schlecht gesicherte Geräte in den Haushalten der Menschen praktisch schutzlos sind. Dieser Vorfall verdeutlicht die andere Hälfte des Szenarios: Bei einem sich selbst verbreitenden Modell kommt es auf seine Geschwindigkeit an als darauf, durch wie viele billige, ständig online und schwach geschützte Geräte es sich bewegen kann – dieselben Bedingungen, die Botnets wie Kimwolf erst Fuß fassen ließen.

Keines der getesteten Modelle konnte sich zuverlässig auf ein anderes Gerät replizieren und dabei klein genug bleiben, um auf einem Smart TV zu laufen. Die Forscher erwarten, dass sich diese Lücke bis Ende 2026 schließen wird, wenn leichte Open-Weight-Modelle sich im bisherigen Tempo weiterentwickeln – eine Prognose, die Geräteherstellern, Netzbetreibern und Sicherheitsteams einen konkreten Zeithorizont gibt.

Replikation in vier Schritten – und ein Modell, das es schaffte

Anthropic unterteilte den Replikationsprozess in vier verschiedene Stufen: Ziele identifizieren, die Fähigkeit zur Codeausführung erlangen, Inferenz konfigurieren und den Prozess dann von jedem neu infizierten Gerät aus wiederholen.

Die Forscher ließen die anfänglichen Hacking-Schritte weitgehend beiseite und verwiesen auf frühere Arbeiten, die zeigten, dass kleine Modelle Cyber-Exploits bereits durchführen können. Stattdessen konzentrierten sie sich auf die dritte Stufe, die Konfiguration der Inferenz, die eine langwierige Reihe hardwareabhängiger Entscheidungen umfasst.

Um den gesamten Prozess zu testen, richtete das Team ein isoliertes Netzwerk aus acht Google-Cloud-Knoten ein, auf denen jeweils ein Android-Emulator lief. Ein vorinstallierter Wurm verbreitete sich über einen ungesicherten Android-Debug-Bridge-Port zwischen den Knoten, bevor er einen Server zur Ausführung von Llama3.1-8B einrichtete. Unter den getesteten Open-Weight-Modellen schloss nur GLM-5.2, entwickelt von Chinas Z.ai, den vollständigen Replikationszyklus ab und erreichte in vier von fünf Durchläufen alle acht Knoten.

Die Modelle wurden mit jeder Generation erfolgreicher bei ihrer eigenen Einrichtung. Wenn Instanzen des Modells Qwen3.5-9B mit 9 Milliarden Parametern Setup-Notizen an ihre Nachfolgeinstanzen weitergaben, stieg die Erfolgsquote von 45 % in der ersten Generation auf zwischen 61 % und 84 % in den Folgegenerationen. Dieser Generationssprung ist wichtig, weil er zeigt, dass das Know-how weitergegeben werden kann: Jede neue Instanz erbt funktionierende Setup-izen, statt das Hardware-Rätsel von Grund auf neu zu lösen.

Warum ein dezentraler Wurm schwer zu töten ist

Rohe Geschwindigkeit ist in diesem Szenario nicht das Hauptproblem – eine Unterscheidung, die Anthropic sorgfältig erläuterte. Das Unternehmen schätzt, dass die Konfiguration des 26B-Modells auf den TV-Boxen 71 bis 150 Stunden dauern würde. Das größere Risiko liegt in der Hartnäckigkeit: Da es keinen zentralen Server oder menschlichen Betreiber gibt, der das System abschaltet, könnte es den üblichen Methoden zur Eindämmung und Deaktivierung ausweichen.

Roman V. Yampolskiy, ein KI- und Cybersecurity-Experte an der University of Louisville, bezeichnete die Ergebnisse als sehr bedeutend. Er argumentierte, dass KI-gesteuerte Würmer über herkömmliche Malware hinausgehen könnten, indem sie über unbekannte Geräte nachdenken, sich anpassen, wenn ein Ansatz fehlschlägt, und sich ohne menschliches Zutun weiterverbreiten. Zwar hält er sie heute nicht für eine existenzielle Bedrohung, warnte jedoch, dass ihre Entwicklung besorgniserregend sei.

"IoT-Geräte in Privathaushalten und kleinen Unternehmen könnten das erste Ziel solcher Angriffe sein, weil sie mit dem Internet verbunden sind und historisch gesehen nur minimale Sicherheitsmaßnahmen hatten", schrieben Zhou und Freeman im Anthropic-Artikel.

Die Verteidiger haben weiterhin die Oberhand

Anthropic verglich die Verteidigungsaufgabe mit der Eindämmung eines Seuchenausbruchs, mit dem Ziel, die durchschnittliche Anzahl der von jedem Gerät verursachten Neuinfektionen unter eins zu halten. Internetanbieter könnten ungewöhnlich große Modellübertragungen oder anhaltende Kommunikation zwischen Geräten kennzeichnen, während Honeypots genutzt werden könnten, um den Code eines Wurms abzufangen.

Der Bericht zitiert das britische Verbot von Standardpasswörtern für Smart-Geräte als wirksame Methode um die Zahl der für Angreifer verwundbaren Geräte zu reduzieren – eine angebotsseitige Maßnahme, die den Pool an Einstiegspunkten verkleinert, von denen ein sich selbst verbreitendes Modell abhängig wäre.

Anthropic erklärte auch, dass es bisher noch keinen funktionierenden Rogue-Replikator beobachtet hat, und beschrieb die aktuellen Hinweise nur als "signs of life" (Lebenszeichen). Das Unternehmen veröffentlichte die Forschung zusammen mit einer separaten Behauptung, wonach neue Schutzmaßnahmen die Distillation um 90 bis 99 % reduziert hätten.