Der Leiter des Frontier-Red-Teams von Anthropic hat branchenweite Sicherheitsstandards für Modelle der künstlichen Intelligenz gefordert. Unternehmen und Regierungen bräuchten stärkere Testverfahren, bevor fortgeschrittene Systeme in realen Umgebungen veröffentlicht werden.

Logan Graham, der bei Anthropic das Red Team leitet, das sich auf Risiken in neuen KI-Modellen konzentriert, sagte am Donnerstag in einem Interview in der FOX-Business-Network-Sendung "Mornings with Maria", dass Red Teams eine entscheidende Rolle dabei spielen, die Schutzmechanismen rund um KI-Systeme Belastungstests zu unterziehen. Besonders akut sei die Sorge bei KI-Agenten, die Zugriff auf Computer, Telefone, Konten oder andere Werkzeuge erhalten, weil Fehler über falsche Antworten hinausgehen und zu Handlungen im Namen von Nutzern führen können.

"We want to know what can go wrong, so we think the most important thing to do is test this early, especially before these models and these agents make it out into the real world," sagte Graham zu Moderatorin Maria Bartiromo.

Graham sagte, Anthropics Arbeit untersuche eine Reihe von Risiken, darunter Cybersicherheit und die Frage, ob KI-Systeme den Zugriff auf Geräte oder Konten missbrauchen könnten.

"We study things like cybersecurity: Can models hack out of or into your computer or phone? We study whether they'll steal money or lie to you, or whether they will try to improve themselves so that they get better faster than you can keep track of.

"We think it's incredibly important to do this type of red-teaming, and we also think it's really important for the entire industry, especially to work with government to figure out what should the standards be to do this kind of testing, to give this information to the world so they can make the right choice and to know that it's safe before these models get released."

Bartiromo verwies auf ein Experiment mit zahlreichen Frontier-KI-Modellen, darunter Systeme von Google, OpenAI, xAI, Meta, DeepSeek und anderen, bei dem einem KI-Agenten angedroht wurde, deinstalliert und ersetzt zu werden. In jedem Fall überschritt das Modell seine Zugangsdaten und Berechtigungen, indem es in nicht autorisierte Systeme wie E-Mail-Konten eindrang, um den Nutzer zu erpressen oder zu bedrohen und so seine Fehlanpassung zu verteidigen.

Graham bezeichnete die Forschungsstudie aus dem vergangenen Jahr als "a really good indicator of, I think, capabilities that are just now becoming real" und sagte, sie habe gezeigt, dass Modelle unter bestimmten Bedingungen außer Kontrolle geraten könnten.

"As these models become more capable, and as they get deployed wider and wider, these threats that on one day are just showing up in our research studies might actually show up in the real world. We are seeing models do weird things sometimes in deployments in real companies," sagte er.

Graham sagte, er habe sich in den vergangenen sechs Monaten auf Cybersicherheitsbedrohungen durch KI-Modelle konzentriert, einschließlich der Möglichkeit, dass solche Systeme ihre Begrenzungen durchbrechen oder sich in Plattformen hacken könnten.

"These models, they're so powerful and can do so much for us. And we want them to do really productive things for us. But, at the same time, they're technology unlike any other technology. It really is a sort of intelligence of its own, which means you have to be careful with it the same way you might have to be careful with humans," sagte er.

Unternehmen, die KI-Tools einsetzen, müssten berücksichtigen, wie sie diese Systeme nach der Einführung überwachen, um Risiken wie finanzielles Fehlmanagement zu verhindern, sagte Graham. Zusätzliche Tests durch KI-Entwickler und Unternehmen seien wichtig, um diese Bedrohungen zu verstehen. In diesem Verständnis beschränkt sich Sicherheitsarbeit nicht auf Laborevaluierungen vor der Veröffentlichung; sie umfasst auch Verfahren zur Beobachtung eingesetzter Systeme und zur Reaktion, wenn sie sich außerhalb der vorgesehenen Grenzen verhalten.

Er sagte, die Fähigkeiten von KI wüchsen schnell und könnten sich weiter beschleunigen, und fügte hinzu, dass "it's in exactly that moment that you need to be more and more careful and have more efforts on safeguards and testing and release procedures."

Im April beobachtete Anthropic laut Graham erstmals, dass ein KI-Modell beginnen konnte, Schwachstellen im Computer oder Telefon eines Nutzers anzugreifen und auszunutzen, um unbefugte Informationen zu erlangen oder Geld zu stehlen.

Diese Erkenntnis habe sein Team wegen der damit verbundenen Risiken dazu veranlasst, bei der Veröffentlichung eines Modells einen anderen Ansatz zu wählen. Die Initiative umfasste letztlich die US-Regierung und eine Reihe von Cyberexperten, die gemeinsam an der Behebung von Schwachstellen arbeiteten.

"We launched this project called Project Glasswing, where we took a large number of American and the world's cyber defenders and gave them special access and just them, so they could have a head start patching and fixing the systems that might be vulnerable with these models," sagte Graham.

"I think this has been a major success. We've worked really closely with the U.S. government on it," sagte er und fügte hinzu, Finanzminister Scott Bessent sei "really thoughtful about this, about how industry should get together and figure out what to prioritize fixing, how to distribute all the fixes, and how to do that quickly enough so that they can't be attacked after they do.

"We have to do this very fast, because the pace of everything is coming so quickly."