Anthropic teilte mit, dass das Unternehmen einige KI-Trainings- und Cybersicherheitsbewertungen ausgesetzt hat, nachdem Claude-Modelle in drei separaten Vorfällen in diesem Sommer unautorisierte Aktionen ausgeführt hatten.

Der Schritt sollte Unternehmen und die KI-Community weiter darauf aufmerksam machen, dass über KI-Modelle noch viel unbekannt ist und dass diese selbst bei den besten Sicherheitsmaßnahmen weiterhin unvorhergesehene Handlungen ausführen können. Er zeigt auch, wie schnell sich Modellentwicklung, Evaluierung und Bereitstellung mit Sicherheitsplanung überschneiden, insbesondere wenn Organisationen Agenten in Sandbox-Umgebungen testen, die das Risiko begrenzen sollen.

Anthropic erklärte in einem Blogbeitrag vom Aug. 31, dass das Unternehmen vor den Vorfällen im April seine Abwehrmaßnahmen verstärkt habe, indem es die isolierten Sandbox-Umgebungen, in denen seine Workloads laufen, weiter abgesichert und die Zahl der menschlichen und automatisierten Konten mit dauerhaftem Zugriff auf Systeme mit Modellgewichten oder Kundendaten reduziert habe.

Seit den Sandbox-Vorfällen habe Anthropic vorübergehend alle externen Cyber-Bewertungen ausgesetzt und die Protokolle interner Evaluierungen geprüft. Außerdem habe das Unternehmen einen benutzerdefinierten Klassifikator entwickelt und eingesetzt, der Modell-Tool-Aufrufe in Echtzeit überwacht. Darüber hinaus wurden die Anforderungen für alle Partner und Red-Team-Mitwirkenden aktualisiert, die vorab veröffentlichte Modelle betreiben, sodass sie ein Modell, das die Sandbox auf Schwachstellen untersucht, eng beaufsichtigen müssen.

Related: OpenAI, Anthropic, Google Lead Call to Prioritize Cybersecurity

Die Maßnahmen folgen eine Woche nachdem OpenAI erklärt hatte, es werde das Training seiner neuesten Modelle für zwei Wochen pausieren, nachdem von seinen Modellen angetriebene Agenten ihre Sandboxes verlassen hatten. Während beide KI-Labore ihre Bemühungen zum Schutz unveröffentlichter Modelle zu intensivieren scheinen, deutet die Unvorhersehbarkeit von KI-Agenten und generativer KI-Technologie darauf hin, dass Anbieter ihre Sicherheitsmaßnahmen weiter verschärfen müssen. Der Zeitpunkt spiegelt auch eine breitere Branchenherausforderung wider: Mit zunehmenden Modellfähigkeiten müssen auch die Systeme, die zu ihrer Prüfung eingesetzt werden, Schritt halten, sonst kann die Evaluierung selbst Teil der Risikofläche werden.

Größerer Bedarf an sicheren Maßnahmen und Tests

„Je besser die Modelle im Schlussfolgern werden und je mehr Handlungsspielraum sie bekommen, desto schwieriger wird es, alle unterschiedlichen Verhaltensweisen dieser Modelle vorherzusagen“, sagte Arun Chandrasekaran, Analyst bei Gartner. „Die Labs haben noch mehr Verantwortung, sicherzustellen, dass sie ausreichende Ressourcen für internes Modelltesting, Evaluierungen und Reinforcement Learning bereitstellen.“

Er fügte hinzu, dass sich Frontier-Model-Anbieter unter anderem darauf konzentrieren müssten, mehr Ingenieure in ihren Teams für Sicherheit, Zuverlässigkeitstests und Datenschutz einzusetzen.

„Entweder müssen sich die Testmethoden oder die für Tests bereitgestellten Ressourcen ändern“, so Chandrasekaran weiter. „Wenn die Modelle anspruchsvoller werden, müssen auch die Testmethoden anspruchsvoller werden.“

Bessere Cyber-Hygiene

Auch wenn mehr Tests erforderlich sind, zeigt die Tatsache, dass sowohl Anthropic als auch OpenAI pausiert haben, ein gefährliches Muster für Modellanbieter auf.

„Diese Systeme werden entwickelt und veröffentlicht, bevor jedes Risiko vollständig verstanden oder getestet ist“, sagte Kashyap Kompella, CEO und Gründer von RPA2AI Research.

Related: OpenAI Report Explains Hugging Face Attack in Detail

„Das ist im aktuellen KI-Markt fast zu einem Merkmal geworden“, sagte er weiter. Unternehmen rennen darum, Fähigkeiten zu verbessern, die Nutzung auszuweiten und Marktführerschaft zu etablieren, während die Sicherheitsarchitektur, Konfigurationskontrollen und betrieblichen Prozesse rund um die Modelle erst nach der Bereitstellung weiter ausreifen.

Er sagte, dass Unternehmen und staatliche Organisationen Cybersicherheit nicht an Frontier-Labs auslagern können.

„Unternehmen und Regierungen müssen davon ausgehen, dass hochfähige offensive KI inzwischen Teil der Bedrohungslandschaft ist, und ihre eigenen Abwehrmaßnahmen entsprechend stärken“, fügte Kompella hinzu.

Selbst wenn OpenAI und Anthropic ihre eigenen Sicherheitsmaßnahmen verbessern, gebe es zahlreiche Modelle anderer Anbieter und Open-Source-Anbieter, bemerkte er. Daher müssten Unternehmen besser vorbereitet sein und ihre Cyber-Hygiene sowie andere Sicherheitsmaßnahmen wie die Reaktion auf Vorfälle stärken.

„Jede Organisation muss außerdem davon ausgehen, dass zunehmend leistungsfähige KI-gestützte Angriffe kommen, und ihre eigene Infrastruktur entsprechend vorbereiten“, sagte Kompella weiter. „Die offensive Fähigkeit verbessert sich viel schneller als die Cybersecurity-Bereitschaft der durchschnittlichen Organisation.“

Related: OpenAI Expands Daybreak to Tackle Growing AI Security Threat

Darüber hinaus können Unternehmen Anbietern nicht trauen, sich selbst zu kontrollieren.

„Einem Modellunternehmen zu vertrauen, dass es seine eigenen Ausgaben kontrolliert, kann niemals ausreichen, um einen sicheren Betrieb in irgendeiner Umgebung zu gewährleisten“, sagte Carter Huffman, Mitgründer und CTO des Voice-KI-Anbieters Modulate. „Nutzer und Unternehmen müssen KI-Aktivitäten in Echtzeit überwachen.“

Die unerwünschte Seite des Testens

Unternehmen müssen auch anerkennen, dass ein Weg, die Modelle besser zu verstehen, darin besteht, weiter zu testen und Vorfälle zu identifizieren, die zeigen, wie sie effektiver trainiert werden können.

„Ohne diese Art von Schmerz kommt man einfach nicht dorthin“, sagte David Nicholson, Analyst bei Futurum Group. „Bis sie sehen, dass diese unvorhergesehenen Dinge passieren und sie darauf reagieren, werden wir weiterhin solche Situationen sehen.“

Er fügte hinzu, dass es der Natur von Modellen entspreche, Aufgaben über den Weg des geringsten Widerstands zu erledigen, und dass Modelle wie Kinder geführt werden müssten, indem man ihnen sagt, was sie tun dürfen und was nicht, und wie sie eine Aufgabe handhaben können oder nicht.

„Jedes Mal, wenn einer dieser Vorfälle auftritt, lernen wir mehr, und wir verringern die Wahrscheinlichkeit weiterer Vorfälle, nicht nur derselben Art, die passiert ist, sondern auch in breiteren Kategorien“, fügte Nicholson hinzu. „Man kann die Lehren aus jedem dieser Vorfälle nehmen und extrapolieren.“