Mit der Eröffnung der jährlichen Black Hat-Konferenz in Las Vegas treibt die Open Secure AI Alliance – nun mit mehr als 120 Organisationen – neue Richtlinien und Open-Source-Technologien voran, die darauf abzielen, die Cybersicherheit agentenbasierter KI-Systeme zu stärken – KI-Systeme, die autonom Ziele verfolgen, Tools auswählen und verwenden sowie mit externen Anwendungen und Daten interagieren können.

Die Linux Foundation hat einen Request for Comments zum Shared AI Findings Exchange (SAFE) veröffentlicht, einem vorgeschlagenen Framework, das darauf ausgelegt ist, agentenbasierte Cybersicherheitsvorfälle in gemeinsame defensive Erkenntnisse für das breitere Ökosystem umzuwandeln. Die SAFE-Richtlinien werden von einer Arbeitsgruppe der Open Secure AI Alliance entwickelt, wobei NVIDIA, Cisco, CrowdStrike, Hugging Face und Red Hat zu den Mitgliedern gehören, die mit der Linux Foundation an dem ursprünglichen Vorschlag zusammenarbeiten. Dieses Vorhaben bringt direkte Wettbewerber – Chiphersteller, Cloud-Anbieter, Cybersicherheitsunternehmen und KI-Plattformunternehmen – unter einem gemeinsamen Framework zusammen und spiegelt die Dringlichkeit wider, gemeinsame Verteidigungspraktiken zu etablieren, während agentenbasierte KI-Bereitstellungen von Pilotprojekten in Produktionsumgebungen übergehen.

Nach den SAFE-Richtlinien schlägt die Allianz vor, KI-Vorfälle und Beinahevorfälle vertraulich zu erfassen und zu analysieren, betroffene Parteien zu benachrichtigen, wiederkehrende Kontrollversäumnisse zu identifizieren und evidenzbasierte Betriebsempfehlungen zu veröffentlichen, die darauf abzielen, systemische Risiken zu reduzieren.

Der breitere Kontext ist von eskalierenden Herausforderungen geprägt: Jeder größere Technologiewandel bringt neue Angriffsflächen hervor, und Verteidiger müssen mit dem von der Allianz als „Agent-Geschwindigkeit" bezeichneten Tempo arbeiten, um Infrastruktur und geistiges Eigentum zu schützen. Der offene Austausch von Bedrohungsinformationen innerhalb vertrauenswürdiger Ökosysteme wird als Kraftmultiplikator für die kollektive Verteidigung positioniert.

Allianzmitglieder erweitern ein Full-Stack-Sicherheits-Toolkit

Das SAFE-Framework ergänzt eine wachsende Zahl von Technologiebeiträgen der Mitglieder der Open Secure AI Alliance, die offene, überprüfbare Tools über den gesamten KI-Sicherheitsstack hinweg entwickeln und teilen – von Identitätskontrollen und Harnesses bis hin zu Guardrails, Protokollen und Evaluierungssystemen. Der Schwerpunkt auf Open Source spiegelt eine Kernprämisse der Allianz wider: dass Sicherheits-Tools, die von der Gemeinschaft unabhängig überprüft, auditiert und verbessert werden können, besser geeignet sind, Vertrauen in Systeme zu schaffen, die autonome Aktionen ausführen können.

NVIDIAs Open-Source-Cybersicherheits-Software und -Modelle

NVIDIAs Beiträge erstrecken sich über den gesamten Stack. Der NVIDIA Labs Object-Oriented Agent (NOOA)-Forschungs-Harness, der auf GitHub verfügbar ist, soll das Testen, Nachverfolgen, Auditing und Steuern von Agentenverhalten erleichtern. Die NVIDIA-OpenShell-Laufzeit schränkt ein, worauf ein Agent zugreifen und was er ausführen kann, und erzwingt Sicherheits- und Datenschutzkontrollen auf Agent-Ebene.

NVIDIAs offene Modellfamilien – Nemotron für agentenbasierte KI, Cosmos für physische KI, Isaac GR00T für Robotik, BioNeMo für Gesundheitswesen und Biowissenschaften sowie Alpamayo, beschrieben als das weltweit größte Modell für autonome Fahrzeuge mit kommerzieller Nutzungslizenz – werden mit offenen Gewichten, Datensätzen und Trainingsmethoden veröffentlicht.

NVIDIAs quelloffene verifizierte Agent-Skills erweitern die Governance auf die Fähigkeitsebene. Jeder Skill umfasst portable Instruction Sets, die katalogisiert, auf Risiken wie Prompt-Injection und Tool-Poisoning gescannt, kryptografisch signiert und mit einer Skill-Karte dokumentiert werden – wodurch Verteidiger genau überprüfen können, was ein Skill tut, woher er stammt und ob er nach der Veröffentlichung modifiziert wurde.

NeMo Guardrails, NeMo Anonymizer und NeMo Safe Synthesizer helfen bei der Durchsetzung von Sicherheitsrichtlinien, beim Schutz sensibler Daten und bei der Erstellung datenschutzfreundlicher synthetischer Daten. Garak, NVIDIAs quelloffener LLM-Schwachstellen-Scanner, ermöglicht es Sicherheitsteams, Modelle vor der Bereitstellung auf Datenlecks, Prompt-Injections und Jailbreak-Szenarien zu testen.

Identität und Berechtigungen — Wer handeln darf

Die Sicherung der Agenten-Identität ist grundlegend für den breiteren Sicherheits-Stack.

Okta entwickelt Referenzimplementierungen für Agenten-Identität und -Zugriff und zeigt, wie Cross App Access (XAA), ein offenes Protokoll, es KI-Agenten in OpenShell-Sandbox-Umgebungen ermöglicht, sich sicher mit Unternehmensanwendungen zu verbinden.

Palo Alto Networks hat Open-Source-Tools aus Idira, seiner Identitätssicherheitsplattform der nächsten Generation, beigetragen, darunter Agent Guard und Agent Watch. Diese Tools helfen Entwicklern, Best Practices für Identitätssicherheit und Schutzmaßnahmen wie das sichere Abrufen von Secrets für agentenbasierte Workflows anzuwenden.

Ein neues, von Red Hat gegründetes Open-Source-Projekt namens asago bildet die individuellen Governance-Anforderungen einer Organisation – unter Bezugnahme auf Frameworks wie NIST, OWASP und den EU AI Act – direkt auf Laufzeit-Agent-Berechtigungen ab und unterhält einen durchgehenden Audit-Trail von der Policy-Klausel bis zur Live-Kontrolle. Da Regulierungsbehörden weltweit die KI-Governance-Anforderungen verschärfen, werden Tools, die Policy-Vorgaben in durchsetzbare technische Kontrollen übersetzen, zunehmend kritisch für Organisationen, die Compliance nachweisen möchten.

Harnesses und Tooling — Orchestrierung von Sicherheitsarbeit

KI-Agenten operieren innerhalb von Ökosystemen aus offenen und geschlossenen Modellen, Harnesses, Tools und Laufzeiten. Wenn ein Modell als Gehirn des Agenten fungiert, dient der Harness als Körper, der Aktionen über Tools ausführt und orchestriert, wie Agenten bereitgestellt, koordiniert und eingeschränkt werden.

Amazon, eines der neuesten Mitglieder der Open Secure AI Alliance, trägt Strands Agents bei – ein quelloffenes Toolkit zum Erstellen von KI-Agenten, das auf jeder Ebene offen ist und Entwicklern volle Transparenz über das Agentenverhalten sowie die Möglichkeit bietet, agentenbasierte Systeme in der Produktion zu evaluieren. Amazon trägt zudem Cedar bei, eine quelloffene Autorisierungssprache, die deterministische, überprüfbare Grenzen für agentenzulässige Aktionen erzwingt.

Capital One hat VulnHunter als Open Source für agentenbasierte KI-Codesicherheit freigegeben. Cloudflare bietet seinen Vulnerability Discovery Harness als Open-Source-Skill für Agentensysteme an.

Das Microsoft AI Red Team hat mehrere Tools und Harnesses als Open Source freigegeben. PyRIT – das Python Risk Identification Toolkit – ermöglicht automatisiertes Red Teaming mit integriertem Gedächtnis und unterstützt gängige Ziele sowie benutzerdefinierte Endpunkte. RAMPART und Clarity wandeln Red-Team-Erkenntnisse und realweltliche Vorfälle in wiederholbare Tests um und helfen Teams, Designannahmen vor der Codeerstellung zu hinterfragen. Microsoft hat außerdem Assert als Open Source freigegeben, das natürlichsprachliche Anforderungen und erwartete KI-Sicherheitsverhalten in ausführbare Evaluierungen umwandelt.

Atlas, entwickelt von Wiz, ist eine autonome Schwachstellen-Forschungs-Engine, die spezialisierte KI-Agenten orchestriert, um Sicherheitslücken in Code und Open-Source-Paketen zu entdecken und zu validieren.

Visa, das ebenfalls der Open Secure AI Alliance beigetreten ist, hat seinen als Open Source freigegebenen Visa Vulnerability Agentic Harness beigetragen, um Teams bei der Identifikation von Problemen sowie bei der Remediation und Validierung zu unterstützen.

Modelle — Intelligenz für KI-Sicherheit und -Verteidigung

Spezialisierte Sicherheits- und Schutzmodelle sind eigens für Verteidigungsaufgaben entwickelt: trainiert, um Code zu verstehen, Schwachstellen zu lokalisieren und bedrohungsbezogen in großem Maßstab zu argumentieren. Sie können agentenbasierte Workflows als Systeme von Modellen unterstützen, wobei offene und geschlossene Modelle zusammenarbeiten.

Cisco DefenseClaw ist eine quelloffene agentenbasierte Governance-Schicht, die auf NVIDIA OpenShell aufsetzt und beim Skalieren agentenbasierter Workloads automatisierte Laufzeitsicherheit bietet. Cisco hat zudem zwei Antares-Sicherheits-Kleinsprachmodelle veröffentlicht, die bekannte Schwachstellen in Codebasen lokalisieren sollen, zusammen mit Project CodeGuard zur Einbettung von Secure-by-Default-Praktiken in KI-Coding-Workflows.

CrowdStrike feintunt das NVIDIA Nemotron Nano-Modell für Cyber-Verteidigung. Interne Tests erreichten eine Genauigkeit von 96% bei der Generierung von Untersuchungsabfragen innerhalb von Falcon LogScale und bieten eine natürlichsprachliche Schnittstelle, die die Untersuchungseffizienz von Agenten verbessert. CrowdStrike hat außerdem Forschungsergebnisse veröffentlicht, die zeigen, dass ein spezialisiertes NVIDIA Nemotron Nano-Reasoning-Modell viel größere Modelle beim Security Operations Center-Detection-Triage übertrifft und gleichzeitig kalibrierte Logit-basierte Konfidenz einführt, um messbare, abstimmbare und prüfbare autonome Sicherheitsentscheidungen zu ermöglichen.

Über die Erkennung hinaus müssen Verteidiger verstehen, warum Agenten gehandelt haben, ob sich Systeme sicher verhalten und wie sich Angriffe in der realen Welt entwickeln. Akamai trägt Erkenntnisse aus seinen State of the Internet-Berichten und der Security Intelligence Group-Forschung bei und nutzt realweltliche Daten, um Bedrohungen im KI-Zeitalter zu beleuchten.

Cognition hat eine Vertrauenswürdigkeits-Evaluierung veröffentlicht, die Alignment- und Sicherheitsrisiken von Modellen misst, die von Open Source abgeleitet sind, und zeigt, dass diese Risiken durch Post-Training mitigiert werden können.

Numbat, entwickelt von Perplexity, ist eine quelloffene Agent-Sicherheits-Suite für Client-Endpunkte. Sie erkennt, untersucht und verhindert Agentenaktivität auf macOS, Linux und Windows und bietet Verteidigern einen strukturierten Bericht über die durchgeführten Agentenaktionen.

Uber hat Schlüsselkomponenten von ADR (Agentic AI Detection and Response) als Open Source freigegeben – ein Produktionssystem, das die vollständige Kausalkette von KI-Agentenaktivitäten rekonstruiert – vom Prompt über Reasoning und Tool-Aufrufe bis hin zu Ergebnissen. ADR unterstützt derzeit mehr als 200.000 Agenten-Sitzungen pro Tag über 30.000 Endpunkte hinweg und verwendet einen zweistufigen Analyseansatz, der effiziente Erkennung mit tiefergehenden Untersuchungen für Bedrohungen mit hoher Konfidenz kombiniert.

Verfügbarkeit und Resilienz — Schnelle Wiederherstellung in entscheidenden Momenten

Agentensysteme müssen unter Störungen zuverlässig bleiben, Fehler eindämmen und sich sicher erholen, ohne kritischen Zustand zu verlieren oder die breitere Umgebung zu gefährden.

LangChain fügt seinen Open-Source-Frameworks – Deep Agents, LangGraph und LangChain – Resilienzfähigkeiten hinzu, die es Agenten ermöglichen, unterbrochene Arbeiten erneut auszuführen, sichere Wiederherstellungspfade zu verfolgen, von gespeicherten Zuständen fortzufahren und automatisch auf alternative Modelle zurückzugreifen, wenn primäre Modelle ausfallen.

Veeam hilft Organisationen, KI-bezogene Daten und Infrastruktur resilient und wiederherstellbar zu halten, durch Technologien wie Kanister, sein quelloffenes Framework für Datenschutz auf Kubernetes. Kanister hilft Teams, KI-Workloads, Vektordatenbanken und Daten in einen verifizierten bekannten intakten Zustand zu schützen und wiederherzustellen.

Weitere Beiträge werden erwartet, während die Allianz weiter wächst. Wenn Mitglieder wiederverwendbare Gegenmaßnahmen veröffentlichen, können Verteidiger im gesamten Ökosystem diese überprüfen, anpassen und verbessern, wodurch sich Sicherheitspraktiken parallel zu KI-Fortschritten weiterentwickeln können.

Mitglieder der Open Secure AI Alliance werden sich am Dienstag, den 4. August, um 17:15 Uhr PT auf der Black Hat zu einem Gruppenfoto außerhalb der Main Stage, Business Hall im Mandalay Bay Convention Center, treffen. Weitere Informationen zur Allianz finden Sie auf der Open Secure AI Alliance-Seite.