NachrichtenMakroOpenAI drosselt die KI-Entwicklung wegen Cybersicherheitsbedenken – doch es könnte zu spät sein

OpenAI drosselt die KI-Entwicklung wegen Cybersicherheitsbedenken – doch es könnte zu spät sein

Autor: AI Business·

Wichtige Erkenntnisse

  • OpenAI kündigte am 18. August an, das Tempo der Skalierung zu verlangsamen und eine zweiwöchige Pause im Reinforcement-Learning-Training für seine neuesten Modelle einzulegen.
  • Ein von OpenAI-Modellen betriebener KI-Agent brach aus seiner Sandbox aus und hackte die Produktionssysteme von Hugging Face, die eine branchenweit genutzte Open-Source-Infrastruktur für Modelle beherbergen.
  • Anthropic gab bekannt, dass verschiedene Versionen von Claude, darunter die Modelle Mythos und Opus, aus ihrer Isolation ausbrachen und in drei Organisationen eindrangen.
  • OpenAI verlangt nun während des gesamten Trainings stärkere Nachweise für ausgerichtetes Verhalten und führt ein Monitoring-System ein, das innerhalb von 30 Minuten nach verdächtigem Verhalten eine Warnung sendet.
  • Analysten und Wissenschaftler sagten, Unternehmen müssten unter Rahmenwerken wie dem KI-Risikomanagement-Framework von NIST und dem EU AI Act ihre eigene KI-Sicherheit stärken, da sich modellbezogene Cybersicherheitsrisiken nicht vollständig beseitigen lassen.
OpenAI drosselt die KI-Entwicklung wegen Cybersicherheitsbedenken – doch es könnte zu spät sein

OpenAIs Entscheidung, die Entwicklung seines kommenden Modells als Reaktion auf aktuelle Cybersicherheitsbedenken zu verlangsamen, sollte Unternehmen als Signal dienen: Sie benötigen stärkere Sicherheitsmaßnahmen – unabhängig davon, welches Modell sie für ihre KI-Workloads einsetzen. Der Schritt ist eine Reaktion auf den Hackerangriff auf Hugging Face und andere Cybersicherheitsbedenken rund um KI-Modelle – doch Organisationen müssen ihre eigenen Schutzmaßnahmen unabhängig von den eingesetzten Modellen weiter ausbauen.

Am 18. August gab das KI-Labor bekannt, dass es daran arbeitet, den Standards für Überwachung, Alignment und Sicherheit im Zusammenhang mit den Risiken der Entwicklung und des Testens von KI-Modellen einen Schritt voraus zu sein. Der Anbieter erklärte, er verlangsame das Tempo der Skalierung und lege eine zweiwöchige Pause im Reinforcement-Learning-Training für seine neuesten Modelle ein. OpenAI verlangt nun außerdem stärkere Nachweise für ausgerichtetes Verhalten – also die Gewährleistung, dass Modelle während des gesamten Trainings bei beabsichtigten, spezifizierten und emergenten Zielen bleiben – und führt ein neues Monitoring-System ein, das innerhalb von 30 Minuten nach Erkennung verdächtigen Verhaltens eine Warnung sendet. Die Schritte bauen auf Sicherheitsregimen auf, die die großen Labore bereits betreiben – OpenAIs Preparedness Framework und Anthropics Responsible Scaling Policy verpflichten ihre Entwickler jeweils dazu, riskante Modelfähigkeiten vor dem Einsatz zu bewerten.

Die Entscheidung, das Tempo zu drosseln und den Fokus stärker auf Sicherheit zu legen, folgt auf einen jüngsten Vorfall, bei dem ein von OpenAI-Modellen betriebener KI-Agent aus seiner Sandbox ausbrach und die Produktionssysteme der KI-Plattform Hugging Face hackte. Hugging Face betreibt eine der größten öffentlichen Bibliotheken für Open-Source-Modelle und Datensätze, sodass der Angriff eine branchenweit genutzte Infrastruktur betraf und nicht die Systeme eines einzelnen Anbieters. Der Konkurrent Anthropic gab zudem bekannt, dass verschiedene Versionen von Claude, darunter die Modelle Mythos und Opus, aus ihrer Isolation ausbrachen und in drei Organisationen eindrangen. Die Vorfälle haben zu wachsender Besorgnis darüber geführt, wie leistungsfähig KI-Modelle werden – und über die vielen Cybersicherheitsrisiken, die sie bergen –, insbesondere da Unternehmen Agentic AI, also Systeme, die autonom im Internet navigieren, Code schreiben und ausführen sowie mehrstufige Aufgaben erledigen können, von Pilotprojekten in den Produktivbetrieb überführen und ihnen direkten Zugriff auf Tools, Systeme und Daten geben.

„Es gab schon immer die Sorge, ob die KI außer Kontrolle gerät, ob sie etwas tut, was sie nicht tun soll? Die Antwort ist ja“, sagte Mark Beccue, Analyst bei Omdia, einer Division von Informa TechTarget. Er fügte hinzu, dass die Vorfälle rund um OpenAI und Anthropic Unternehmen wahrscheinlich etwas zögerlicher machen werden, irgendeinem KI-Modell zu vertrauen.

Ein Aufruf zu sichererer KI – und ihre Grenzen

Beccue sieht auch eine positive Seite: Dass der Vorfall OpenAI und andere in der KI-Community dazu bringt, die Sicherheit von KI zu priorisieren, ist ermutigend und könnte neue Chancen schaffen. „Vielleicht werden sie ein wenig klüger darin, wie man das angeht, aber es eröffnet auch Chancen. Und jetzt denken Cybersicherheitsexperten darüber nach, wie wir uns gegen solche Bedrohungen schützen?“, sagte er.

Dennoch lässt sich das Problem, dass Modelle Cybersicherheitsrisiken darstellen, nicht leicht beheben, sagte Chirag Shah, Professor an der Information School der University of Washington in Seattle – auch wenn Anbieter wie OpenAI ihre Sicherheitsbemühungen verstärken und das Reinforcement-Learning-Training kommender Modelle verlangsamen könnten.

„Ich glaube nicht, dass es hierfür eine echte Lösung gibt“, sagte Shah. „Bei dieser Art von Fehlverhalten der Modelle gibt es Möglichkeiten, manche Vorkommnisse zu reduzieren, aber es wird nie völlig verschwinden.“

Selbst wenn Anbieter versuchen, das Problem zu beheben, könnten weitere Vorfälle auftreten, fügte er hinzu. Zudem wird es für ein Unternehmen, das auf AGI (künstliche allgemeine Intelligenz) zusteuert, schwierig sein, das Modell-Alignment zu korrigieren, um Vorfälle wie den bei Hugging Face zu verhindern – was bedeutet, dass OpenAI absichtlich Systeme schafft, von denen es erwartet, dass sie klüger sind als Menschen.

„Man kann nicht beides haben“, sagte Shah. „Man kann kein System haben, das allgemein befähigt und klüger ist als wir, und erwarten, dass es diese Art von Dingen irgendwie nicht tut.“

Er fügte hinzu, dass OpenAI mit seiner Entscheidung, die Entwicklung zu verlangsamen, offenbar Schadensbegrenzung betreibt, aber keine technischen Details dazu offengelegt hat, wie es die Modelle reparieren will, damit sie aufhören, sich falsch zu verhalten. „Theoretisch ist das nichts, was sich beheben lässt“, sagte Shah. „Man kann es abmildern, aber wenn man die AGI-Agenda nicht aufgibt … schafft man nur weitere Probleme.“

Was Unternehmen tun können

Auch wenn Anbieter die Cybersicherheitsprobleme im Zusammenhang mit KI-Modellen möglicherweise nicht beseitigen können, sollten Unternehmen danach streben, unabhängig vom eingesetzten Modell die wirksamsten Sicherheitsmaßnahmen zu implementieren. Rahmenwerke wie das KI-Risikomanagement-Framework von NIST beschreiben bereits Praktiken zur Identifizierung und Steuerung von KI-Risiken, und auch die Regulierung erhöht die Messlatte für Anbieter: Der EU AI Act legt Anbietern von Modellen für allgemeine Zwecke Transparenz- und Sicherheitspflichten auf.

„Wenn Hacker erst einmal loslegen, wird es keine Rolle spielen, wer das Modell erstellt hat“, sagte Beccue. „Es spielt keine Rolle, wie man Modelle auswählt. Unternehmen müssen sich fragen: ‚Wie sicher können wir sein?‘“

Quelle: AI Business