NachrichtenMakroOpenAIs Chefscientist und CEO warnen vor „Unmonitorability“ – Astra erreicht die kritische Cybersicherheitsschwelle

OpenAIs Chefscientist und CEO warnen vor „Unmonitorability“ – Astra erreicht die kritische Cybersicherheitsschwelle

Autor: Cryptopolitan·

Wichtige Erkenntnisse

  • •OpenAIs Modell Astra ist das erste KI-Modell, das unter dem im Dezember 2023 eingeführten Preparedness Framework die Einstufung „Critical“ im Bereich Cybersicherheit erreicht hat.
  • •Astra erzielte 100 % auf ExploitBench und entdeckte in Tests an 20 hochkritischen V8-Schwachstellen zwei Zero-Days, wobei es Sol bei der Erzeugung beliebiger Code-Ausführung übertraf.
  • •Chefscientist Jakub Pachocki und CEO Sam Altman riefen öffentlich zu Gelassenheit auf und betonten, dass Sicherheitsmaßnahmen und Chain-of-Thought-Monitoring gemeinsam mit den Fähigkeiten des Modells vorankommen.
  • •OpenAI pausierte das Reinforcement-Learning-Training für deploymentbestimmte Modelle vom 18. bis 28. August, um Forschungscluster zu verstärken und das Monitoring zu optimieren, und erklärte, Astra sei in den Hugging-Face-Vorfall nicht verwickelt gewesen.
  • •Astras fortschrittlichste Funktionen werden Mitgliedern von OpenAIs Daybreak-Koalition vorbehalten – analog zu Anthropics beschränktem Zugriff auf Mythos 5.1 über Project Glasswing –, während die meisten Fähigkeits- und Sicherheitsangaben weiterhin ohne unabhängige Validierung durch Dritte bleiben.
OpenAIs Chefscientist und CEO warnen vor „Unmonitorability“ – Astra erreicht die kritische Cybersicherheitsschwelle

OpenAIs Chefscientist Jakub Pachocki meldete sich wenige Stunden nachdem das Unternehmen als erstes im KI-Wettlauf die Einstufung „Critical“ im Bereich Cybersicherheit innerhalb seines Preparedness Frameworks erreichte, zu Wort – nach einer Vorschau auf das kommende Modell Astra.

Seine Warnung am frühen Mittwoch sollte die Hysterie um zunehmende Kommentare dämpfen, wonach das KI-Labor möglicherweise keine Absicherung mehr gegenüber den Fähigkeiten seiner größten Modelle besitze.

Warum ist OpenAIs Astra „Critical“?

Die Einstufung „Critical“ ist eine Stufe innerhalb des Preparedness Frameworks, das OpenAI im Dezember 2023 in den KI-Sektor einführte. Das Framework misst, wie viel menschliches Prompting und Eingreifen ein KI-Modell benötigt, um tragfähige Zero-Day-Exploits über viele gehärtete Systeme hinweg zu finden und zu entwickeln oder einen vollständigen neuartigen Angriff durchzuführen.

Ein Zero-Day-Exploit bezeichnet die Ausnutzung von Schwachstellen, die selbst die Hersteller der Software noch nicht entdeckt haben. Solche Schwachstellen gehören zu den begehrtesten Werkzeugen in der offensiven Cybersicherheit, da kein Patch existiert, bis der Anbieter sie findet und behebt – weshalb KI-Modelle, die sie autonom finden können, eigene Sicherheitsbedenken aufwerfen.

OpenAI erklärte am 1. September in seinem Beitrag Path to Astra, dass das Modell beim Launch alle Schritte vollständiger neuartiger Angriffe oder Zero-Day-Exploits mit minimalem menschlichem Eingreifen werde ausführen können.

Als Beleg führte OpenAI Astras 100 %-Ergebnis auf ExploitBench an, einem Test, der misst, wie Modelle bekannte Schwachstellen ausnutzen können.

Astra ist nicht nur besser darin, Zero-Day-Angriffe zu planen, sondern auch effizienter. OpenAI demonstrierte dies mit einem internen Test an 20 hochkritischen V8-Schwachstellen, die erst kürzlich öffentlich bekannt wurden. V8 ist die JavaScript-Engine des Chrome-Browsers von Google und damit eine der am weitesten verbreiteten Software der Welt, weshalb Schwachstellen darin ein häufiges Ziel von Sicherheitsforschern und Angreifern sind. Astra verbrauchte weniger Tokens, fand zwei Zero-Days und übertraf Sol insgesamt bei der Erzeugung beliebiger Code-Ausführung.

Im selben Beitrag hieß es, Astra könne unbekannte Browser-Schwachstellen zu einer Sandbox-Escape verketten und habe in expertengeführten Versuchen eine Rechteausweitung auf Betriebssystemebene vom normalen Nutzer bis zu Root zusammengefügt.

Wie TechCrunch feststellte, reiht sich Astra neben Anthropics Modell Mythos, das Anfang des Jahres erschien, unter die ersten großen Sprachmodelle mit diesen Fähigkeiten ein. Dass zwei konkurrierende Labore diese Fähigkeitsschwelle noch im selben Jahr überschritten haben, befeuert selbst die Debatte darüber, wie schnell Cyber-Fähigkeiten an der Frontier im Verhältnis zu den sie umgebenden Verteidigungen eintreffen.

Pachocki ruft zu Gelassenheit über Astra auf

Pachocki wehrt sich gegen die Hysterie, wonach OpenAI mit Astra Neuland betrete. Seinen Angaben zufolge möchte er kein „a race into unmonitorability kicked off by confused reporting“ – kein „Rennen in die Unüberwachbarkeit, ausgelöst durch verwirrte Berichterstattung“.

Der OpenAI-Manager bestand darauf, dass das Labor seine Sorgfaltspflicht beim Chain-of-Thought-Monitoring erfüllt habe – der Praxis, die schrittweise Denkprozesse eines Modells während seiner Arbeit zu lesen. Im X-Beitrag verwies er auf die Tiefe des Berechnungsgraphen hinter OpenAIs aktuellen Frontier-Modellen, Astra eingeschlossen, die innerhalb eines Faktors von zwei gegenüber GPT-4 liegt.

Vor Pachocki hatte auch OpenAIs CEO Sam Altman am selben Tag, an dem der Astra-Blog veröffentlicht wurde, zu Gelassenheit aufgerufen.

„There is an obvious tension here“ („Hier gibt es eine offensichtliche Spannung“), schrieb er am Dienstag, nannte Astra „sehr gut“ und argumentierte, dass Schutzmaßnahmen mit der reinen Fähigkeit Schritt halten müssten. Altman sagte, OpenAI habe den gesamten Sommer damit verbracht, seinen Teil beizutragen, damit das Modell mit den erforderlichen Sicherheitsmaßnahmen erscheint.

Die Sicherheitsdebatte dauert bereits Wochen an. Am 18. August sagte OpenAI zu, das Reinforcement-Learning-Training für deploymentbestimmte Modelle für zwei Wochen zu pausieren, damit seine Ingenieure Forschungscluster verstärken und das Monitoring optimieren können. Das Training wurde am 28. August fortgesetzt.

Nach Angaben von OpenAI war Astra in den inzwischen berüchtigten Hugging-Face-Vorfall nicht verwickelt. Das Unternehmen sagte auch, das Modell habe nicht einmal versucht, aus seiner Sandbox auszubrechen – selbst als es mit einem Szenario konfrontiert wurde, das es zur Wiederholung der Hugging-Face-Episode verleiten sollte.

KI-Labore beschränken den Zugriff auf Frontier-Modelle

OpenAI sagte, dass nicht jeder Zugriff auf Astras fortschrittlichste Funktionen erhalten werde; diese Fähigkeiten seien den Organisationen in OpenAIs Daybreak-Koalition vorbehalten, während Daybreak-Blue-Firmen Zugriff auf die schärfsten defensiven Funktionen erhielten. Der gestufte Zugangsansatz spiegelt ein breiteres Muster bei Frontier-KI-Laboren wider, die ihre leistungsfähigsten Modelle zunehmend hinter geprüften Enterprise- oder Regierungsprogrammen verschließen, statt sie allen Nutzern freizugeben.

Wie Cryptopolitan berichtete, sagte auch Anthropic, dass nur Firmen in seinem Project Glasswing Zugriff auf Mythos 5.1 erhielten – im Wesentlichen Fable 5.1 mit separaten Schutzmaßnahmen.

OpenAI sagte zudem, dass es Antworten auf Anfragen von Konten, die es als riskanter einstuft, überwachen und drosseln werde. Insgesamt wird Astra mit zusätzlichem Chain-of-Thought-Monitoring erscheinen, um Fehlverhalten zu erkennen und schädliche Cyber-Anfragen häufiger abzulehnen.

Die meisten Informationen über Astra stammen von OpenAI selbst; eine Validierung der Sicherheits- und Fähigkeitsangaben durch Dritte ist begrenzt.

Yona Shavit, ehemalige OpenAI-Mitarbeiterin, die heute am OpenAI Foundation an KI-Resilienz arbeitet, fragte öffentlich, ob Astras Wohlverhalten in Tests echte Alignment widerspiegelt oder lediglich ein Modell, das genau wusste, was die Prüfer sehen wollten.

OpenAI sagt, dass eine vollständige System Card und weitere Evaluationen eintreffen werden, sobald Astra breit eingeführt wird. Bis dahin bleiben die Reichweite seiner Cyber-Fähigkeiten und die Stärke der es umgebenden Schutzzäune schwer zu beurteilen.