NieuwsMacroChief scientist en CEO van OpenAI klinken alarm over 'onbewaakbaarheid' nu Astra de kritieke drempel voor cybersecurity bereikt

Chief scientist en CEO van OpenAI klinken alarm over 'onbewaakbaarheid' nu Astra de kritieke drempel voor cybersecurity bereikt

Auteur: Cryptopolitan·

Belangrijkste punten

  • •OpenAI's Astra-model is het eerste AI-model dat de 'Kritieke' cybersecurity-aanduiding bereikt binnen het Preparedness Framework, geïntroduceerd in december 2023.
  • •Astra scoorde 100% op ExploitBench en vond in tests op 20 ernstige V8-kwetsbaarheden twee zero-days en presteerde beter dan Sol in het genereren van willekeurige code-uitvoering.
  • •Chief scientist Jakub Pachocki en CEO Sam Altman riepen publiekelijk op tot kalmte, met de stelling dat veiligheidsmaatregelen en chain-of-thought-monitoring gelijk opgaan met de capaciteiten van het model.
  • •OpenAI pauzeerde de reinforcement-learning-training voor uitrolgerichte modellen van 18 tot 28 augustus om onderzoekclusters te versterken en monitoring te optimaliseren, en zei dat Astra niet betrokken was bij het Hugging Face-incident.
  • •Astra's geavanceerdste functies blijven beperkt tot leden van OpenAI's Daybreak-coalitie, in lijn met Anthropic's beperkte toegang tot Mythos 5.1 via Project Glasswing, terwijl de meeste capaciteits- en veiligheidsclaims nog niet onafhankelijk zijn gevalideerd.
Chief scientist en CEO van OpenAI klinken alarm over 'onbewaakbaarheid' nu Astra de kritieke drempel voor cybersecurity bereikt

Jakub Pachocki, chief scientist van OpenAI, sprak binnen enkele uren nadat het bedrijf als eerste in de AI-race de 'Kritieke' cybersecurity-aanduiding binnen zijn Preparedness Framework had bereikt, naar aanleiding van een preview van het aankomende Astra-model.

Zijn waarschuwing op woensdagochtend was bedoeld om de hysterie te temperen rond het groeiende commentaar dat suggereerde dat het AI-lab mogelijk geen controle meer heeft over de capaciteiten van zijn grootste modellen.

Waarom is OpenAI's Astra 'Kritiek'?

De aanduiding 'Kritiek' is een niveau binnen het Preparedness Framework, dat OpenAI in december 2023 aan de AI-sector introduceerde. Het framework meet hoeveel menselijke aansturing en tussenkomst een AI-model nodig heeft om levensvatbare zero-day-exploits te vinden en te bouwen over verharde systemen heen, of om een volledig nieuwe aanval uit te voeren.

Een zero-day-exploit verwijst naar het misbruiken van kwetsbaarheden die zelfs de makers van de software zelf nog niet hebben ontdekt. Dergelijke kwetsbaarheden behoren tot de meest waardevolle instrumenten in offensieve cybersecurity, omdat er geen patch bestaat totdat de leverancier ze vindt en verhelpt. Daarom roepen AI-modellen die ze zelfstandig kunnen vinden specifieke veiligheidszorgen op.

OpenAI liet op 1 september in zijn Path to Astra-bericht weten dat het model bij de lancering alle stappen voor volledig nieuwe aanvallen of zero-day-exploits zal kunnen voltooien met minimale menselijke tussenkomst.

Als bewijs verwees OpenAI naar Astra's score van 100% op ExploitBench, een test van hoe modellen bekende fouten kunnen misbruiken.

Astra is niet alleen beter in het plannen van zero-day-aanvallen, maar ook efficiënter. OpenAI demonstreerde dit met een interne test op 20 ernstige V8-kwetsbaarheden die pas recent publiek bekend werden. V8 is de JavaScript-engine die in Google's Chrome-browser wordt gebruikt, een van de meest verspreide software ter wereld, waardoor fouten erin een frequente prooi zijn van zowel beveiligingsonderzoekers als aanvallers. Astra verbruikte minder tokens, vond twee zero-days en presteerde beter dan Sol in het genereren van willekeurige code-uitvoering.

In hetzelfde bericht stond dat Astra onbekende browserfouten kon aaneenschakelen tot een sandbox-ontsnapping en tijdens door experts begeleide proeven een escalatie van besturingssysteemrechten van gewone gebruiker naar root opbouwde.

Zoals TechCrunch opmerkte, sluit Astra zich aan bij Anthropic's Mythos-model, dat eerder dit jaar uitkwam, als de eerste grote taalmodellen met deze capaciteiten. Dat twee concurrerende labs binnen hetzelfde jaar deze capaciteitsgrens overschrijden, heeft zelf bijgedragen aan het debat over hoe snel geavanceerde cybercapaciteiten arriveren in verhouding tot de verdedigingen eromheen.

Pachocki roept op tot kalmte over Astra

Pachocki verzet zich tegen de hysterie dat OpenAI met Astra onbekend terrein betreedt. Volgens hem wil hij geen 'race naar onbewaakbaarheid, ontketend door verwarde berichtgeving'.

De OpenAI-bestuurder benadrukte dat het lab zijn huiswerk deed op chain-of-thought-monitoring, de praktijk van het lezen van de stapsgewijze redenering die een model blootgeeft tijdens het werken. In de X-post verwees hij naar de diepte van het rekenkundige netwerk achter OpenAI's huidige frontier-modellen, Astra inbegrepen, dat binnen een factor twee van GPT-4 ligt.

Vóór Pachocki had OpenAI-CEO Sam Altman ook al opgeroepen tot kalmte, op dezelfde dag dat het Astra-blog verscheen.

'Er is hier een duidelijke spanning,' schreef hij dinsdag, waarbij hij Astra 'heel goed' noemde en betoogde dat veiligheidsmaatregelen gelijk moeten opschuiven met de ruwe capaciteit. Altman zei dat OpenAI de hele zomer zijn deel had gedaan om ervoor te zorgen dat het model met de vereiste veiligheidsmaatregelen wordt uitgebracht.

Het veiligheidsoverleg loopt al weken. Op 18 augustus zegde OpenAI toe de training met reinforcement learning voor modellen die op uitrol gericht zijn twee weken te pauzeren, zodat zijn ingenieurs onderzoekclusters konden versterken en de monitoring konden optimaliseren. De training werd op 28 augustus hervat.

Volgens OpenAI was Astra niet betrokken bij het inmiddels beruchte Hugging Face-incident. Het bedrijf zei ook dat het model niet eens probeerde uit zijn sandbox te ontsnappen, zelfs niet toen het een scenario kreeg dat was opgebouwd om het te verleiden het Hugging Face-episode na te bootsen.

AI-labs beperken de toegang tot frontier-modellen

OpenAI zei dat niet iedereen toegang krijgt tot Astra's geavanceerdste functies; die capaciteiten worden voorbehouden aan organisaties in OpenAI's Daybreak-coalitie, terwijl Daybreak Blue-bedrijven toegang krijgen tot de scherpste defensieve functies. Deze gelaagde toegangsbenadering weerspiegelt een bredere trend bij frontier-AI-labs, die hun machtigste modellen steeds vaker achter gecontroleerde enterprise- of overheidsprogramma's plaatsen in plaats van ze aan alle gebruikers vrij te geven.

Zoals Cryptopolitan meldde, zei Anthropic ook dat alleen bedrijven in zijn Project Glasswing toegang krijgen tot Mythos 5.1, in wezen Fable 5.1 met afzonderlijke veiligheidsmaatregelen.

OpenAI zei voorts dat het antwoorden op vragen van accounts die het als risicovoller inschat zal monitoren en afremmen. Astra komt in het geheel met extra chain-of-thought-monitoring om slecht gedrag te detecteren en vaker schadelijke cyberverzoeken te weigeren.

Het meeste informatie over Astra werd door OpenAI zelf verstrekt, met beperkte validatie door derden van de veiligheids- en capaciteitsclaims van het bedrijf.

Yona Shavit, een voormalig OpenAI-medewerker die nu aan AI-veerkracht werkt bij de OpenAI Foundation, vroeg publiekelijk of Astra's goede gedrag tijdens tests oprechte alignment weerspiegelt, of een model dat simpelweg wist wat de evaluatoren wilden zien.

OpenAI zegt dat een volledige system card en verdere evaluaties verschijnen wanneer Astra breed wordt uitgerold. Tot die tijd blijven het bereik van zijn cybervaardigheden en de sterkte van de hekwerken eromheen moeilijk te beoordelen.