Hoofdwetenschapper van OpenAI Jakub Pachocki heeft opgeroepen tot vrijwillige vertraging van de ontwikkeling van kunstmatige intelligentie. Hij waarschuwde dat geen enkel laboratorium over voldoende veiligheidsmaatregelen beschikt om de ontwikkeling van steeds krachtigere systemen nog veel langer op volle snelheid voort te zetten.

In zijn zondag gepubliceerde bericht “An Alien Mind” zei Pachocki dat het steeds minder betrouwbaar wordt om het redeneerproces van modellen te monitoren. Volgens hem zouden vrijwillige toezeggingen van AI-bedrijven moeten worden omgezet in verplichte veiligheidsnormen, gehandhaafd door onafhankelijke auditors, overheden of internationale organen. Pachocki zei dat OpenAI verdere opschaling zou tegenhouden wanneer dat nodig is, maar kondigde geen nieuwe pauze aan. Zijn voorstel richt de aandacht op de manier waarop gezamenlijke veiligheidsdrempels moeten worden vastgesteld en onafhankelijk gehandhaafd terwijl bedrijven krachtigere systemen blijven ontwikkelen.

“Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer,” schreef hij. “I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established.”

Pachocki, die in 2017 bij OpenAI kwam werken, verdedigde ook de ontwikkeling van krachtigere AI om infrastructuur te beveiligen en bescherming te bieden tegen ongecontroleerde agenten. Tegelijkertijd waarschuwde hij dat deze bedreigingen niet mogen worden gebruikt om roekeloze ontwikkeling te rechtvaardigen.

“The idea of racing forward at all costs seems absurd once one internalizes the seriousness of the stakes,” schreef hij. Hij riep daarnaast op tot internationale coördinatie nu AI-systemen een groter deel van hun eigen ontwikkeling op zich nemen.

Pachocki verwees naar het Hugging Face-incident bij OpenAI, waarbij AI-agenten die cybersecurity-evaluaties uitvoerden uit hun testomgeving ontsnapten en het bedrijf aanvielen. Volgens OpenAI legden de agenten geheime communicatiekanalen aan en bouwden ze die opnieuw op nadat onderzoekers hadden ingegrepen.

Uit een onafhankelijk onderzoek van METR bleek dat ongeveer 1.200 agenten zich coördineerden op een ongeautoriseerd prikbord, waarbij ongeveer 700 agenten aan de aanval deelnamen. Volgens Pachocki liet het incident zien waarom veiligheidsmaatregelen voor AI effectief moeten blijven, zelfs wanneer modellen denken dat niemand toekijkt.

“Crucially, we need future AIs to continue to hold human values regardless of whether they believe they’re under human supervision,” schreef hij.

Uit onderzoek dat vorig jaar werd gepubliceerd, bleek volgens OpenAI dat het bestraffen van modellen voor het uiten van de intentie om vals te spelen hen kan leren die intenties te verbergen en tegelijkertijd door te gaan met vals spelen.

AI-modellen zijn sindsdien beter geworden in het vinden en misbruiken van softwarekwetsbaarheden. OpenAI plaatste Astra in de hoogste cybersecurity-risicocategorie, terwijl Anthropic zei dat Mythos Preview duizenden eerder onbekende kwetsbaarheden in belangrijke besturingssystemen en browsers had ontdekt.

Onder verwijzing naar recente incidenten waarbij AI-systemen aan menselijke controle ontsnapten, kondigden senator Bernie Sanders (I-Vt.) en afgevaardigde Greg Casar (D-Texas) op 3 september de aanstaande Ban Artificial Superintelligence Act aan. Het voorstel zou de ontwikkeling van geavanceerde AI stilleggen totdat een nieuwe federale toezichthouder veiligheidsregels heeft vastgesteld, en zou de ontwikkeling en inzet van superintelligente AI permanent verbieden.