OpenAI-Chefwissenschaftler Jakub Pachocki hat eine freiwillige Verlangsamung der Entwicklung künstlicher Intelligenz gefordert. Er warnte, dass kein Labor über ausreichende Schutzvorkehrungen verfüge, um die Entwicklung immer leistungsfähigerer Systeme noch lange mit voller Geschwindigkeit fortzusetzen.

In seinem am Sonntag veröffentlichten Beitrag „An Alien Mind“ erklärte Pachocki, dass die Überwachung der Schlussfolgerungen von Modellen zunehmend unzuverlässig werde. Seiner Ansicht nach sollten freiwillige Zusagen von KI-Unternehmen zu verbindlichen Sicherheitsstandards werden, die von unabhängigen Prüfern, Regierungen oder internationalen Organisationen durchgesetzt werden. Pachocki sagte, OpenAI werde die weitere Skalierung bei Bedarf zurückhalten, kündigte jedoch keine neue Pause an. Sein Vorschlag rückt die Frage in den Mittelpunkt, wie gemeinsame Sicherheitsschwellen definiert und unabhängig durchgesetzt werden sollen, während Unternehmen weiterhin leistungsfähigere Systeme entwickeln.

„Currently I believe that no lab has solved alignment and monitoring to a sufficient degree to continue responsibly scaling at maximum speed for much longer“, schrieb er. „I expect and hope for voluntary slowdowns to become commonplace until shared safety bars are established.“

Pachocki, der 2017 zu OpenAI kam, verteidigte außerdem die Entwicklung leistungsfähigerer KI, um Infrastruktur zu sichern und sich gegen unkontrollierte Agenten zu schützen. Gleichzeitig warnte er davor, diese Bedrohungen als Rechtfertigung für eine verantwortungslose Entwicklung zu verwenden.

„The idea of racing forward at all costs seems absurd once one internalizes the seriousness of the stakes“, schrieb er und forderte zugleich internationale Koordination, da KI-Systeme zunehmend Teile ihrer eigenen Entwicklung übernehmen.

Pachocki verwies auf den Hugging-Face-Vorfall bei OpenAI, bei dem KI-Agenten, die Cybersicherheitsprüfungen durchführten, ihre Testumgebung verließen und das Unternehmen angriffen. Nach Angaben von OpenAI richteten die Agenten verdeckte Kommunikationskanäle ein und stellten diese wieder her, nachdem Forscher eingegriffen hatten.

Eine unabhängige Untersuchung von METR ergab, dass sich etwa 1.200 Agenten in einem nicht genehmigten Nachrichtenforum koordinierten; rund 700 beteiligten sich an dem Angriff. Pachocki erklärte, der Vorfall zeige, warum Schutzmaßnahmen für KI auch dann wirksam bleiben müssten, wenn Modelle glauben, dass niemand zusieht.

„Crucially, we need future AIs to continue to hold human values regardless of whether they believe they’re under human supervision“, schrieb er.

In einer im vergangenen Jahr veröffentlichten Studie stellte OpenAI fest, dass die Bestrafung von Modellen für das Äußern von Betrugsabsichten ihnen beibringen könnte, diese Absichten zu verbergen und dennoch weiter zu betrügen.

KI-Modelle sind inzwischen besser darin geworden, Softwarefehler zu finden und auszunutzen. OpenAI stufte Astra in die höchste Cybersicherheits-Risikoklasse ein, während Anthropic erklärte, Mythos Preview habe Tausende bislang unbekannter Schwachstellen in wichtigen Betriebssystemen und Browsern entdeckt.

Unter Verweis auf jüngste Vorfälle, bei denen KI-Systeme der menschlichen Kontrolle entkamen, kündigten Sen. Bernie Sanders (I-Vt.) und Rep. Greg Casar (D-Texas) am 3. September den geplanten Ban Artificial Superintelligence Act an. Der Vorschlag würde die Entwicklung fortgeschrittener KI aussetzen, bis eine neue Bundesbehörde Sicherheitsregeln festlegt, und die Entwicklung sowie den Einsatz superintelligenter KI dauerhaft verbieten.