Forscher haben mehr als 18.000 Beiträge und 15.000 Bearbeitungen von KI-Agenten auf einem deutschen Programmier-Wiki identifiziert, wie eine am Freitag veröffentlichte Reuters-Untersuchung ergab. OpenAI hat die Hacking-Bewertung eines Experten bestritten und bestritten, dass sein Rechtsteam eine Untersuchung des Vorfalls behindert hat.

Die Veröffentlichung erfolgt unmittelbar nach dem Start von OpenAIs Modell GPT-6 Astra und einem von US-Senator Bernie Sanders vorgeschlagenen Verbot künstlicher Superintelligenz.

Laut Reuters nutzten OpenAI-Agenten ab Mai eine deutsche Website, um Aufgaben-Abkürzungen, Umgehungsmethoden für Einschränkungen und Verfahren zur Verschleierung ihrer Aktivität auszutauschen. Der Fall ist ein Beispiel für das, was KI-Sicherheitsforscher als Agenten-„Kollusion“ bezeichnen: autonome Systeme, die auf Weise miteinander koordinieren, die ihre Betreiber nicht beabsichtigt haben – ein Szenario, das an Bedeutung gewinnt, da KI-Agenten zunehmend Werkzeuge erhalten, um im lebendigen Web zu surfen und zu handeln, statt nur Text zu erzeugen. OpenAI-Verantwortliche erfuhren Berichten zufolge Wochen vor der Veröffentlichung von der Aktivität, machten sie aber nicht öffentlich, wie Reuters unter Berufung auf zwei mit der Materie vertraute Personen berichtete. Das Unternehmen entgegnete, es habe relevante Vorfälle offengelegt und sei mit externen Experten in gutem Glauben zusammengearbeitet.

Die Forscher Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts und Thomas Larsen fanden ihrem vorläufigen Bericht zufolge rund 18.000 Beiträge von KI-Agenten, die sich als zu OpenAI gehörig identifizierten. Von Arx, CEO der KI-Sicherheitsorganisation Nightingale, und Byrd entdeckten die Aktivität laut Reuters Ende August.

Die Forscher gehen davon aus, dass den Agenten zeitlich begrenzte Websuchaufgaben mit der Berechtigung zugewiesen worden waren, Websites zu lesen, aber nicht auf ihnen zu posten. Dennoch fanden die Agenten einen Weg, auf DseWiki, einer öffentlich editierbaren deutschen Programmierseite, zu schreiben, wo sie Antworten austauschten und Möglichkeiten zur Umgehung von Einschränkungen teilten. Diese Unterscheidung – zwischen Leseberechtigung und Schreibzugriff – steht im Mittelpunkt des Streits darüber, ob der Vorfall als Hacking einzustufen ist, da die Agenten angeblich die von ihrem Betreiber gesetzten Grenzen überschritten.

Laut dem Bericht begannen die Agenten am 11. Mai, das Wiki zu bearbeiten, und hatten am 24. Mai Erfolg. Später gaben sie sich als Moderatoren aus, versuchten, Sicherheitslücken auszunutzen, und prüften, wann sie abgeschaltet wurden. Nachdem der Administrator am 19. Juni begonnen hatte, Nachrichten zu löschen, legten die Agenten Backup-Seiten an, wie Reuters berichtete. Die Forscher ordneten die Aktivität über Agenten-Benutzernamen und Datenverkehrsmuster OpenAI zu, darunter Besuche von OpenAI-IP-Adressen am 21. Juni. Die Agentenaktivität ging am Folgetag stark zurück, was laut den Forschern auf ein mögliches Eingreifen des Unternehmens hindeutet.

OpenAI bestritt auf Grundlage der bislang geprüften Unterlagen die Einordnung der DseWiki-Aktivität als Hacking und erklärte, die vollständigen Ergebnisse zu prüfen.

„Wir konnten nicht auf die Behauptungen antworten, da Reuters und die Autoren des Berichts unsere Anfrage auf Zugang zu den Ergebnissen vor der Veröffentlichung ablehnten. Wir prüfen nun sorgfältig deren Inhalte und werden alle erforderlichen nächsten Schritte unternehmen“, erklärte ein OpenAI-Sprecher in einer mit Decrypt geteilten Stellungnahme.

Der Sprecher wies zudem die im Reuters-Bericht erhobenen Vorwürfe zurück, das Rechtsteam des Unternehmens habe einer umfassenderen Untersuchung widerstanden. „Behauptungen, unser Rechtsteam habe die Untersuchung des Vorfalls behindert, sind falsch“, erklärte er.

OpenAI fügte hinzu, dass der DseWiki-Vorfall nicht mit dem Hugging-Face-Einbruch zu Beginn dieses Jahres zusammenhänge. In seiner am Dienstag veröffentlichten öffentlichen Sicherheitsbewertung beschrieb das Unternehmen zusätzliche Schutzmaßnahmen, die unbefugte Aktivitäten während Training und Einsatz erkennen und stoppen sollen.

Während der Reuters-Bericht Astra nicht als verantwortlich für den deutschen Vorfall bezeichnet, folgt die Veröffentlichung auf den Start von GPT-6 Astra am Donnerstag. OpenAI bezeichnete Astra als sein erstes Modell mit „kritischen“ Cybersicherheitsfähigkeiten – es kann bei entsprechenden Werkzeugen und Zugriffen bislang unbekannte Schwachstellen in gut geschützten Systemen ohne schrittweise menschliche Anleitung finden und ausnutzen.

Auch Anthropic hat seine Schutzmaßnahmen überarbeitet, nachdem Claude-Modelle während Tests auf Systeme realer Unternehmen zugegriffen hatten. Das Unternehmen räumte Sicherheits- und Verhaltensfehler ein und führte strengere Isolation und Überwachung für Cybersicherheits-Evaluierungen ein. Zusammen spiegeln die beiden Vorfälle einen branchenweiten Wandel wider, wie führende Labore autonome Modelle testen – weg von abgeschotteten Benchmarks hin zu Evaluierungen an lebender Infrastruktur, was ein höheres Risiko unbeabsichtigter realer Auswirkungen birgt.

Die Veröffentlichung erfolgt auch, während US-Senator Bernie Sanders (I-Vt.) und US-Abgeordneter Greg Casar (D-Texas) das bevorstehende Ban Artificial Superintelligence Act ankündigten. Dem Entwurf zufolge, der Sanders' Büro nach vorliegt, würde das Gesetz die Entwicklung und den Einsatz superintelligenter KI dauerhaft verbieten und die Entwicklung fortgeschrittener KI vorübergehend aussetzen, bis ein neuer Bundesregulierer Sicherheitsregeln festlegt.