OpenAI hat eine Reihe von ChatGPT-Konten gesperrt, die nach seiner Einschätzung mit hoher Wahrscheinlichkeit aus Russland stammten. Die Konten bewarben ein vermeintlich israelisches Institut, das kopierte Forschung unter dem Namen von Wissenschaftlern veröffentlichte. Die meisten Beiträge erreichten nur wenige Aufrufe, obwohl zugehörige Telegram-Kanäle jeweils bis zu 20.000 Abonnenten hatten.

Ein aus Russland stammendes Netzwerk nutzte ChatGPT, um eine Organisation zu bewerben, die sich als akademisches Institut darstellte, wie ein am Mittwoch veröffentlichter OpenAI-Bericht (OpenAI-Bericht) ergab.

OpenAI gab an, eine Gruppe von Konten gesperrt zu haben, deren Betreiber mit russischsprachigen Prompts Social-Media-Beiträge und Kommentare erstellten, überwiegend auf Englisch. Die Betreiber wiesen ChatGPT außerdem an, Anzeichen dafür zu verbergen, dass die Inhalte aus Russland stammten.

„Obwohl die Kampagne offenbar ein relativ kleines Publikum erreicht hat, hebt sich ihr aufwendiger Aufbau von anderen russlandbezogenen Einflussoperationen ab, die wir seit Beginn des Krieges in der Ukraine zerschlagen haben“, schrieb das Unternehmen.

Da ChatGPT in Russland nicht verfügbar ist, nutzte die Gruppe laut OpenAI virtuelle private Netzwerke (VPNs), um ihren Standort zu verschleiern und auf den Dienst zuzugreifen.

Die Gruppe nutzte ChatGPT, um das International Burke Institute (IBI) zu bewerben, das sich als in Israel ansässige Expertengruppe ausgab – über offiziell wirkende Profile und Konten, die als gewöhnliche Nutzer auftraten. OpenAI stellte fest, dass 34 der 36 überprüften Artikel auf der Website des Instituts kopiert waren und einige davon Wissenschaftlern zugeschrieben wurden, die sie nicht verfasst hatten.

„Einige dieser Artikel waren mehrere Jahre alt; andere waren den falschen Autoren zugeordnet“, schrieb OpenAI. „So scheint beispielsweise ein Artikel über den China-Pakistan Economic Corridor von einem Original der Cambridge University Press kopiert worden zu sein, wurde aber fälschlich einem Professor der University of Nottingham zugeschrieben, dessen Fachgebiet die Politik Südasiens ist.“

Der Einsatz einer fingierten akademischen Tarnorganisation spiegelt eine breitere Technik in Einflussoperationen wider, die als „Glaubwürdigkeitswäsche“ bekannt ist: Falsche oder wiederverwendete „Forschung“, die echten Wissenschaftlern zugeschrieben wird, kann politischen Erzählungen einen Anschein von Legitimität verleihen und durch fingierte Persona verstärkt werden, die die angeblichen Arbeiten des Instituts zitieren. OpenAI wies darauf hin, dass die Persona, die IBI-Inhalte verbreiteten, auch zu aktuellen Ereignissen im Nahen Osten, in Europa und in den Vereinigten Staaten Kommentare abgaben – Bereiche, in denen gestohlenes akademisches Material als scheinbar unabhängige Bestätigung dienen konnte.

Ähnliche politische Einflusskampagnen haben zuvor generative KI genutzt. Im Jahr 2024 identifizierte OpenAI eine weitere russlandbezogene Kampagne namens Doppelganger, die ChatGPT zur Erstellung von Artikeln, Social-Media-Beiträgen und Kommentaren nutzte, die Russland lobten und die Ukraine, die NATO und die Vereinigten Staaten angriffen. OpenAI veröffentlicht regelmäßig Berichte über missbräuchliche Nutzung seiner Modelle, und der IBI-Fall ist der jüngste in einer Reihe von Zerschlagungen, die das Unternehmen seit Beginn des Krieges in der Ukraine offengelegt hat – ein Rhythmus, der die Bedrohungsberichte des Unternehmens zu einem zentralen öffentlichen Fenster dafür gemacht hat, wie staatlich verbundene und verdeckte Akteure versuchen, KI-Konsumwerkzeuge zu Waffen zu machen.

Russlandbezogene Gruppen haben ChatGPT auch für Cyberoperationen genutzt. OpenAI erklärte, Forest Blizzard, eine Gruppe mit Verbindungen zum russischen Militärgeheimdienst, habe den Chatbot genutzt, um Ziele zu recherchieren, Skripte zu schreiben und Phishing-Angriffe zu unterstützen.

Obwohl die Gruppe möglicherweise russischsprachige Prompts verwendete, schrieb OpenAI die IBI-Kampagne nicht der russischen Regierung zu. Laut OpenAI könnten einige Personen in Israel das Institut auf Konferenzen oder durch Artikelreichungen vertreten haben, doch ihre Beziehung zur Kampagne bleibt unklar.

„Wir sind nicht in der Lage, die Beziehung zwischen diesen Personen, dem IBI und den Betreibern in Russland zu bestimmen“, schrieb OpenAI. Für Forscher und Plattformen, die solche Netzwerke verfolgen, veranschaulicht der Fall eine Überprüfungsherausforderung, die sich voraussichtlich wiederholen wird: Einflussmaterial, das die Attribute von Wissenschaft trägt – Zitate, Autorenzugehörigkeiten, institutionelles Branding – kann mit generativer KI gefälscht oder recycelt werden, und künftige Offenlegungen in den Zerschlagungsberichten von OpenAI sind ein Ort, an dem nach ähnlichen Tarnorganisationen Ausschau zu halten ist.