OpenAI a banni un ensemble de comptes ChatGPT qu'elle a évalués comme très probablement originaires de Russie. Ces comptes promouvaient un prétendu institut israélien qui publiait des recherches plagiées sous les noms d'universitaires. La plupart des publications ont reçu peu de vues, bien que les chaînes Telegram associées comptaient jusqu'à 20 000 abonnés chacune.

Un réseau d'origine russe a utilisé ChatGPT pour promouvoir une organisation se présentant comme un institut académique, selon un rapport d'OpenAI publié mercredi (rapport d'OpenAI).

OpenAI a indiqué avoir banni un groupe de comptes dont les opérateurs utilisaient des prompts en langue russe pour générer des publications et des commentaires sur les réseaux sociaux, principalement rédigés en anglais. Les opérateurs ont également demandé à ChatGPT de dissimuler les signes que le contenu provenait de Russie.

« Bien que la campagne semble avoir atteint des audiences relativement restreintes, sa construction élaborée la distingue des autres opérations d'influence liées à la Russie que nous avons démantelées depuis le début de la guerre en Ukraine », a écrit l'entreprise.

ChatGPT n'étant pas disponible en Russie, OpenAI a précisé que le groupe utilisait des réseaux privés virtuels (VPN) pour masquer sa localisation et accéder au service.

Le groupe s'est servi de ChatGPT pour promouvoir l'International Burke Institute (IBI), qui se présentait comme un groupe d'experts basé en Israël, via des profifs à l'aspect officiel et des comptes se faisant passer pour des utilisateurs ordinaires. OpenAI a constaté que 34 des 36 articles examinés sur le site de l'institut étaient plagiés, et certains étaient attribués à des universitaires qui ne les avaient pas écrits.

« Certains de ces articles dataient de plusieurs années ; d'autres étaient attribués aux mauvais auteurs », a écrit OpenAI. « Par exemple, un article sur le corridor économique Chine-Pakistan semble avoir été copié d'un original de Cambridge University Press, mais incorrectement attribué à un professeur de l'Université de Nottingham spécialisé en politique sud-asiatique. »

L'utilisation d'une façade académique fabriquée illustre une technique plus large des opérations d'influence connue sous le nom de blanchiment de crédibilité : des « recherches » fausses ou recyclées attribuées à de vrais chercheurs peuvent donner une apparence de légitimité à des récits politiques, et être amplifiées par de faux personas citant les travaux du prétendu institut. OpenAI a noté que les personas diffusant le contenu de l'IBI commentaient également l'actualité au Moyen-Orient, en Europe et aux États-Unis, où le matériel académique dérobé pouvait servir de corroboration indépendante apparente.

Des campagnes d'influence politique similaires ont déjà eu recours à l'IA générative. En 2024, OpenAI avait identifié une autre campagne liée à la Russie, connue sous le nom de Doppelganger, qui utilisait ChatGPT pour créer des articles, des publications et des commentaires sur les réseaux sociaux louant la Russie et attaquant l'Ukraine, l'OTAN et les États-Unis. OpenAI publie régulièrement des rapports sur les usages malveillants de ses modèles, et le cas de l'IBI s'inscrit dans une série de démantèlements divulgués depuis le début de la guerre en Ukraine — une cadence qui a fait des rapports de menace de l'entreprise une fenêtre publique majeure sur la manière dont des acteurs étatiques et clandestins tentent de détourner les outils d'IA grand public.

Des groupes liés à la Russie ont également utilisé ChatGPT pour des opérations cyber. OpenAI a indiqué que Forest Blizzard, un groupe lié aux renseignements militaires russes, utilisait le chatbot pour rechercher des cibles, écrire des scripts et appuyer des attaques par hameçonnage.

Bien que le groupe ait pu utiliser des prompts en langue russe, OpenAI n'a pas attribué la campagne de l'IBI au gouvernement russe. Selon OpenAI, certaines personnes en Israël ont pu représenter l'institut lors de conférences ou par des soumissions d'articles, mais leur relation avec la campagne demeure incertaine.

« Nous ne sommes pas en mesure de déterminer la relation entre ces individus, l'IBI et les opérateurs en Russie », a écrit OpenAI. Pour les chercheurs et les plateformes qui surveillent ces réseaux, l'affaire illustre un défi de vérification susceptible de se reproduire : du matériel d'influence arborant les attributs du monde universitaire — citations, affiliations d'auteurs, branding institutionnel — peut être fabriqué ou recyclé grâce à l'IA générative, et les futures révélations des rapports de perturbation d'OpenAI sont un endroit à surveiller pour des façades similaires.