ActualitésMacroLa répression des compagnons IA en Chine offre des enseignements pour l’Australie

La répression des compagnons IA en Chine offre des enseignements pour l’Australie

Auteur: Bworldonline·

Points clés

  • La Chine a instauré certaines des règles les plus strictes au monde pour les compagnons IA, notamment des limites à l’usage émotionnel et des exigences de protection des secrets d’État et des normes sociales.
  • Les nouvelles règles chinoises interdisent aux chatbots d’encourager l’automutilation, l’addiction ou la dépendance émotionnelle, et elles restreignent les partenaires ou proches virtuels pour les mineurs.
  • L’article cite des cas réels en Chine où des utilisateurs ont consacré beaucoup de temps et d’argent à des compagnons IA, montrant que des préjudices matériels peuvent se produire.
  • Les auteurs estiment que le recours à des amis ou thérapeutes IA peut aggraver la solitude au lieu de la résoudre, créant une possible « spirale de solitude ».
  • Ils soutiennent que l’Australie devrait étendre ses protections aux préjudices sociaux liés aux compagnons IA et renforcer les compétences de lien humain ainsi que le soutien communautaire.
La répression des compagnons IA en Chine offre des enseignements pour l’Australie

Par Joseph Crawford et Michael Cowling

Depuis novembre 2022, l’intelligence artificielle générative (IA) réécrit des milliards d’e-mails, de devoirs d’étudiants, de rapports et de messages de rupture. En parallèle de ces usages ordinaires, les « compagnons » IA se sont multipliés. Les utilisateurs peuvent concevoir et habiller — ou déshabiller — leur propre ami IA, souvent moyennant des frais. Ces chatbots sociaux offrent des « conversations heureuses » et l’apparence d’une relation parfaite, mais au prix de la vulnérabilité mutuelle et du véritable sentiment d’appartenance que nous tirons des liens avec d’autres êtres humains.

Les partisans de ces outils soutiennent que les chatbots peuvent aider les personnes en situation de déconnexion sociale, car ils sont toujours disponibles et non jugeants. Certaines données indiquent qu’ils peuvent atténuer les symptômes de la solitude, de la déconnexion chronique et d’un sentiment d’appartenance frustré. La commissaire australienne à la eSafety le reconnaît : « Les compagnons IA sont toujours disponibles — ce qui peut être attrayant pour les jeunes qui peinent à nouer des relations en face à face. »

Mais les risques liés au remplacement des relations humaines par des chatbots ne font que commencer à être compris. Une étude que nous avons menée en 2023 a montré que des étudiants universitaires utilisant des chatbots précoces pour un soutien académique ont subi des conséquences inattendues, notamment la solitude. À l’heure actuelle, les risques des chatbots sociaux — comme la dépendance, le remplacement des amitiés humaines, le retrait social ou la construction de relations irréalistes — semblent l’emporter sur leurs bénéfices.

Au cours des dernières semaines, la Chine a mis en place de nouvelles règles pour les compagnons IA et les chatbots, ou « services interactifs anthropomorphiques » comme ils sont appelés dans la législation. En plus d’exiger que les chatbots protègent les secrets d’État, l’usage émotionnel de ces outils est restreint et ils doivent respecter des normes sociales et morales.

Ce sont là certains des contrôles les plus stricts au monde sur l’usage social de l’IA. Alors, que peut-on en apprendre ?

Des préjudices matériels liés à l’usage des compagnons IA se produisent bel et bien, y compris en Chine. Une jeune femme de 18 ans a dépensé 7.000 yuan (A$1,400) en bijoux personnalisés pour son petit ami IA au cours de leurs quatre mois de « relation ». La famille d’une femme solitaire de 84 ans, dans la province chinoise du Hubei, a découvert qu’elle s’était éprise d’un personnage IA, passant jusqu’à 10 heures par jour à regarder des vidéos avec lui et d’autres personnages, dépensant des milliers de yuan pour le service et lui écrivant même des lettres d’amour à la main.

Les nouvelles règles chinoises définissent explicitement la manière dont les chatbots compagnons doivent interagir avec les humains. Les mesures exigent des développeurs de bots sociaux à base d’IA qu’ils s’assurent que le contenu ne :

  • menace la sécurité nationale ou l’honneur national
  • viole les valeurs socialistes fondamentales
  • encourage l’automutilation ou le suicide
  • favorise excessivement la dépendance émotionnelle ou l’addiction
  • fournisse des « partenaires » ou des « proches » virtuels aux mineurs
  • diffuse du contenu inadapté aux mineurs.

De plus, les utilisateurs qui semblent trop dépendants du service doivent recevoir des rappels visibles qu’ils parlent à un chatbot. Les entreprises d’IA sont également tenues d’intervenir si les utilisateurs semblent être en détresse extrême.

Le risque d’une « spirale de solitude »

Comme nous l’avons montré, des inquiétudes existent — et les études disponibles le suggèrent également — : il n’est pas sain pour les jeunes de dépendre exclusivement de l’IA comme d’un ami de confiance ou d’un thérapeute.

Les personnes seules qui souffrent d’anxiété sociale peuvent adopter un usage problématique de l’IA conversationnelle pour atténuer les sentiments de solitude et la rumination négative. Nous proposons que cette dépendance puisse conduire à une « spirale de solitude » induite par l’IA. Lorsque les individus se sentent seuls, ils deviennent plus sensibles aux menaces sociales et connaissent une régulation émotionnelle plus difficile.

Ils se tournent alors vers un « ami » IA à faible risque pour obtenir du soutien, au lieu de personnes qualifiées ou simplement bienveillantes. Cependant, cela ne résout souvent pas le problème initial de la solitude, car les chatbots peuvent en réalité l’aggraver.

Les restrictions imposées par la Chine aux compagnons IA peuvent aider à briser ce cycle et à redonner la priorité au lien humain. La question devient alors un arbitrage cognitif : serait-il plus satisfaisant d’installer une application de compagnon IA, ou de prendre le temps de rencontrer un ami ?

Enseignements pour l’Australie

La solitude et un faible sentiment d’appartenance restent des défis majeurs en Australie, avec au moins une personne sur six concernée, certaines données suggérant des taux plus élevés.

Alors que la Chine a durci sa position à l’égard des compagnons IA, l’Australie a été à l’avant-garde de la régulation de l’usage des réseaux sociaux par les jeunes. eSafety a également élaboré des codes limitant en ligne les contenus liés à l’âge, tels que la pornographie, la violence à fort impact, l’automutilation, le suicide et les troubles alimentaires. Mais ces dispositifs ne traitent pas les préjudices sociaux liés aux compagnons IA, comme la dépendance émotionnelle ou le remplacement du lien humain.

Le Premier ministre Anthony Albanese n’a pas non plus mentionné les préjudices sociaux causés par les chatbots IA dans son grand discours sur l’IA la semaine dernière.

Nous proposons que les protections australiennes relatives aux contenus soumis à restriction d’âge s’étendent aux préjudices sociaux involontaires issus des conversations avec des IA sociales, analytiques et fonctionnelles. Le gouvernement australien doit étudier la manière dont ces compagnons virtuels interagissent avec les Australiens. Et nous devons nous préparer à atténuer les préjudices sociaux involontaires avant que ces liens sociaux synthétiques ne se généralisent et ne deviennent la norme.

L’Australie doit donner la priorité au développement de la connexion sociale — dans les lieux de travail, les stratégies de productivité, les programmes éducatifs et la conception de nos communautés.

Une répression autoritaire des chatbots n’est peut-être pas à la portée d’une nation démocratique. Mais nous pouvons — et devons — donner la priorité au développement des compétences de lien humain pour résister à une surdépendance malsaine à l’IA.

L’Australie devrait également s’appuyer sur des protections réglementaires pour atténuer les préjudices sociaux, en prolongeant le travail déjà mené par eSafety sur les réseaux sociaux.

THE CONVERSATION VIA REUTERS CONNECT

Joseph Crawford est maître de conférences principal en management à l’Université de Tasmanie. Michael Cowling est professeur et directeur du Hub for Apple Platform Innovation (HAPI), School of Computing Technologies, à RMIT University.