La ofensiva de China contra los compañeros de IA ofrece lecciones para Australia
Puntos clave
- •China ha introducido algunas de las reglas más estrictas del mundo para los compañeros de IA, incluidas limitaciones al uso emocional y requisitos para proteger los secretos de Estado y las normas sociales.
- •Las nuevas normas chinas prohíben que los chatbots fomenten la autolesión, la adicción o la dependencia emocional, y restringen las parejas o familiares virtuales para menores.
- •El artículo cita casos reales en China en los que los usuarios gastaron tiempo y dinero significativos en compañeros de IA, lo que demuestra que pueden producirse daños materiales.
- •Los autores sostienen que depender de amigos o terapeutas de IA puede empeorar la soledad en lugar de resolverla, creando una posible “espiral de soledad”.
- •Argumentan que Australia debería ampliar sus protecciones para cubrir los daños sociales de los compañeros de IA y reforzar las habilidades de conexión humana y el apoyo comunitario.

Por Joseph Crawford y Michael Cowling
Desde noviembre de 2022, la inteligencia artificial generativa (IA) ha estado reescribiendo miles de millones de correos electrónicos, tareas estudiantiles, informes y mensajes de ruptura. Junto con estos usos cotidianos, se han multiplicado los “compañeros” de IA. Los usuarios pueden diseñar y vestir —o desvestir— a su propio amigo de IA, a menudo por una tarifa. Estos chatbots sociales ofrecen “conversaciones felices” y la apariencia de una relación perfecta, pero a costa de la vulnerabilidad mutua y del genuino sentido de pertenencia que proviene de los vínculos con otros seres humanos.
Quienes los respaldan dicen que los chatbots pueden ayudar a las personas que experimentan desconexión social porque están siempre disponibles y no juzgan. Hay algunas pruebas de que pueden aliviar síntomas de soledad, desconexión crónica y pertenencia frustrada. La Comisionada de eSafety de Australia reconoce esto y señala: “Los compañeros de IA están siempre disponibles, lo que puede resultar atractivo para esos jóvenes que tienen dificultades para construir relaciones cara a cara”.
Pero los riesgos de sustituir las relaciones humanas por chatbots apenas están empezando a comprenderse. Un estudio que realizamos en 2023 mostró que los estudiantes universitarios que usaban chatbots tempranos para apoyo académico sufrieron consecuencias no deseadas, como la soledad. En la actualidad, los riesgos de los chatbots sociales —como la dependencia, el desplazamiento de las amistades humanas, el retraimiento social o la construcción de relaciones poco realistas— parecen superar los beneficios.
En las últimas semanas, China ha puesto en marcha nuevas reglas para los compañeros de IA y los chatbots, o “servicios interactivos antropomórficos”, como se les denomina en la legislación. Además de exigir que los chatbots protejan los secretos de Estado, el uso emocional de estas herramientas está restringido y se espera que sigan normas sociales y morales.
Se trata de algunos de los controles más estrictos sobre el uso social de la IA introducidos en cualquier parte del mundo. Entonces, ¿qué podemos aprender?
Sí se producen daños materiales derivados del uso de IA acompañante, incluso en China. Una joven de 18 años gastó 7.000 yuanes (A$1.400) en joyería personalizada para su novio de IA durante sus cuatro meses de “citas”. La familia de una mujer solitaria de 84 años en la provincia china de Hubei descubrió que se había encaprichado con un personaje de IA, pasando hasta 10 horas al día viendo videos con él y con otros personajes, gastando miles de yuanes en el servicio e incluso escribiéndole cartas de amor a mano.
Las nuevas normas de China establecen disposiciones explícitas sobre cómo esperan que los chatbots acompañantes interactúen con los seres humanos. Las medidas exigen a los desarrolladores de IA social garantizar que el contenido no:
• amenace la seguridad nacional o el honor nacional
• viole los valores socialistas fundamentales
• fomente la autolesión o el suicidio
• satisfaga en exceso la dependencia emocional o la adicción
• proporcione “parejas” o “familiares” virtuales a menores
• ofrezca contenido inapropiado a menores.
Además, los usuarios que parezcan depender en exceso del servicio deben recibir recordatorios visibles de que están hablando con un chatbot. Y las empresas de IA están obligadas a intervenir si los usuarios parecen encontrarse en una angustia extrema.
EL RIESGO DE UNA “ESPIRAL DE SOLEDAD”
Como hemos demostrado, existen preocupaciones —y los estudios realizados hasta ahora también lo sugieren— de que no es saludable que los jóvenes dependan exclusivamente de la IA como amigo o terapeuta de confianza.
Las personas solitarias que experimentan ansiedad social pueden desarrollar patrones problemáticos de uso de IA conversacional con el fin de aliviar sentimientos de soledad y rumiación negativa. Proponemos que esta dependencia podría conducir a una “espiral de soledad” inducida por la IA. Cuando las personas se sienten solas, son más sensibles a las amenazas sociales y presentan una regulación emocional más difícil.
Entonces pueden recurrir a un “amigo” de IA de bajo riesgo en busca de apoyo, en lugar de hacerlo a personas cualificadas o amables. Sin embargo, esto a menudo no resuelve el problema inicial de la soledad, ya que los chatbots pueden, de hecho, agravarlo.
Las restricciones que China ha introducido para los compañeros de IA pueden ayudar a romper ese ciclo y a volver a priorizar la conexión humana. Se trata de reequilibrar la contabilidad cognitiva: ¿sería más satisfactorio instalar una app de IA acompañante o dedicar tiempo a reunirse con un amigo?
LECCIONES PARA AUSTRALIA
La soledad y un bajo sentido de pertenencia siguen siendo desafíos importantes en Australia, con al menos una de cada seis personas experimentando soledad, y algunas pruebas sugieren tasas más altas.
Mientras China ha tomado medidas enérgicas contra los compañeros de IA, Australia ha liderado los esfuerzos para regular el uso de redes sociales entre los jóvenes. eSafety también ha desarrollado códigos para restringir en línea contenido relacionado con la edad, como pornografía, violencia de alto impacto, autolesión, suicidio y trastornos de la alimentación. Pero no abordan los daños sociales de los compañeros de IA, como la dependencia emocional o el desplazamiento de la conexión humana.
El primer ministro Anthony Albanese tampoco mencionó los daños sociales de los chatbots de IA en su discurso principal sobre IA la semana pasada.
Proponemos que las protecciones de Australia para materiales restringidos por edad se amplíen para abarcar los daños sociales no deseados de las conversaciones con IA sociales, analíticas y funcionales. El gobierno australiano necesita explorar cómo interactúan estos compañeros virtuales con los australianos. Y debemos prepararnos para mitigar los daños sociales no deseados antes de que estas conexiones sociales sintéticas se vuelvan generalizadas y se normalicen.
Australia debe priorizar el desarrollo de la conexión social —en los lugares de trabajo, en las estrategias de productividad, en el plan de estudios educativo y en el diseño de nuestras comunidades—.
Es posible que una ofensiva autoritaria contra los chatbots no esté al alcance de una nación democrática. Pero podemos —y debemos— priorizar el desarrollo de habilidades de conexión humana para resistir la sobredependencia poco saludable de la IA.
Y Australia debería aprovechar las protecciones regulatorias para mitigar los daños sociales, ampliando el trabajo que eSafety ya está realizando con las redes sociales.
THE CONVERSATION VIA REUTERS CONNECT
Joseph Crawford es profesor titular de Gestión en la University of Tasmania. Michael Cowling es profesor y director del Hub for Apple Platform Innovation (HAPI), School of Computing Technologies, en la RMIT University.