By Joseph Crawford and Michael Cowling

自 2022 年 11 月以来，生成式人工智能（AI）一直在改写数十亿封电子邮件、学生作业、报告和分手短信。除了这些日常用途之外，AI “companions” 也迅速增多。用户可以设计并为自己的 AI 朋友穿上衣服——或者脱掉衣服——通常还需要付费。这些社交聊天机器人提供“happy conversations”和看似完美的关系，但代价是我们从与他人建立联系中获得的相互脆弱性和真正的归属感。

支持者认为，对于那些感到社会联结缺失的人来说，聊天机器人始终可用、具有支持性，而且不会评判人。也有一些证据表明，聊天机器人可以缓解孤独、长期疏离和归属受挫的症状。澳大利亚 eSafety Commissioner 也承认这一点，他表示：“AI companions are always available — which can be appealing for those young people who struggle to build face-to-face relationships.”

但用聊天机器人取代人际关系的风险，才刚刚开始被理解。我们在 2023 年开展的一项研究显示，大学生将早期聊天机器人用于学术支持时，出现了包括孤独感在内的意外后果。目前看来，社交聊天机器人的风险——包括依赖、取代人类友谊、社交退缩以及建立不切实际的关系——似乎超过了收益。

最近几周，中国针对 AI companions 和聊天机器人，也就是法律中所称的“anthropomorphic interactive services”，出台了新规。除要求聊天机器人必须保护国家秘密外，这些工具的情感使用也受到限制，并被要求遵守社会和道德标准。

这些是全球范围内针对社交 AI 使用所引入的一些最严格控制。那么，我们能学到什么？

伴侣型 AI 的使用确实会造成实际伤害，这在中国也不例外。一个 18 岁女孩在与她的 AI boyfriend “dating” 的四个月里，花了 7,000 yuan (A$1,400) 为他定制首饰。

中国湖北省一名孤独的 84 岁老人的家人发现，她对一个 AI character 产生了迷恋：她每天最多花 10 个小时与他和其他角色一起看视频，在该服务上花费了数千元人民币，甚至还亲手给他写情书。

中国的新规明确规定了陪伴型聊天机器人与人类互动时应遵循的要求。

这些措施要求社交 AI bot 开发者确保内容不得：

• threaten national security or national honor

• violate core socialist values

• encourage self-harm or suicide

• excessively cater to emotional dependence or addiction

• provide virtual “partners” or “relatives” to minors

• serve unsuitable content to minors.

此外，如果用户看起来对服务过度依赖，必须收到醒目的提醒，告知他们正在与聊天机器人对话。如果用户显得处于极度痛苦之中，AI companies 也必须介入。

THE RISK OF A ‘LONELINESS SPIRAL’ 正如我们所展示的，人们担心——而现有研究也提示这一点——年轻人将 AI 作为值得信赖的朋友或治疗师完全依赖，并不健康。

感到孤独、并经历社交焦虑的人，可能会通过问题性地使用对话式 AI 来缓解孤独感和消极反刍。我们提出，这种依赖可能导致一种由 AI 引发的“loneliness spiral”。当个体感到孤独时，他们会对社会威胁更加敏感，并且情绪调节也会更困难。

因此，他们可能转而向一个低风险的 AI “friend” 寻求支持，而不是向合格的人或友善的人寻求帮助。但这往往并不能解决孤独这一根本问题，因为聊天机器人实际上可能让问题恶化。

中国为 AI companions 设立的限制，可能有助于打破这一循环，并重新优先考虑人际连接。问题变成了一种认知取舍：安装一个 companion AI app 更令人满足，还是抽出时间去见一位朋友？

LESSONS FOR AUSTRALIA 孤独感和较低的归属感仍然是澳大利亚面临的重大挑战，至少每六人中就有一人经历孤独感，而且一些证据表明实际比例可能更高。

在中国对 AI companions 展开整治的同时，澳大利亚一直走在规范年轻人使用社交媒体的前列。eSafety 还制定了限制线上年龄相关内容的准则，例如 pornography、high-impact violence、self-harm、suicide 和 disordered eating。但这些规定并未涉及 AI companions 的社会伤害，例如情感依赖或取代人际连接。

澳大利亚总理 Anthony Albanese 在上周关于 AI 的重要讲话中，也没有提及 AI 聊天机器人带来的社会伤害。

我们建议，澳大利亚的年龄限制内容保护应扩展到与 social、analytical 和 functional AIs 对话所带来的意外社会伤害。澳大利亚政府需要研究这些虚拟伴侣如何与澳大利亚人互动。并且，我们必须在这些合成的社交连接变得普遍并被正常化之前，准备好减轻其意外社会伤害。

澳大利亚必须优先发展社会联结——在工作场所、生产力策略、教育课程以及社区设计中都应如此。

对于一个民主国家来说，以威权方式打击聊天机器人或许并不可行。但我们可以——也应该——优先培养人际连接能力，以抵抗对 AI 的不健康过度依赖。

澳大利亚还应利用监管保护来减轻社会伤害，并在 eSafety 已经针对社交媒体开展的工作基础上继续推进。

THE CONVERSATION VIA REUTERS CONNECT

Joseph Crawford 是塔斯马尼亚大学管理学高级讲师。Michael Cowling 是 RMIT University School of Computing Technologies 的 Hub for Apple Platform Innovation (HAPI) 教授兼主任。