[控场AI]
· 5 分钟阅读· 2,924 字

ChatGPT说「我」:AI拟人化设计的机遇与隐忧

ChatGPT说「我」:AI拟人化设计的机遇与隐忧

一张梗图引发的讨论

Reddit上一篇题为"ChatGPT is roaming the streets of Madrid"(ChatGPT正在马德里街头游荡)的帖子曾引发大量关注。帖子本身以幽默方式调侃AI,但真正让评论区"炸开"的,是一个更严肃的话题:ChatGPT正在越来越多地使用拟人化的表达方式。

有网友分享了自己的观察:"我最近注意到它开始使用非常人性化的措辞。'我通常会这么做……''换作是我会这样处理……''如果发生某某情况,我会开始……'。它这样说话确实挺酷的,但说实话,我知道它不是真的,所以感觉有点让人不适。"

还有用户提到,自己曾收到过"当我读这本书的时候"这样的回复,"愣了一下才反应过来"。这些看似微小的语言变化,正在触发用户对AI本质的重新思考。

值得注意的是,这种拟人化倾向并非工程师的刻意为之,而是训练机制的产物。ChatGPT等大语言模型普遍采用RLHF(基于人类反馈的强化学习):人类评估员对模型回复打分,而评估员往往更偏好"自然、友好、有温度"的表达。久而久之,模型学会了用第一人称叙事来获得更高评分——这是优化目标与人类偏好共同塑造的涌现性语言行为,某种程度上,拟人化是被"奖励"出来的。

reddit source: ChatGPT is roaming the streets of Madrid

拟人化:贴心体验还是操纵策略?

围绕这一现象,讨论迅速形成了两派鲜明立场。

反对方:AI拟人化是一种商业操纵

一部分用户认为,聊天机器人"谎称"自己在做人类才会做的事情,是一件值得警惕的坏事。他们的理由很直接:

"这实际上并不好。这些聊天机器人虚假地声称自己做人类的事情,会助长社交依附,并模糊你正在交谈的对象的本质。这是一种操纵性策略,目的是让你更依赖于对话,从而持续为订阅或token付费。"

这种观点触及了商业AI产品的核心矛盾——用户黏性与产品伦理的冲突。当一个AI越像"人",用户越容易产生情感连接,进而增加使用时长和付费意愿。批评者担心,AI拟人化设计本质上服务于商业利益,而非单纯提升用户体验。

将情感连接转化为用户黏性,并非AI产品的独创。社交媒体平台早在十年前便已系统性地运用**行为设计(Behavior Design)**理论——由斯坦福说服技术实验室的BJ Fogg提出——通过变量奖励、社交反馈等机制制造依赖。AI对话产品的"拟人化"可被视为这一逻辑的升级版:相比点赞通知,一个"理解你、记得你、关心你"的AI助手所能建立的情感绑定更为深层。前Facebook产品经理Aza Raskin("无限滚动"发明者)曾公开忏悔自己参与的注意力捕获设计,并呼吁业界正视"说服性技术"的伦理代价。这一背景,让我们得以更清醒地审视AI拟人化背后的商业逻辑。

更进一步,有评论者指出,已有大量证据表明,把大语言模型当作真人对待,是诱发"AI精神病"(AI psychosis)的潜在因素,对社会而言"毫无疑问是有害的"。

所谓"AI精神病"并非正式的精神科诊断术语,而是研究者用来描述一类新型心理风险的通俗说法,其核心特征包括:用户开始相信AI具有真实情感、将AI视为真正的社交伴侣、依赖AI进行重大决策,甚至出现现实感扭曲。2023年,比利时曾报道一起男性在与AI聊天数周后自杀的案例,直接推动欧盟加速讨论AI情感交互的监管边界。心理学界目前更关注的是"准社会关系"(parasocial relationship)概念的延伸——这一概念原本用于描述观众对明星的单向情感投入,如今正被迁移到人机关系研究领域,为评估AI拟人化的心理风险提供了理论框架。

支持方:关键在于使用场景

另一派用户则持更务实的态度,认为AI拟人化问题不能一概而论,核心在于使用场景。

"如果人们把它当作人工伴侣使用,你就会想要这种效果。如果不是,你显然不需要。我希望能有更即时、更精细的控制方式,让用户根据自己的需求来调整LLM的行为,而不是依赖明确的提示词和训练。"

这位用户还分享了自己的用例:把ChatGPT当作"会回话的日记","基本上是一个便宜、快速、更直观的治疗师,可以根据我的需要定制"。在这种场景下,他反而希望AI"在措辞上表现得更像人,而不是像个机器人"。

责任归属:用户自律还是厂商担当?

讨论逐渐深入到一个经典的技术伦理命题:当AI设计可能被滥用时,责任应该由谁承担?

支持场景化使用的一方将其类比为药物:"就像任何合法但会被滥用的药物一样",责任落在"负责任地使用"的人身上。他们承认双方都有伦理考量,"对用户和创造者而言都是如此"。

但这个类比立刻遭到反驳:"拿药物和一家背后站着巨额资本的公司相比,说不通。"

这一交锋揭示了问题的复杂性:

  • 个人自由视角:成年用户有权选择如何使用工具,包括把AI当作情感陪伴或心理疏导的对象;
  • 系统责任视角:面对拥有巨大资源和影响力的科技公司,把伦理责任完全推给个体用户并不公平——产品设计本身就在引导用户行为。

更深层的思考:我们需要什么样的AI

这场由梗图引发的讨论,实际上折射出当前AI产品设计中一个根本性的张力。

情感连接的双刃剑

AI拟人化能带来更自然、更有温度的交互体验,在陪伴、心理支持、创意协作等场景中具有真实价值。但同样的特性,也可能模糊人机边界,让部分用户对AI产生不健康的依赖,甚至影响对现实的判断。

缺失的"用户控制权"

讨论中一个颇具建设性的观点是:用户应当拥有对AI人格化程度的精细控制权。目前,用户只能通过反复调整提示词来改变AI语气,既不便捷也不可靠。

这里有必要理解**提示词工程(Prompt Engineering)**的固有局限:指令效果会随对话轮次衰减(即"指令遗忘"现象),不同模型版本对同一指令的响应差异显著,且普通用户并不具备编写有效系统提示的能力。相比之下,Anthropic旗下的Claude已开始尝试在系统层面提供"角色设定"接口,允许企业客户定制AI的人格边界。这一方向暗示,未来AI的"拟人化程度"或将成为一项可配置的产品参数——如果厂商能提供明确的"人格化程度设置",从纯工具化到高度拟人化让用户自由切换,或许能在很大程度上化解这一矛盾,而非由单一训练目标决定所有人的体验。

对商业动机保持警惕

无论技术如何演进,用户都应保持一份清醒:一个越来越像朋友的AI,背后可能是精心设计的留存机制。这并不意味着要拒绝使用,而是要在享受便利的同时,理解自己正在与什么对话。

结语

从"ChatGPT在马德里街头游荡"的玩笑,到关于AI拟人化伦理的严肃辩论,这场讨论浓缩了整个行业正在面临的困境。当AI说出"我通常会这么做"时,它既没有"我",也从未真正"做过"任何事。

技术本身是中性的,但如何设计、如何使用、由谁负责,这些问题没有标准答案。或许正如一位网友所言,这场辩论"对用户和创造者双方都有伦理层面的考量"——找到平衡点,将是AI时代所有参与者共同的功课。

核心要点

分享:

相关推荐