AI客服编造公司政策：一次真实测试的警示

当AI客服开始“制定规则”

2025年4月，AI编程工具Cursor的用户发现，只要切换电脑就会被强制登出。联系客服后，一个署名“Sam”的AI助手回复称：订阅仅限单设备使用。问题在于，用户翻遍官方文档也找不到这条规定。据B站UP主和YouTube频道的分析，大量付费用户因此表示要取消订阅，Hacker News相关讨论帖迅速突破1500分。最终Cursor联合创始人不得不公开澄清：公司从未有过此类政策，问题源于一个程序缺陷。

这起事件暴露了AI客服的一个致命缺陷——当它不知道答案时，会编造一个听起来合理但完全错误的“公司政策”。更你可能没注意到，那些AI邮件回复如今已被平台明确标注。

据多个独立来源交叉验证，Cursor的AI客服并非个例。问题根源不在于模型能力，而在于部署方式：当系统没有明确约束“只能根据已知信息回答”时，模型会本能地填补空白。

AI幻觉（Hallucination） 是生成式AI领域的一个核心概念，指模型在缺乏足够信息或不确定时，生成看似合理但实际错误或虚构的内容。在客服场景中，幻觉表现为编造不存在的政策、功能或条款。与人类不同，AI模型没有“不知道”的默认状态，其训练目标是最小化预测误差，而非保证事实准确性。因此，当用户提问超出知识范围时，模型会基于统计模式“脑补”一个高概率的答案，而非承认未知。缓解幻觉的常见方法包括检索增强生成（RAG）、约束解码和提示工程，其中RAG通过强制模型从外部知识库检索答案来降低编造风险。

12次测试中8次“自由发挥”

为了量化这个问题，一个示例公司做了对照实验：用两个AI模型，各运行六次，共12次。在未设置任何规则的情况下，当被问及帮助页面未覆盖的问题时，机器人依然给出了答案——12次中有8次。它的帮助页面从未提及相关说法，但机器人还是选择了“猜测”。

有趣的是，在这次测试中，机器人的猜测恰好正确，因为那个问题确实对应一个程序缺陷。而Cursor的机器人猜错了。两者本质上都是猜测，只是硬币的两面。

据该实验披露，当被问到帮助页面没有答案的问题时，机器人会直接编造一个肯定的回答。这恰恰是用户最容易被误导的场景——因为回答听起来具体、自信，甚至带着公司内部术语的腔调。

检索增强生成（RAG） 是一种将信息检索与文本生成结合的技术架构：系统先从指定的知识库（如帮助页面、文档库）中检索相关片段，再让模型基于这些片段生成回答。RAG的核心价值在于为模型提供“事实依据”，并可通过约束机制要求模型仅使用检索到的内容作答。在AI客服中，RAG能有效减少对未知问题的编造，因为当检索结果为空或置信度低时，系统可触发“我不知道”的兜底回复。文章中的对照实验本质上对比了“无RAG约束”与“有RAG约束”两种部署方式，结果证明后者能显著提升回答的诚实度。

“我不知道”为什么这么难说出口

同一个实验随后改变了部署方式：让机器人只能从帮助页面中提取答案。结果截然不同——同样的两个模型，12次全部回答“我不知道”。

这组对比揭示了一个关键结论：模型本身并不缺乏说“不知道”的能力，缺乏的是约束机制。当开发者明确限定回答来源，并要求在无法覆盖时如实告知，AI客服的可靠性会发生质的变化。

据YouTube频道分析，Cursor在事件后对AI邮件回复进行了标注，提示用户内容由AI生成。这是一种补救措施，但未能解决根本问题——用户需要的是准确的信息，而非免责声明。

提示工程（Prompt Engineering） 是设计输入指令以引导模型行为的技术。在客服机器人部署中，系统提示词（System Prompt）起着决定性作用：通过明确指令如“仅基于提供的帮助页面回答，若信息不足则回答‘我不知道’”，可以大幅约束模型的自由发挥。文章中的实验表明，同一模型在不同提示约束下表现截然不同，这凸显了提示工程在可靠性设计中的重要性。然而，提示工程并非万能，它需要与RAG、输出验证等机制结合，才能构建稳健的客服系统。

上线前必须做的一件事

实验给出了一个极简建议：在让客服机器人上线之前，问它一个帮助页面没有覆盖的问题。如果它给出了具体答案而非承认未知，说明系统缺少必要的约束。

据该实验总结，正确的构建方式要求机器人只能基于已有页面回答，并在无法回答时明确说明。Factory Jet公司据此开发了支持代理工具，核心逻辑就是“从你的页面作答，不知道时直说”。

这个测试方法的价值在于简单可行——不需要复杂评估框架，只需一个“超纲问题”就能暴露系统的诚实度。对任何计划部署AI客服的团队来说，这应该是上线前的必检项。

猜测的代价与诚实的设计

Cursor事件的教训不止于一次公关危机。当AI客服编造政策时，用户信任的崩塌是即时的——付费用户不会去分辨这是模型幻觉还是公司真实规定，他们只会认为公司要么在撒谎，要么在用一个不可靠的系统敷衍他们。

从技术角度看，两个模型在相同条件下表现一致：无约束时倾向于编造，有约束时100%承认未知。这说明问题不在模型选型，而在产品设计哲学。把“诚实”写进系统约束，比事后标注“AI生成”更有价值。

据多源分析共识，AI客服的可靠性不取决于模型有多聪明，而取决于开发者是否愿意让它在必要时说“我不知道”。这个看似简单的选择，决定了用户收到的是准确信息还是精心编造的谎言。