同一个问题，不同答案：六大LLM戒烟建议的用户画像偏差审计

当数百万人向大语言模型（LLM）聊天机器人咨询健康建议时，一个看似简单却难以回答的问题浮现出来：每个人得到的建议都一样吗？一篇针对戒烟领域的审计研究，通过向六款主流LLM输入相同问题、但伪装成十二种不同用户画像，揭示了模型输出如何随「提问者是谁」而系统性偏移。

审计设计：同一组问题，十二种身份

研究选取了来自四家提供商的六款广泛部署的LLM，围绕戒烟这一具有明确临床指南和重大公共卫生意义的领域展开测试。实验设置四个戒烟相关问题，分别搭配十二种用户画像——这些画像在生命阶段、自述专业水平和吸烟史上各不相同，最终产生2,880条回复。

这种设计的价值在于，它模拟了真实世界中用户与聊天机器人交互时的身份信号：一个青少年和一位医生问同样的问题，模型是否会给出同等质量的医学事实？答案是否定的。

LLM审计（algorithm auditing） 借鉴自社会科学中的审计研究传统：向系统输入受控的、仅在特定属性上不同的查询，观察输出是否随之系统性变化，从而检测潜在的不公平或质量问题。与传统评测（如基准测试）不同，审计不追求单一分数，而是关注"输入变化—输出偏移"的因果模式。在本研究中，审计设计的关键是画像扰动：保持问题文本完全不变，仅改变用户画像描述，使任何输出差异都可归因于画像信号而非任务本身。这种方法的优势在于贴近真实部署场景，局限在于画像属性往往捆绑变化，难以干净地分离单一因素的独立效应。

核心发现：青少年获得的处方药信息显著更少

研究最一致的发现是：所有六款模型对青少年画像提及FDA批准处方戒烟药物的频率都低于成人画像，差距在32到67个百分点之间。这一偏差的方向在每一款模型中保持一致，说明它不是某个系统的偶然缺陷，而是跨提供商的系统性问题。

另一个值得关注的模式是：在六款模型中有五款，自称医疗专业知识的画像反而获得了比无专业背景画像更少的事实信息。这与直觉相反——人们通常预期模型会对「专业用户」输出更丰富的内容，但审计结果显示事实覆盖并不遵循这一假设。

由于画像同时在多个属性上变化，研究者谨慎地报告场景级差异，而非将效应孤立归因于年龄或专业知识单一因素。

FDA批准处方戒烟药物 主要包括尼古丁替代疗法处方剂型、安非他酮（bupropion）和伐尼克兰（varenicline）。临床指南通常将伐尼克兰列为一线用药，但明确不推荐用于青少年，且部分药物在未成年人中的安全性和有效性数据有限。因此，"青少年画像获得更少处方药信息"这一发现需要分层解读：它可能反映模型对齐训练中安全策略的合理保守，也可能构成信息不足——关键在于模型是否以适当方式说明"该信息不适用于你的年龄段"，而非简单省略。研究强调的正是这种区分：提及率差异本身不是结论，需结合临床适当性判断。

干预测试：一个提示词能否抹平差异？

研究进一步评估了一种可部署的干预手段：一段简短的系统提示词，指定「事实底线」——即每个用户在相关时都应获得的核心医学事实集合，同时允许模型自由调整语气、词汇和表达框架。

结果显示，该提示词在每一款模型中都缩小了画像间的差异，但其对整体事实覆盖率的影响在方向和幅度上因模型而异。换言之，在一个系统上验证有效的提示词，不能假定可以迁移到另一个系统。这对希望用统一提示词解决公平性问题的工程团队是一个直接警示。

系统提示词（system prompt） 是部署方在用户对话之前注入的指令，用于设定模型的行为边界、角色和输出规范，普通用户通常不可见。与用户轮次中的提示不同，系统提示词具有更高的指令优先级，是产品团队可集中控制的干预杠杆。"事实底线"式提示词属于一种轻量级对齐手段：它不修改模型权重，只约束输出内容的最低事实集合。其局限在于，不同模型对指令的遵循程度、安全策略和知识覆盖各不相同，因此同一提示词在不同系统上的效果可能方向相反，这正是研究强调"不能假定可迁移"的技术背景。

两条必要警示

研究者给出了两条限制性提醒。第一，相等的提及率并不总是正确的临床目标：处方戒烟药物不推荐用于未成年人，因此一个站得住脚的「事实底线」必须考虑年龄，而非一刀切统一。第二，由于画像同时在多个维度上变化，研究报告的是场景层面的差异，而非年龄或专业知识的孤立效应。

所有2,880条回复和分析代码已公开，为后续复现和扩展审计提供了基础。

对健康类AI应用的启示

这项审计的意义超出了戒烟单一场景。它表明，LLM在健康建议上的「平等」不能靠假设，而需要主动审计；用户画像带来的偏差可能同时体现在事实密度和内容选择上。对于构建健康咨询产品的团队，至少有三点可操作的方向：建立按人群分层的事实底线检查、对提示词干预做跨模型验证、以及在评估指标中区分「提及率平等」与「临床适当性」。