LLM知识泄漏：当AI假装用户时，它真的能"不知道"吗？

知识泄漏：用户模拟中的一个隐蔽偏差

用大语言模型模拟用户来替代人类受访者，已经是产品调研、社会模拟乃至推荐系统评测中的常见做法。但一个关键假设常常被忽略：当模型被要求扮演一个"对此一无所知"的人时，它真的能藏住自己知道的东西吗？

近期一项研究将这个问题正式定义为知识泄漏（knowledge leakage）——真实用户不可能拥有的知识渗入模拟回答时产生的响应偏差。研究者设计了一套量化方法，并发现即便在上下文中明确声明"该用户从未听说过这个条目"，模型依然表现出对真实条目与虚构孪生条目之间系统性、方向一致的评分差异。

测量方法：真实条目与虚构孪生

这项研究的核心仪器很精巧：为每个真实条目配对一个表面形式匹配的虚构孪生条目，并通过筛选流程尽量降低虚构条目本身可能唤起的先验知识。两者的评分差因此成为一个诊断性对比，即使在不存在"正确答案"的评分任务中也能揭示偏差。

研究设置了三种知识处理条件（即不同强度的低知识提示与显式无知声明）和来自两个模型家族的五个API端点。判断标准很直接：一个被设定为"不知道某物"的受访者，其回答不应显示出对该物的熟悉度或存在性信号。

虚构孪生条目（fictional twin） 是一种实验对照设计：研究者为每个真实存在的条目（真实的产品、地名、事件或公司）构造一个表面形式高度相似的虚假版本，例如把真实品牌名替换成听起来合理但并不存在的名称，或把真实地名稍作改动。理想情况下，模型对虚构条目没有任何先验知识，因此它在评分时只能依据提示词中给出的人设信息。这样一来，真实条目与虚构孪生之间的评分差异就只能来自模型对真实条目的内部知识，而不是人设本身。筛选流程的作用是剔除那些模型可能因为词形联想、常见命名模式或训练数据中的偶然覆盖而对虚构条目产生先验反应的样本。

置信区间（confidence interval） 在此类研究中用于表达估计值的不确定性。文中给出的 +0.077 配合 [-0.057, +0.204] 的区间，意味着跨领域汇总的效应在统计上与零无法区分，不能据此断言“没有偏差”。而按领域拆分后得到的 -0.359 与 +0.438 则各自远离零点，说明真实效应可能被汇总平均抵消了。这正是辛普森悖论式的情形：整体趋势与分组趋势方向不一致，提醒读者不能只看汇总数字下结论。

两个主要发现

好意头条目的泄漏难以抑制

第一个发现是，测试的人设并不能完全压制真实条目的存在性与熟悉度信号。即使在上下文里明确声明"该人设从未听说过这个条目"，好意头条目（favourable-item）的真实-孪生评分对比依然存在。换句话说，模型口头上答应了"我不知道"，评分行为却暴露了它其实知道。

负面条目的偏差会随领域反转

第二个发现更微妙。对负面内容条目做跨领域汇总时，对比值接近零（+0.077，置信区间 [-0.057, +0.204]），看起来像是没有偏差。但同样的估计量在相同条件下，按领域拆分后却给出方向相反的结果：当评分量表询问某物"有记录在案的危害"时，对比为 -0.359；当询问某个公司或组织时，对比为 +0.438。

这意味着把负面条目混在一起做汇总分析，会掩盖掉领域组之间的对立差异——两个方向相反的效应互相抵消，制造出"没问题"的假象。

人设条件化（persona conditioning） 指在提示词中为模型设定一个具体身份、背景与知识边界，使其以该身份作答。这一做法被广泛用于用户模拟，但其有效性依赖于模型能否真正“遗忘”或“隔离”自身预训练知识。知识泄漏研究揭示的正是这种隔离的不完全性：模型可以在语言层面复述“我不知道”，却在评分这种间接行为中泄露熟悉度信号。换言之，声明性服从与行为性一致之间存在落差。对实践者而言，这意味着人设提示只能约束模型的表层表述，不能可靠约束其内部知识的使用，需要借助外部对照或后处理来检测和校正。

对用户模拟实践意味着什么

对于用人设条件化响应做受访者级模拟的团队来说，这项研究提出了一个方法论上的警告。模型的知识泄漏不是随机噪声，而是有方向、有结构的偏差，并且会随评分问题的领域和措辞而翻转符号。单纯在提示词里写"假设你不知道这个产品"不足以解决问题。

研究者也坦率说明了结论的边界：所有估计都建立在孪生条目构建与筛选的充分性之上，而面向人群层面的解释仍然需要人类低知识基线。这也为后续工作指出了方向——知识泄漏的量化需要人机对照，而不是模型内部的自我声明。