小模型胡编还是拒答？隐藏状态几何揭示真相

引言：小模型面对难题时，是胡编还是拒答？

当小型语言模型遇到无法回答的问题时，往往面临两难：要么诚实地拒绝，要么自信地编造一个错误答案（即“confabulation”）。这种胡编行为在模型部署中极具风险，但背后的机制尚不清楚。一篇最新研究通过构建新基准ConfabQA，并利用线性探针、稀疏自编码器（SAE）和直接优化干预方向，系统地探索了模型在生成第一个token前的隐藏状态几何结构，揭示了胡编与拒答之间的可分离性。

该研究还尝试通过干预隐藏状态来将胡编转化为拒答，并发现这种干预主要影响模型开头的“言语行为”，而非知识本身。这些发现为理解小模型的内在决策过程提供了新视角。

Confabulation（胡编） 在认知科学和AI安全领域特指模型在缺乏相关知识时，仍生成流畅但事实错误的内容，且模型自身并不“知道”这是错误的。它与“幻觉”（hallucination）有细微区别：幻觉可泛指任何事实错误输出，而confabulation更强调模型在无知识依据下的“自信编造”，类似于人类记忆障碍患者的虚构症。在语言模型中，confabulation通常发生在问题超出训练数据覆盖范围时，模型不是输出不确定或拒答，而是基于表面模式生成看似合理的答案。这种现象对部署可靠性构成直接威胁，因为用户难以从输出本身辨别模型是否“真的知道”。

ConfabQA基准：破解正确性与知识截断的混淆

研究引入的ConfabQA基准包含784个条目，其独特之处在于设置了“模糊的预截断”（obscure-pre-cutoff）类别。传统研究中，模型的正确率往往与知识截断（即问题涉及的知识是否在训练数据中出现）混淆，而这一类别设计有助于分离两者。通过这一基准，研究者能够更清晰地观察模型在真正不知道答案时的行为。

在Qwen3-1.7B和Gemma 2 2B模型上，线性探针在区分即将发生的拒答与胡编时，表现显著优于基于提示特征的方法，分别提升了7.4和16.3个百分点。这一结果表明，隐藏状态中确实编码了关于模型是否会拒答的信息。

知识截断（knowledge cutoff） 指语言模型训练数据的时间边界，模型对截断日期之后的事实无法习得。在评估中，若问题涉及截断后的知识，模型答错可能反映的是知识缺失而非胡编倾向，因此正确率会被混淆。线性探针（linear probe） 是一种轻量级分析工具：在模型隐藏状态上训练一个线性分类器（如逻辑回归），用于检测特定信息（如“即将拒答”）是否线性可解码。若探针准确率高，说明该信息在隐藏空间中线性可分。稀疏自编码器（SAE） 则用于将高维隐藏状态分解为稀疏、可解释的特征方向，帮助识别模型内部表征的语义单元。

隐藏状态探针：跨模型的表现差异

探针在不同模型上的效果并不一致。在Llama 3.2 3B上，ConfabQA基准上的边际提升在折间波动范围内，但直接针对拒答的探针在PopQA和TriviaQA数据集上却实现了18-25个百分点的提升。这说明隐藏状态中的信号可能因模型而异，且探针的设计需要针对具体任务调整。

研究进一步在Qwen模型上深入分析了三种候选的拒答向量方向：探针恢复的方向、Qwen-Scope SAE特征以及直接优化的方向。尽管这三个方向两两之间相差50-81度，但沿着任一方向，以不超过状态自身范数的强度进行推动，都能将大多数胡编转化为以“As...”开头的拒答开头。有趣的是，即使不触碰隐藏状态，仅强制模型以该开头生成，也能达到与干预相同的三分之一拒答率。

相反方向的推动则主要将拒答转化为胡编，但原本正确的答案却保持不变。这表明该方向控制的是开头的言语行为（是拒答还是回答），而非背后的知识。

拒答向量方向 指在隐藏状态空间中，能够引导模型从“胡编”转向“拒答”的特定方向。研究比较了三种获取方式：探针恢复的方向（从线性分类器权重导出）、SAE特征方向（从稀疏自编码器特征中提取）以及直接优化方向（通过梯度优化寻找使拒答概率最大的扰动方向）。三者角度差异达50-81度，说明同一行为可由多个不同方向控制，但干预效果相似。范数约束干预 指在推动隐藏状态时，限制扰动强度不超过原始状态自身的L2范数，以确保干预不破坏整体表征。

胡编并非集中特征：SAE与token签名的局限

研究还发现，胡编在字典（SAE特征）或token签名中并未形成集中的特征。在Qwen3-1.7B上，胡编既没有对应一个明显的SAE特征，也没有独特的token模式。这意味着胡编可能是一种分布式表示，难以通过简单的特征检测来捕捉。

这一发现对于开发检测胡编的方法具有启示意义：依赖单一特征或token模式可能效果有限，需要更综合的方法。

分布式表示（distributed representation） 指信息在神经网络中并非存储于单个神经元或特征，而是分散在大量单元的激活模式中。胡编若为分布式编码，则意味着没有单一SAE特征或token模式能稳定标识它，检测需依赖多维信号组合。Token签名（token signature） 指模型生成特定token序列（如拒答开头的“As...”）时的统计模式，可用于行为分析。本研究发现胡编不伴随独特token签名，进一步支持其分布式本质，提示基于单一特征的检测方法可能失效。

正确性信号的可移植性：模型依赖的发现

通过评估每个探针在四个提示特征基线中最强者的边际，研究者提取了隐藏状态自身的贡献。正确性信号是模型依赖的，仅在Llama 3.2 3B上具有可移植性：探针边际在ConfabQA、PopQA和TriviaQA之间转移时，81%的边际在测试多数类上得以保留。这意味着在某些模型中，隐藏状态编码的正确性信号可以跨数据集迁移，而在其他模型中则不行。

这一发现提示我们，对于不同模型，可能需要定制化的探针和干预策略。同时，该研究开源了基准、评判器和代码，为后续研究提供了基础。

结论与启示

这项研究通过几何视角揭示了小模型在胡编与拒答决策中的隐藏状态结构，表明通过干预隐藏状态或强制开头可以改变模型的行为，但知识本身并未被改变。这为模型安全性和可靠性提供了新的思路：或许可以通过轻量级干预减少胡编，但需注意模型间的差异。未来研究可以进一步探索其他模型架构和更大规模模型中的类似现象。