用价值表征预测对齐泛化：LLM行为迁移的新范式

大型语言模型的对齐训练常常面临一个尴尬的现实：模型在评测集上表现良好，却在实际部署中因为微调而出现意料之外的行为漂移。一篇名为《Predicting Alignment Generalization with Value Representations》的论文提出了一个关键问题——能否在训练之前就预测出某个价值观的微调会如何改变模型在其他未见过情境下的行为？

为什么对齐泛化如此棘手

当前的对齐流程通常围绕一组明确定义的价值目标展开。开发者通过后训练让模型表现出亲社会行为，并在对齐评测上获得高分。但论文指出，即便训练只针对狭窄的行为集合，模型在未见过的语境和环境中的行为仍会受到非预期的影响。

这意味着对齐训练存在溢出效应：调整一个价值维度，可能会牵动其他看似无关的价值维度。论文将这一现象形式化为“对齐泛化预测”任务，即预测微调模型遵循某一价值后，它在大量留出价值上的行为变化。

对齐（Alignment） 在大型语言模型语境中，指通过监督微调、基于人类反馈的强化学习（RLHF）或宪法式 AI 等手段，使模型行为符合人类意图与价值规范的过程。对齐泛化（Alignment Generalization） 则关注这些训练目标能否在训练分布之外保持稳定：当模型只被微调去遵循某一类价值时，它在未见过的语境、任务或价值维度上会如何表现。行为漂移（Behavior Drift） 通常指模型在部署或进一步微调后，输出分布偏离原始对齐目标的现象，可能表现为安全性下降、风格突变或价值判断不一致。理解这三个概念之间的关系，是把握论文问题意识的前提：对齐训练并非孤立地修改单一行为，而是在模型内部的价值表征空间中引发连锁反应，因此需要从表征层面而非仅仅行为层面去预测泛化。

66个价值维度的大规模分析

研究团队对现代对齐目标中常见的66个价值进行了大规模泛化效应分析，并构建了一个泛化矩阵作为基准。在这个矩阵上，他们对比了两类表征方法：一类基于文本描述，另一类基于模型在上下文中应用价值时的激活表征。

结果差距显著。基于激活的表征方法最佳版本与泛化矩阵的相关系数达到0.45，而基于描述的基线方法仅为0.05。这说明，要理解一个价值如何泛化，仅靠价值名称的文字语义远远不够，必须观察模型内部在处理该价值时的激活模式。

这一发现对对齐研究有直接的方法论含义：文本层面的价值定义与模型实际学到的价值表征之间存在实质性鸿沟。

激活表征（Activation Representation） 指从模型内部神经元或隐藏层状态中提取的向量，通常通过前向传播时记录特定层、特定 token 位置的激活值得到。与文本描述嵌入不同，激活表征直接反映模型在具体上下文中“如何计算”某个概念，而非这个概念在词表空间中的语义位置。相关系数（Correlation Coefficient） 在此处用于衡量预测表征与真实泛化矩阵之间的一致性，常用 Pearson 或 Spearman 系数，取值越接近 1 表示预测越准确。论文中 0.45 与 0.05 的差距说明：仅靠价值名称的文本语义，几乎无法预测模型微调后的跨价值行为变化；而模型内部激活携带了更丰富的泛化信息。这一方法论转向也呼应了可解释性研究中“线性探针”和“表征相似性分析”的思路。

从预测走向下游应用

论文进一步展示了这种预测表征的实用性。研究者利用它们衡量多价值对齐目标中各个价值之间的相似度，发现这种相似度与模型鲁棒性显著相关。

换句话说，如果一个对齐目标内部包含彼此高度冲突的价值，模型在微调后可能更脆弱。这为对齐目标的设计提供了一个可量化的检查工具——在训练之前就能评估价值组合的内在张力。

通向模型无关的价值空间

论文最后给出了初步证据，指向一个共享的、模型无关的价值空间，并基于泛化动态构建了首个LLM价值分类体系。如果这一价值空间在不同模型间具有一致性，那么对齐泛化的预测就有可能跨模型迁移，减少每个新模型都要重新做大规模泛化实验的成本。

不过论文也表明这仍属早期证据，模型无关性的强度和边界条件还需要更多验证。

模型无关的价值空间（Model-Agnostic Value Space） 是一个假设性的共享表征结构：如果不同架构、不同训练数据的大模型在表示人类价值时收敛到相似的几何或语义布局，那么在一个模型上测得的泛化关系就可能迁移到另一个模型。LLM 价值分类体系（Value Taxonomy） 则是基于这种空间构建的层级化分类，用于系统组织 66 个价值维度及其相互关系。论文的初步证据表明，价值空间在不同模型间可能具有一定一致性，但强度与边界条件尚不明确。若该假设成立，对齐团队将不必为每个新模型重复进行昂贵的泛化矩阵实验，而是可以复用已有的价值空间先验，从而显著降低对齐诊断的成本。

对对齐实践的启示

这项工作最有价值的地方在于把对齐泛化从一种事后观察变成了可预测、可量化的对象。对于从事后训练和对齐评测的团队，这意味着几点实际参考：

• 价值表征应优先从模型激活中提取，而非依赖价值名称的文本嵌入
• 多价值对齐目标需要评估价值间的相似度与冲突度，作为鲁棒性的先验指标
• 泛化矩阵可以作为对齐训练前的诊断工具，帮助识别潜在的行为溢出

论文的核心结论是，研究LLM中的价值泛化，并将它应用于模型行为的更具经验性的设计与训练，应当成为对齐工作流的标准环节。