无需权重扰动：重新思考神经厚块假说

神经厚块假说：一个被误读的发现

预训练语言模型是否真的存在于权重空间中密集的专家邻域？神经厚块（Neural Thickets）假说曾提出，随机高斯扰动可以揭示这些邻域，从而提升模型在推理任务上的表现。但一项新的研究在复现这些增益后，给出了截然不同的解释：这些提升并不需要权重空间几何结构的解释。

研究者发现，仅扰动单个解码器块就能恢复大部分改进，而保持模型完全冻结、仅在其输出logits上添加随机偏置，在多数推理任务上就能匹配甚至超越全权重扰动的效果。这指向了一个更简单的机制：输出多样性、基于验证的选择和投票。

Perturb-Select-Vote：一个通用框架

研究者将这一新视角形式化为 Perturb-Select-Vote (PSV)，一个通用过程：生成受扰动的预测器，在小型验证集上选择高性能成员，并聚合它们的预测。

PSV 的优雅之处在于其与现有推理时方法的自然连接。它将神经厚块与采样（sampling）、自一致性（self-consistency）和验证器引导的选择（verifier-guided selection）等成熟技术联系起来。一阶分析进一步表明，小的权重扰动主要通过其诱导的logit偏移发挥作用。

这意味着，所谓的“权重空间专家”带来的增益，实际上可以通过输出多样性、选择和投票来获得。Logit PSV 在一个完全冻结的模型上实现了这些好处，为语言和视觉任务提供了一个简单、免训练的替代方案，用以替代全权重扰动集成。

自一致性（self-consistency）是一种广泛使用的推理时技术：对同一个问题采样多条推理路径，然后对最终答案进行多数投票。它之所以有效，是因为语言模型在生成过程中存在随机性，不同采样路径可能导向相同正确答案。验证器引导的选择（verifier-guided selection）则是在生成多个候选后，用一个独立训练的验证模型对候选打分并挑选最优。PSV 框架将这两类思想统一起来：扰动生成扮演了采样角色，验证集选择对应验证器筛选，投票聚合则与自一致性一致。理解这一对应关系，有助于将神经厚块现象纳入现有推理时方法的谱系中，而非将其视为独立的几何发现。

跨模态验证：从语言到视觉

研究并未止步于语言模型。作者将分析扩展到视觉领域，结果显示，在域偏移下（包括对地观测任务），logit PSV 显著提升了性能，而全权重扰动几乎不提供额外收益。

这一跨模态的一致性强化了核心论点：提升来源于输出层面的多样性聚合，而非权重空间中的局部几何结构。对于实践者而言，这意味着无需微调或扰动权重，只需在推理阶段操作logits，就能获得类似集成的好处。

域偏移（domain shift）指测试数据分布与训练数据分布不一致的情形，例如训练于自然图像却在卫星遥感图像上推理。在域偏移下，模型性能通常显著下降，集成方法被视为一种鲁棒性提升手段。本文的视觉实验表明，logit PSV 在域偏移条件下仍能带来明显增益，而全权重扰动几乎不提供额外收益。这一对比之所以关键，是因为它排除了“权重空间局部几何结构”作为增益来源的解释：如果增益真来自权重邻域中的专家结构，全权重扰动应当优于仅操作 logits 的轻量方案，但实验结果恰好相反。

对AI研究与应用的启示

这项研究对神经厚块假说的重新审视，具有多重意义。

理论层面，它挑战了对权重空间几何结构的过度解读。一阶分析表明，小权重扰动的影响是线性的、可通过logit偏移解释的，这为理解扰动集成提供了更简洁的数学框架。

实践层面，Logit PSV 提供了一个免训练、完全冻结的替代方案，降低了部署集成方法的门槛。对于资源受限或需要快速适配的场景，这尤其有吸引力。

方法论层面，研究强调了验证集选择的重要性。PSV 框架中的“选择”步骤——在小型验证集上挑选高性能成员——是连接扰动生成与最终投票的关键环节，这也呼应了验证器引导选择在推理时方法中的兴起。

研究者总结道，归因于邻近权重空间专家的增益，实际上可以通过输出多样性、选择和投票获得。这一结论不仅简化了我们对现有方法的理解，也为未来设计更高效的推理时集成策略指明了方向。

背景补充

一阶分析（first-order analysis）是理解本文核心论点的数学工具。其基本思路是将权重扰动对模型输出的影响做泰勒展开，只保留一阶线性项：输出变化约等于扰动向量与输出对权重的梯度的内积。在这一近似下，小的权重扰动等价于在输出 logits 上施加一个由梯度决定的偏移量。因此，直接向 logits 添加随机偏置，可以在一阶意义上模拟权重扰动带来的输出变化，却无需实际修改或复制模型权重。这解释了为何冻结模型上的 logit PSV 能匹配全权重扰动的效果，也为“增益源于输出多样性而非权重几何”提供了形式化依据。