LLM测试时集成：双样本量与加权集成理论新解

测试时扩展（Test-time scaling）已成为提升大语言模型性能的重要路径，通过生成多个答案并聚合，模型能在不增加参数量的情况下获得显著增益。而加权集成进一步将多个模型的答案按权重混合，权重决定了每个模型被使用的频率。然而，如何从训练数据中学习这些权重，背后涉及两个样本量的微妙权衡——标注问题数 $Q$ 与每个模型在每个问题上的生成次数 $N$。近期一项理论研究深入分析了二者的相互作用，为理解测试时集成的学习极限提供了新的理论工具。

核心问题：两种样本量如何影响集成学习？

加权集成的权重学习过程依赖两类数据资源：一是标注问题的数量 $Q$，二是每个模型对每个问题生成答案的次数 $N$。直观上，更多的标注问题能让模型更准确地估计不同模型的相对优劣；更多的生成次数则能更可靠地估计每个模型答案分布的细节。

研究聚焦于“干净风险”（clean risk），即集成无限生成投票规则下的总体误差。在满足指数为 $\beta$ 的间隔条件（margin condition）下，理论分析表明，使用校准间隔缓冲的经验风险最小化（buffered ERM）能达到 $Q^{-1/2}+N^{-\beta/2}$ 量级的超额风险（忽略对数因子）。这意味着问题数和生成次数以不同的幂律速率影响集成性能，且二者的贡献可以近似解耦。

间隔条件（Margin Condition）与快速收敛

间隔条件刻画的是模型预测正确与错误之间“边界”的清晰程度。在经典统计学习理论中，若分类器在真实决策边界附近的样本比例很低（即间隔较大），则泛化误差可以以快于常规 $Q^{-1/2}$ 的速率下降。指数为 $\beta$ 的间隔条件对这种衰减行为给出定量描述：$\beta$ 越大，边界越“干净”，学习越快。

在集成场景下，间隔条件的作用体现在每个模型对每个问题生成答案的分布上。当 $\beta>1$ 时，超额风险中的 $N^{-\beta/2}$ 项可能比 $N^{-1/2}$ 衰减得更快，意味着生成次数在边界清晰时能带来更显著的收益。反之，若模型输出噪声很大（$\beta$ 接近 0），增加生成次数几乎无助于改善权重估计。这也解释了为何不同模型、不同任务下测试时扩展的最优策略会出现分化。

三类学习机制：从问题稀缺到识别极限

为了探究这一依赖关系的最优性，研究者分析了一个简化子模型：仅有两个模型、每个问题仅有两个可能答案。通过二项混合实验的 Hellinger 模，该子模型的极小极大超额风险被精确刻画到常数级别。多项式近似与谱分析揭示了三种截然不同的机制。

机制一：问题稀缺时，$Q$ 主导学习。 当标注问题相对稀少时，$Q^{-1/2}$ 项主导超额风险，通用的缓冲 ERM 达到最优。此时增加生成次数 $N$ 的边际收益有限，因为权重估计的瓶颈在于问题层面的信息不足。

机制二：中间区域，跨问题池化带来增益。 在中间区域，将不同问题的生成计数池化（pooling）比单独估计每个答案分布更有效，此时从额外问题中仅能获得对数级增益。换句话说，利用生成计数的跨问题结构，可以更高效地利用有限数据。

机制三：问题充足时，识别极限出现。 当问题数量足够多时，极小极大超额风险触及 $N^{-\beta}$ 的识别下界（identification floor），即便拥有无限多的问题也无法突破。这一下界反映了模型答案分布本身的可辨识性限制，与问题数量无关。

Hellinger 模与极小极大风险

Hellinger 模是概率分布之间的一种距离度量，它对分布密度的平方根之差进行积分。相较于 KL 散度，Hellinger 模有两个优点：其一，它是有界的，不会因分布差异过大而发散；其二，它在非参数估计的极小极大下界推导中往往能给出更紧的常数界。

在双模型二项混合子模型中，研究者利用 Hellinger 模精确刻画了两个混合分布的可区分程度。当两个模型的正确率非常接近时，Hellinger 距离趋近于零，意味着有限样本下几乎无法区分哪个模型更优——这正是识别下界 $N^{-\beta}$ 的统计根源。极小极大框架则保证了该下界不依赖于具体估计方法，反映了问题本身的内在难度。多项式近似与谱分析进一步揭示了不同机制下 Hellinger 距离随 $Q$ 和 $N$ 的缩放行为，从而划分出三类学习机制。

跨问题池化（Pooling）的统计直觉

池化是指不单独为每个问题估计答案分布，而是将所有问题的生成计数合并起来估计一个共享的权重参数。这在统计上相当于用更多数据估计更少的参数，从而降低方差。

在中间区域，每个问题单独估计模型优劣时，每个问题只贡献 $N$ 次生成，噪声较大；而池化后，总样本量达到 $Q \times N$，估计精度大幅提升。然而，池化并非总是最优：当问题之间模型优劣差异很大时，强制共享权重会引入偏差。理论研究显示，中间区域池化仅能带来对数级增益，因为问题的异质性限制了共享结构的收益。这一发现与迁移学习中的“共享 vs 特化”权衡一脉相承，也为实践中是否应该分群建模提供了理论线索。

理论意义与实践启示

子模型的下界同样适用于一般集成，在问题稀缺和中间区域的部分范围内，与缓冲 ERM 的上界匹配（忽略对数因子）。这为加权集成的权重学习提供了近乎紧致的理论保证。

从实践角度看，该理论提示：在测试时集成中，需根据可用标注问题数量调整策略。当问题稀缺时，应优先扩充问题集而非盲目增加生成次数；当问题充足时，生成次数的提升会遭遇识别天花板，单纯增加采样难以持续改进集成效果。

论文也坦诚指出了开放问题：不同机制之间的精确转变边界尚不清晰，一般集成下匹配池化估计量的构造仍有待解决。这些遗留问题为后续研究指明了方向。

总体而言，这项工作将测试时集成的权重学习纳入了一个清晰的统计学习框架，揭示了 $Q$ 与 $N$ 之间的权衡关系，对理解和改进 LLM 集成策略具有重要参考价值。