KAPPO：用@k优化控制LLM后训练中的锐化效应

当强化学习让LLM变“窄”：锐化效应是什么

大语言模型的后训练（post-training）中，强化学习（RL）已被反复证明能提升任务准确率。但准确率提升的背后藏着一个容易被忽略的代价：行为覆盖度下降。模型越来越擅长它已经会做的题，却越来越不愿意探索新的解法路径——这一现象被研究者称为"锐化"（sharpening）。

锐化的危险在于它会悄悄拖慢困难任务上的进展。当模型把学习预算集中投放在简单题目的高置信解上，那些需要多样性采样才能碰到的稀有正确路径就被挤出了概率空间。已有工作发现，重复采样类目标（如 pass@k、max@k）能够缓解锐化，但背后的机制长期缺乏清晰解释。更棘手的是，现有 @k 优化方法都是各自为政的专用算法，没有一个通用框架能把成熟的 @1 策略优化方法迁移到 @k 设定上。

pass@k 与 max@k 是大模型评估与优化中常用的两类指标。pass@k 衡量的是：对同一提示独立采样 k 个回答，其中至少有一个正确的概率；max@k 则通常指 k 个样本中最佳样本的奖励或得分。两者都是“重复采样”视角下的目标，天然鼓励模型在分布中保留多样化的高奖励路径。相比之下，标准的 @1 目标（如常见的 RLHF/PPO 单样本优化）只关心单次采样的期望奖励，容易把概率质量集中到少数高置信解上，从而压缩探索空间。理解这两个指标的差异，是理解“锐化”为何与采样次数相关的关键。

闭式解揭示的真相：@k其实在重新分配学习压力

这项研究的第一步是推导 KL 正则化下 pass@k 与 max@k 目标的最优策略闭式解。显式解带来的洞察相当直接：@k 优化本质上是在按题目难度重新分配学习压力，把优化重心从简单题转向难题。

更关键的发现是，标准 @1 目标通过"提示自适应正则化"（prompt-adaptive regularization）或"奖励变换"（reward transformation），可以达成与 @k 完全相同的最优策略。换句话说，@k 目标缓解锐化的效果并不依赖某个特殊算法，而是源于它对不同难度提示施加了不同的学习压力。这提供了一个与优化器无关的解释：为什么 @k 能在简单任务上抑制锐化，同时优先保证困难任务的成功率。

这一结论的意义在于打破了算法之间的壁垒——既然最优策略可以由 @1 框架复现，那么从 @1 到 @k 的迁移就有了理论基础，而不需要从头设计新的优化器。

KL 正则化 是指在优化目标中加入与参考策略的 KL 散度惩罚项，形式通常为 -β·KL(π||π_ref)，用以约束新策略不要偏离初始模型太远。它是 RLHF 中稳定训练、防止奖励黑客的常见手段。在本文语境中，KL 正则化的强度 β 相当于一个“信任域”参数：β 越大，策略更新越保守。所谓“提示自适应正则化”，就是让这个 β 或等效的惩罚强度随提示难度而变化——对简单提示施加强约束以抑制锐化，对困难提示放宽约束以保留探索。闭式解之所以能推导出来，正是因为 KL 正则化下的最优策略具有指数加权形式，使得不同难度提示的学习压力可以被解析地表达和比较。

KAPPO：把@1方法无缝升级到@k

基于上述理论，研究者提出了 @k Adaptive Pressure for Policy Optimization（KAPPO）。它的工作流程相当轻量：先做一次性的参考校准（reference calibration），之后便可通过提示自适应正则化或奖励变换，把现有的 @1 方法适配到 @k，且不改变原有训练流程的其他部分。

这种"最小侵入"的设计让 KAPPO 可以套用在多种 RL 方法上，实验覆盖了数学推理与代码生成两类任务。结果显示，KAPPO 提供了对锐化程度的直接控制能力——使用者可以主动调节学习压力在简单题与难题之间的分布，而不是被动接受锐化带来的覆盖度损失。

对工程实践而言，KAPPO 的另一个亮点是成本。研究证明，@k 压力完全可以通过单次补全训练（single completion training）实现，性能匹配多补全 @k 优化器，而成本只是后者的一小部分。这意味着团队不必为多采样付出成倍的算力开销，就能获得控制锐化所需的学习压力信号。

参考校准（reference calibration） 是 KAPPO 流程中的一次性预处理步骤：在正式训练前，利用参考模型（通常是 SFT 模型或初始策略）在任务分布上估计每个提示的基准难度或基准奖励水平，从而为后续的提示自适应正则化提供归一化基准。没有这一步，不同提示之间的奖励尺度不可比，“按难度分配学习压力”就无从谈起。校准只需做一次，之后便可复用于整个训练过程，这也是 KAPPO 保持低开销的原因之一。

单次补全训练（single completion training） 指的是在每次策略更新时，对每个提示只采样一条补全（而非 @k 优化器通常需要的 k 条），却通过奖励变换或正则化设计来模拟 @k 目标的学习压力。其原理来自前文的闭式解等价性：既然 @k 的最优策略可由 @1 框架复现，那么压力信号就不必真的来自多条采样，而可以由单条样本配合调整后的目标函数来构造。这直接决定了 KAPPO 的算力优势。

对后训练实践的启示

这项工作的价值不只在于一个新方法，更在于它把"锐化"从一个经验现象变成了可分析、可调控的对象。闭式解告诉我们锐化的根源是学习压力在难度维度上的分布失衡，而 KAPPO 给出的调控手段则把这个分布变成了可调参数。

对于正在做 RL 后训练的团队，几个方向值得关注：一是重新审视现有 @1 流程中提示级正则化的设置，它可能已经在无意中影响锐化程度；二是把"行为覆盖度"作为与准确率并列的监控指标，而不是等到困难任务停滞才回头排查；三是优先验证单次补全方案能否在自己的任务分布上复现 @k 效果，从而以更低成本获得调控能力。理论上的优雅能否转化为大规模训练中的稳定收益，仍需要更多任务类型和模型规模的检验。