RLVR的指数倾斜视角：Stiemke对偶与pass@k交叉界

强化学习与可验证奖励（RLVR）已成为提升大语言模型推理能力的主流手段，但一个根本问题常被忽略：当策略在平均奖励上获得提升时，是否可能同时损害部分任务的性能？近期一篇理论论文从指数倾斜（exponential tilt）的视角给出了精确回答，并推导出pass@k随k变化的交叉次数上界。该工作在Reddit社区引发了关于建模选择的讨论。

核心建模：策略共享是干扰的根源

论文将策略更新（单纯形上的镜像下降/自然策略梯度）视为对共享策略的指数倾斜：w ∝ w0 exp(τf)。关键假设是策略在不同prompt之间共享——同一个策略权重需要同时服务所有任务。作者明确指出，这种"策略共享"正是任务间干扰（interference）的来源，也是他们最希望获得反馈的建模选择。

这一视角的价值在于，它把RLVR中常见的"平均奖励上升但个别任务退化"现象，从经验观察提升为可分析的结构性问题。指数倾斜形式让策略更新具有明确的几何意义，也为后续的对偶分析提供了数学基础。

指数倾斜（exponential tilt） 是概率论与统计物理中的经典变换：给定基分布 (w_0) 和得分函数 (f)，倾斜后的分布形如 (w \propto w_0 e^{\tau f})，其中 (\tau) 为温度参数。在策略优化语境下，若把 (f) 取为奖励或优势函数，指数倾斜恰好等价于对策略做一步镜像下降或自然策略梯度更新——目标是在KL正则约束下最大化期望奖励。这一形式的好处是更新具有闭式解，且几何上对应单纯形上的乘性权重更新。

Stiemke择一定理 是线性规划对偶理论中的基本结果：对于矩阵 (A)，以下两者恰有一个成立——存在 (x \ge 0, x \neq 0) 使 (Ax = 0)；或存在 (y) 使 (A^\top y > 0)（严格正）。它与Gordan定理、Farkas引理同属择一定理家族，常用于判定线性系统解的存在性。本文借用它刻画“是否存在正任务权重使各策略适应度相等”，从而把帕累托改进问题转化为对偶可行性问题。

Stiemke对偶：pass@1增益何时"免费"

论文的第一个核心结果回答了"奖励提升型更新何时能不伤害每一个单独任务"。答案并非直觉上的"每个任务都有唯一最优策略"那么简单。作者给出反例：即使每个任务各自拥有唯一最佳策略，仍可能存在一个正的任务加权，使得各策略的适应度被均等化——此时任何提升平均奖励的更新都必然损害某些任务。

严格的判定条件来自Stiemke择一定理：当且仅当不存在严格正的任务权重使策略适应度相等时，奖励增加型更新才能避免伤害所有个体任务。换言之，pass@1的增益是否"免费"，取决于任务权重空间的对偶结构，而非任务本身的局部最优性。这一结论对RLVR的奖励设计有直接启示：任务分布的加权方式会实质性影响更新是否具有帕累托改进性质。

Karlin全正性：pass@k交叉次数的紧界

第二个结果聚焦于pass@k曲线。定义Δ_k = pass@k(RL) − pass@k(base)，即RL策略与基座模型在第k次尝试成功率上的差值。作者证明，Δ_k是逐任务成功率CDF偏移的全正（totally positive）核变换，因此曲线在k上的交叉次数不超过该偏移的符号变差（sign variation），且该界是紧的。

这一结论借用了Karlin的全正性理论，把pass@k曲线的形状约束转化为一个组合不变量。实践意义在于：如果逐任务成功率分布的偏移只有少量符号变化，那么pass@k的差值曲线不可能反复震荡——这为评估RLVR效果时观察到的曲线形态提供了理论解释，也说明仅报告单一k值可能掩盖系统性差异。

全正性（total positivity） 由Samuel Karlin系统发展：一个核 (K(x,y)) 若其任意阶子式非负，则称为全正核。全正核的关键性质是变差缩减：对输入函数做该核变换后，输出函数的符号变差（相邻符号翻转的次数）不超过输入的符号变差。这解释了为何 (\Delta_k) 的交叉次数受限于逐任务成功率CDF偏移的符号变差——pass@k本质上是CDF经过一个全正核的积分变换。Karlin的经典著作《Total Positivity》与后续的变差缩减理论是这一结论的数学根基，也被广泛用于可靠性理论与排队论中的单调性分析。

约束更新与pass@1–pass@k前沿

论文进一步提出一种带约束的更新方式（逐任务下限，per-task floor），可以精确描摹pass@1与pass@k之间的权衡前沿。结合前述两个结果，这构成了一个完整图景：无约束的指数倾斜决定增益是否免费，全正性给出交叉次数上界，而约束更新则提供可控的折中路径。

作者强调所有数值结果均可由纯CPU的代码包复现（no-free-lunch-rlvr），这降低了理论验证的门槛。据Reddit原帖，作者公开征求对"策略共享作为干扰来源"这一建模选择的反馈，说明该工作仍处于寻求社区检验的阶段。

对RLVR实践的启示

这篇理论工作的价值不在于提供新的训练技巧，而在于给出判断标准。当团队观察到pass@1提升时，Stiemke条件提示应检查任务加权是否落入"必然损害"的区域；当pass@k曲线出现多次交叉时，全正性界提示这种形态受限于底层CDF偏移的符号变差。对于构建可验证奖励的推理系统而言，这些结论把经验调参推向可判定的分析框架。

需要指出，该结论建立在策略共享的建模假设之上，实际系统中若引入任务特定适配（如逐任务LoRA或路由机制），干扰结构会发生变化。作者本人也将此列为待讨论的开放点，后续实证检验值得关注。

pass@k 是代码生成等任务的标准评估指标：对每个问题采样 (n) 个解，统计至少一个通过验证的比例，再对 (k) 做无偏估计。它衡量的是“尝试k次能否成功”的能力，与pass@1（单次成功率）反映不同的能力维度。RLVR训练常观察到pass@1上升而pass@k（大k）下降的现象，即策略变得更“锐化”但多样性下降。本文的符号变差界正是对这一现象的定量刻画：若逐任务成功率分布的整体偏移形态简单（符号变化少），则pass@k差值曲线不可能频繁震荡，报告单一k值容易掩盖这种系统性偏移。