ReSI-Math：挖掘模型可恢复能力前沿，高效提升推理

强化学习可验证奖励（RLVR）已成为提升大语言模型数学推理能力的有效手段，但一个根本问题尚未解决：当模型无法解题时，它是否真的缺乏相应能力？ReSI-Math 框架给出了否定的答案——部分失败并非能力缺失，而是能力未被充分激发。

ReSI-Math 框架示意图

核心发现：失败不等于无能力

研究揭示，直接解码失败并不必然意味着模型不具备解题能力。通过探索模型自身的推理轨迹，一些失败案例可以被“恢复”，从而暴露出一片可恢复的能力前沿（recoverable capability frontier）。这是一个依赖于策略的区域：在此区域内，答案无法通过直接解码可靠生成，但通过轨迹级搜索可以被诱导出来。

这一发现挑战了传统 RLVR 的假设——即失败样本只能作为负例或需要外部更强模型生成正例。ReSI-Math 证明，模型自身就蕴藏着未被利用的解题潜力。

可验证奖励强化学习（RLVR） 是近年来提升大语言模型推理能力的主流范式。其基本流程是：给定数学题等具有确定答案的任务，模型采样多条推理轨迹，用规则验证器（如答案比对）自动判定对错，再以正确轨迹为正例、错误轨迹为负例进行策略优化。典型代表包括基于 GRPO 等算法的训练方案。RLVR 的关键优势在于奖励信号可自动获取、无需人工标注，因此特别适合数学、代码等可验证领域。但传统做法默认“验证器判错即能力不足”，把失败样本简单当作负例丢弃，或依赖更强外部模型生成正例，这既浪费了模型自身潜力，也限制了训练数据的利用效率。

ReSI-Math 框架：从恢复能力到高效监督

ReSI-Math 将可恢复的能力转化为数据高效的 RLVR 监督信号。其核心流程包含两步：

自评判引导的进化搜索：在固定策略下，利用模型自身的评判能力识别可恢复的失败案例，并通过进化搜索生成候选轨迹。
自适应前沿问题选择：随着策略迭代，动态选择位于能力前沿的难题用于序列化 RLVR 训练，确保训练数据始终与模型当前能力匹配。

这种设计避免了随机采样带来的低效，让每一份监督信号都用在“跳一跳够得着”的问题上。

进化搜索（evolutionary search） 借鉴生物进化中的变异—选择机制：维护一个候选轨迹种群，通过交叉（交换两条轨迹的推理片段）、变异（改写或续写部分步骤）等方式产生新轨迹，再由评判器或验证器打分筛选出更优个体进入下一代。在 ReSI-Math 中，它被用于从失败轨迹出发，探索模型自身可能生成但直接解码难以采到的正确推理路径。与之配合的自评判（self-judging） 指让模型充当评判者，对候选轨迹的推理质量或可恢复性进行评估，从而在不引入外部更强模型的前提下筛选出值得继续搜索的失败案例，降低搜索成本。

实验验证：轨迹交叉与序列化训练

在 Qwen3-VL-8B 模型上，正确与错误轨迹的交叉产生了显著效果：从 621 次尝试中，经过验证器确认，获得了 272 个正确的后代轨迹，占比 43.8%。这意味着近一半的失败案例可以通过轨迹级搜索被恢复为正确解。

随后，经过三个序列化的一次性 RLVR 阶段，模型在 MATH500 和 WE-MATH 上的平均成绩从 78.71 提升至 80.16。在匹配的单问题 RLVR 设置下，随机选择仅达到 53.31，而前沿引导的 Q1 选择达到 54.16，验证了前沿引导策略的有效性。

启示与展望

ReSI-Math 的价值不仅在于性能提升，更在于它提供了一种新的视角：失败样本不是垃圾，而是待挖掘的金矿。通过轨迹级搜索和自适应选择，模型可以自我恢复并强化推理能力。这一思路有望推广到数学以外的推理任务，为高效 RLVR 训练开辟新路径。

对于实践者而言，ReSI-Math 提示我们：在构建训练数据时，与其盲目增加数据量，不如关注那些处于能力前沿的“可恢复失败”，用更少的数据撬动更大的提升。

背景补充

序列化 RLVR 训练 指将训练划分为多个依次进行的阶段，每个阶段只使用与当前策略能力相匹配的问题子集。随着模型能力提升，问题难度前沿随之上移，后续阶段再切换到更难的问题。与一次性混合所有难度数据训练相比，这种做法能让监督信号始终落在“跳一跳够得着”的区间，避免过易样本浪费算力、过难样本提供无效梯度，是课程学习思想在 RLVR 中的具体落地。