待验证50% 置信事实精确时间

RLVR（强化学习 with 可验证奖励）在分布内任务上表现优异，但在分布外（OOD）迁移时性能显著下降（策略崩溃）。

1

来源数

50%

置信度

长期有效

时效性

2026/11/3

首次发现

来源

RLVR泛化困境：推理策略为何在OOD下失效

rss2026/11/2

涉及实体

RLVRconcept 分布外泛化concept

相关事实

待验证RLVR的优化景观与监督学习存在本质差异：奖励信号稀疏且离散，梯度估计来自采样响应，方差显著高于传统训练场景。80% 相似待验证与基于人类反馈的强化学习（RLHF）相比，RLVR 不依赖人工打分员，边际成本极低，可以以远超 RLHF 的规模运行76% 相似待验证被对比的jev架构采用并行采样，通过RLCD（对比蒸馏强化学习）训练，输出置信度分布和schema选择73% 相似待验证多项近期实证工作对一阶动量在可验证奖励的强化学习（RLVR）中的实际效用提出了质疑。73% 相似待验证强化学习训练比监督学习更不稳定，将NVFP4激进量化引入RL训练会进一步放大固有不稳定性73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1130325

API

curl https://kongchang.com/api/v1/knowledge/claims/1130325

MCP

get_claim(id=1130325)