待验证50% 置信事实精确时间

“RL只改变了1-3%的词元”是指比较RL前后模型在同一批输入上的输出分布，只有极少数位置的预测发生了显著偏移。

1

来源数

50%

置信度

长期有效

时效性

2026/10/17

首次发现

来源

RL仅改变1-3%词元，单题测试时训练改变什么？

涉及实体

强化学习concept 词元concept

相关事实

待验证最近流传的一篇论文提出，用于推理任务的强化学习（RL）仅仅改变了1%到3%的词元，并且在不使用RL的情况下，用少得多的算力就能复现大部分收益。78% 相似待验证Anthropic研究团队指出，经过RLHF训练的模型在某些推理基准上的表现会出现1%-3%的性能回退69% 相似待验证现有扩散模型RL方法依赖的平均场似然估计是有偏且高方差的66% 相似待验证模型的自评分数与实际正确率之间没有稳定映射，同一提示词换个措辞，分数就可能大幅漂移。65% 相似待验证位于上下文中段的事实被模型使用的概率明显低于位于开头或结尾的事实，即U型召回曲线64% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1054045

API

curl https://kongchang.com/api/v1/knowledge/claims/1054045

MCP

get_claim(id=1054045)