RL仅改变1-3%词元，单题测试时训练改变什么？

一个引人追问的发现：RL 只动了 1-3% 的词元

最近流传的一篇论文提出了一个颇具冲击力的结论：用于推理任务的强化学习（RL）仅仅改变了 1% 到 3% 的词元，并且在不使用 RL 的情况下，用少得多的算力就能复现大部分收益。这个说法如果成立，就把一个更尖锐的问题推到了台前：一次小规模、有针对性的更新，究竟改变了模型的什么？

Reddit 上的讨论者把目光投向了测试时训练（test-time training, TTT）在单个问题上的表现，认为这是观察上述问题最锐利的切口——一个问题、一个 LoRA、由问题自身的验证器驱动更新，最后给出一个经过认证的分数。这种设定把"改了多少"和"改出了什么效果"同时放到了台面上。

强化学习（RL）用于推理任务，指的是以可验证的最终答案（如数学题的数值结果）作为奖励信号，通过策略梯度类算法（如 GRPO、PPO）对语言模型进行微调，使其生成更长的思维链并提高正确率。这类训练通常只需少量epoch和较小学习率，因此参数更新幅度有限。词元（token） 是模型处理文本的基本单位，一个词元大致对应一个词或子词片段；说"RL只改变了1-3%的词元"，是指比较RL前后模型在同一批输入上的输出分布，只有极少数位置的预测发生了显著偏移。这一度量把参数空间的更新映射到输出空间，但"改变"的判定阈值、采样温度等细节会极大影响比例数值，因此该结论本身仍需结合具体测量协议来理解。

单题 TTT 的实验长什么样

讨论者引用了 reef 的 TTT-Discover 配方，并仔细阅读了其公开的运行轨迹。实验配置相当具体：使用 Qwen3-8B 并开启 thinking 模式，跑在两块 B200 上。每个搜索步骤先做八组、每组 64 次 rollout，然后执行一次 rank-32 的 LoRA 更新。每个任务只保留一条轨迹，因此没有任何跨随机种子的方差估计。

这样的设计意味着，我们看到的是一个单独问题上的确定性搜索过程，而不是统计意义上的平均表现。这也正是它作为"单点观察"的价值所在：更新规模小、目标单一、分数可验证。

测试时训练（TTT） 与常规训练的关键区别在于更新发生的时机：模型在推理阶段针对当前输入（或当前问题）临时调整参数，而不是在固定数据集上预先训练。LoRA（低秩适配） 则是一种参数高效微调方法，它冻结原模型权重，只训练两个低秩矩阵（秩为r），将更新量表示为低秩分解，从而把可训练参数量降低几个数量级。rank-32 意味着每个适配矩阵的秩为32，对于80亿参数的模型而言，可训练参数占比通常不到1%。Rollout 指模型对同一问题采样多条完整推理轨迹；每条轨迹独立评分后，用这些分数估计策略梯度并更新LoRA。因此"八组×64次rollout加一次LoRA更新"构成一个完整的搜索-学习循环，其计算开销主要来自采样而非参数更新。

两个可验证的分数结果

第一个任务是 Erdős 最小重叠问题。在展示的 25 个步骤内，该方法达到了经过认证的 C₅ 上界 0.38094。TTT-Discover 报告的数值是 0.38093，而目标是 0.38080，数值越低越好。也就是说，这次运行的结果与已报告结果几乎一致，但距离目标仍有微小差距。

第二个任务是 Packing 26，在 50 个步骤内达到了经过认证的半径和 2.635983，与 TTT-Discover 报告的 2.635983 完全相同，目标是 2.636，数值越高越好。

讨论者明确表示自己没有运行基线，因此不把基线数字并排展示。这种克制值得注意：在没有对照的情况下，这些认证分数说明的是"达到了什么"，而不是"相对提升了多少"。

认证分数（certified score） 在此语境下指结果经过独立验证器或形式化检查确认，而非仅由模型自报。对于Erdős最小重叠问题，目标是寻找单位正方形内点集的最小重叠面积上界，0.38080是已知最优构造对应的目标值，数值越低越好；达到0.38094意味着与目标差距约0.00014。Packing 26则是在单位正方形内放置26个不相交圆、最大化半径和的问题，2.636是理论或已知最优目标，数值越高越好；达到2.635983说明已非常接近目标。需注意，这类认证只保证"该构造满足约束且分数计算无误"，并不保证达到全局最优，也不提供与其他方法相对优劣的信息——这正是讨论者拒绝并排展示基线数字的原因。

核心疑问：适配器的变化与词元变化能否对应

讨论者认为最有价值的一点，除了论文本身，在于这套设定让更新的规模和效果都留下了记录：更新是一个针对单个问题的适配器，分数经过认证。但真正卡住的问题是——一个 rank-32 适配器带来的变化，和论文所测量的那 1% 到 3% 的词元，究竟有没有关系？

从现有轨迹中读不出答案。要弥合两者，需要对单题 TTT 运行做词元级别的测量，看它到底改变了哪些词元、改变了多少。讨论者表示自己还没有见过这样的测量。这是一个具体而可操作的研究缺口：把参数空间的小更新，映射回词元空间的变化分布。

这对理解 RL 推理增益意味着什么

如果 RL 的收益真的只来自极少数词元的改变，那么单题 TTT 的实验提供了一个互补视角：它用远更小的更新粒度（一个 LoRA、一个问题）去逼近同样的目标分数，并且过程可认证。两者若能通过词元级测量连接起来，就可能解释为什么小更新也能带来可观的推理提升——也许关键不在于改了多少，而在于改在了哪里。

在缺乏这种测量之前，合理的态度是：认证分数证明了单题 TTT 的有效性，但不能直接推断其机制与 RL 的 1-3% 词元现象同源。这正是该讨论最有价值的地方——它没有给出结论，而是精确地指出了一个尚未被填补的空白。