只训练一层Transformer就能媲美全参数RL训练？

一个反直觉的发现

在大语言模型的强化学习（RL）训练中，业界的普遍做法是对整个模型的全部参数进行更新。这个过程不仅计算成本高昂，还需要大量显存和训练时间。然而，Hacker News 上一篇引发热议的研究（142 分、38 条评论）提出了一个颇为反直觉的观点：仅训练单个 Transformer 层，其效果就能与全参数 RL 训练相媲美。

这一发现如果站得住脚，将对当前的 RLHF（基于人类反馈的强化学习）和 RLVR（基于可验证奖励的强化学习）训练范式产生深远影响。它暗示着，强化学习阶段真正被优化的能力，可能远比我们想象的更"局部化"、更"集中"。

背景补充：RLHF 与 RLVR RLHF 是当前主流大模型对齐技术的核心，由 OpenAI 在 InstructGPT 论文中系统化提出。其基本流程包括：收集人类对模型输出的偏好标注、训练奖励模型（Reward Model），再用 PPO 等强化学习算法优化语言模型。RLVR 则是近期兴起的变体，主要应用于数学、代码等有客观答案的任务——无需人工标注，直接用程序验证答案正确性作为奖励信号。DeepSeek-R1 等模型的训练均采用了这一思路，使得高质量推理模型的训练成本大幅下降。

强化学习到底改变了什么

要理解这项研究的意义，需要先厘清一个核心问题：预训练结束后，强化学习阶段究竟在模型内部改变了什么？

近期越来越多的研究表明，RL（尤其是数学、推理任务上的 RLVR）并没有真正给模型注入大量新知识，而更像是在"激发"和"对齐"模型预训练阶段已经具备的能力。换句话说，RL 更多是一种行为塑造（behavior shaping），而非知识灌输。

如果这一假设成立，那么全参数更新就显得有些"杀鸡用牛刀"——真正需要调整的，可能只是模型中负责某类决策或输出分布的一小部分参数。这项研究的核心贡献，正是通过实验证明：把优化的自由度压缩到单个 Transformer 层，模型依然能够达到接近全参数训练的性能表现。

Transformer 层的分工机制 Transformer 模型由多个堆叠的相同结构层组成，每层包含多头自注意力（Multi-Head Self-Attention）和前馈神经网络（FFN）两个核心子模块。研究表明，不同深度的层在功能上存在明显分工：浅层更多处理词法和句法特征，中层负责语义整合，深层则更多承担与任务相关的高阶推理和输出分布调控。这一分层特性是"单层训练"思路的结构基础——如果 RL 的优化目标主要是调整输出行为而非重塑底层知识表征，那么集中更新与输出最相关的特定层，在理论上具有合理性。近期的机械可解释性（Mechanistic Interpretability）研究也在持续揭示 Transformer 内部功能的局部化特征，为这类假设提供了间接支撑。

参数高效微调的延伸

这一思路与近年来火热的参数高效微调（PEFT）方法一脉相承。LoRA、Adapter、Prefix-Tuning 等技术早已证明，只需训练极少量参数就能让大模型适应下游任务。但这些方法主要应用于监督微调（SFT）场景。

PEFT 技术体系简介 参数高效微调（PEFT）是一类以极少参数改动适配大模型的技术集合。LoRA（Low-Rank Adaptation）通过在权重矩阵旁注入低秩分解矩阵，仅训练新增的少量参数；Adapter 方法在 Transformer 层间插入小型瓶颈网络；Prefix-Tuning 则在输入序列前添加可训练的软提示向量。这些方法的共同核心假设是：预训练模型的参数空间存在大量冗余，任务适配所需的有效自由度远低于全参数数量。实践中，LoRA 仅需训练不到 1% 的参数即可在多数 SFT 任务上接近全参数微调效果，大幅降低了 GPU 显存需求和训练成本。

本研究将"极致精简"的理念推向了 RL 训练——而 RL 训练通常被认为比 SFT 更不稳定、对参数更新更敏感。能在如此苛刻的场景下用单层实现性能匹配，说明强化学习信号在模型中的作用范围可能确实高度集中。

技术意义与工程价值

从工程实践角度看，如果单层 Transformer 训练能够复现全参数 RL 的效果，其带来的收益十分显著：

• 显存占用大幅下降：只需为单层维护梯度和优化器状态，可在消费级或中端硬件上完成原本需要集群的训练任务。
• 训练速度提升：反向传播的计算量显著减少，迭代周期缩短。
• 可解释性增强：将有效更新集中在特定层，为研究者理解"RL 到底在哪一层起作用"提供了新的实验抓手。

这些优势对资源有限的研究团队和中小企业尤为关键——它意味着高质量的 RL 对齐不再是大厂的专利。

社区的质疑与讨论

在 Hacker News 的 38 条评论中，社区并非一边倒地叫好，而是提出了几个值得关注的问题：

"匹配"的严格程度如何？ 一个常见的质疑是：所谓"媲美全参数训练"，是在哪些基准、哪些任务上成立的？RL 训练的评估本身存在噪声，在单一或少数几个基准上持平，未必能推广到更广泛的能力维度。

该训练哪一层？ 另一个焦点是：如果只训练一层，选哪一层至关重要。是靠近输出的最后一层、中间层，还是需要针对任务动态选择？这直接关系到方法的实用性和普适性。

是否牺牲泛化能力？ 有评论者担心，过度约束参数更新可能在特定任务上表现良好，却在分布外（OOD）场景中崩溃。

OOD 泛化的挑战 分布外（Out-of-Distribution，OOD）泛化是机器学习中的核心挑战，指模型在训练分布之外的新场景下保持性能的能力。在大模型后训练中，这一问题尤为突出：过度优化特定评测基准可能导致"基准污染"或能力退化。全参数 RL 训练虽然成本高昂，但大范围的参数更新在一定程度上提供了隐式正则化效果——多层协同调整使得单一方向的过拟合更难发生。单层训练高度集中的梯度更新，理论上更容易在目标任务上过拟合，在泛化能力上的取舍需要通过多样化的评估基准（如 MMLU、GSM8K、HumanEval 等跨领域测试集）来系统验证，而非仅凭少数基准的表现下结论。

全参数训练虽然昂贵，但其"冗余"或许正是鲁棒性的来源。

对未来训练范式的启示

无论这项研究的结论最终能否经受大规模复现的检验，它都指向了一个正在形成的共识：大模型的后训练阶段可能存在大量冗余计算。

从 LoRA 到如今的单层 RL 训练，趋势非常清晰——我们正在不断逼近"用最小改动实现最大对齐"的边界。这不仅是成本问题，更是对模型内部机制的深入理解。当我们能够精确定位"智能行为"存储和调节的位置时，训练、对齐乃至可解释性研究都将迎来新的工具。

对于关注前沿的开发者和研究者而言，这类研究提醒我们：在追逐更大模型、更多算力之前，不妨先问一句——我们真的需要更新全部参数吗？

结语

"一层是否足够"这个问题，本质上是在挑战当前大模型训练的默认假设。它可能不会立刻颠覆主流工程实践，但已为高效 RL 训练打开了一扇值得深入探索的门。在算力成本日益成为 AI 发展瓶颈的今天，任何能够大幅降低训练开销而不牺牲性能的思路，都值得社区认真对待，并以严格实验加以验证。

核心要点