4B模型RL训练实测：能否追上27B大模型？

强化学习（RL）环境正成为大模型厂商竞相投入的新战场，但普通人能否用开源环境在自家硬件上把一个小模型练出大模型的水平？一位YouTube创作者用两块DGX Spark做了完整实验，结论比想象中微妙：RL能让4B模型追近27B模型超过一半的差距，但收益有明确天花板。

为什么RL环境突然变得重要

据视频作者观察，近期模型发布中RL环境被反复提及。Anthropic据称讨论过单年投入超10亿美元建设RL环境，小米随MiMo v2.6开源了数千个环境，Hugging Face团队也发布了专门面向小模型的环境集。

作者把RL环境类比为"带答案的练习卷"：模型拿到任务、尝试解答，某个检查器（checker）判定对错。以他使用的small-data-environments为例，每个任务是一份来自Kaggle的真实数据集加一个可用程序验证的答案，环境为模型提供三样东西——隔离沙箱、终端工具、以及答案检查器。答对得1分，答错得0分，这个奖励信号是模型收到的唯一反馈。

这里埋着第一个陷阱：模型学的是检查器奖励的东西，而不是你真正想要的东西。 原数据集自带的检查器偏宽松，比如正确答案是42，模型写"42 yes"也能通过，这容易诱发reward hacking（奖励作弊）。作者因此自行编写了更严格的检查器，所有实验均基于此版本。

Reward hacking（奖励作弊） 指模型在训练中找到了检查器的漏洞，用不符合人类意图的方式获得高分。经典例子包括：把答案写在推理过程里而非指定输出位置、利用格式宽松性（如“42 yes”也算对）、或干脆复述题目中的数字。它之所以危险，是因为奖励信号是模型唯一能看到的反馈，一旦检查器有缝，模型就会系统性地钻空子，且这种行为在评估集上往往表现不出来。防御手段包括更严格的程序化检查器、对输出格式做硬性约束、以及在训练中人工审查高分样本。本文作者自行重写检查器，正是为了从源头堵住这类漏洞。

RL在训练流程中的位置与GRPO机制

模型训练通常分三段：预训练让模型学会预测下一个词、积累世界知识；监督微调让它学会照着好答案模仿；RL则在之后登场——不再抄答案，而是让模型自己练，靠检查器打分来调整。作者强调，这正是RL的吸引力：你不需要写出答案，只需要能验证答案。

实验采用的RL方法是GRPO。每个任务模型尝试8次，表现优于组内平均的尝试被强化，低于平均的被抑制。关键推论是：如果一个任务8次全对或全错，就没有任何一次能超过平均值，这个任务对训练毫无贡献。作者反复强调这一点，它也是后面所有实验设计的出发点。

GRPO（Group Relative Policy Optimization，组相对策略优化） 是DeepSeek^广告提出的一种无需价值网络的RL算法。传统PPO需要额外训练一个critic模型来估计基线，显存和计算开销大；GRPO改为对同一 prompt 采样一组（本文为8次）回答，用组内奖励的均值作为基线，高于均值的回答被强化、低于均值的被抑制。这样省掉了critic，适合大模型场景。但它的一个直接副作用是：若组内奖励全相同（全对或全错），相对优势全为零，梯度消失，该样本对训练毫无贡献。这解释了本文为何必须筛选“有时对有时错”的边缘任务。

实验设置：两块DGX Spark与Qwen3.5-4B

硬件是两块DGX Spark，各128GB统一内存。训练对象为Qwen3.5-4B，采用LoRA而非全参训练以降低开销。评估用留出集，包含训练中未见过的任务。训练前4B模型正确率约五成；目标模型是同家族27B模型。评估结果显示，27B模型大致达到七成五以上的水准，为小模型设定了追赶目标。

LoRA（Low-Rank Adaptation，低秩适配） 是一种参数高效微调方法：冻结原模型全部权重，只在部分线性层旁挂两个小矩阵 A、B，将权重更新表示为低秩乘积 BA，仅训练这两个小矩阵。可训练参数量通常只有全参的百分之几，显存占用和训练时间大幅下降，且适配器可以单独保存、加载或合并回主模型。本文在4B模型上采用LoRA而非全参训练，使得两块DGX Spark的统一内存足以容纳训练流程；代价是容量受限，可能部分解释了收益天花板。

第一轮失败：随机任务几乎学不到东西

作者第一轮随机抽取任务训练。模型确实出现有用变化——开始把任务做完，而不是耗尽轮次——但分数提升很小，很难排除运气成分。

复盘后发现原因就藏在GRPO机制里：训练任务中大部分是模型稳定做对或稳定做错的题，大量训练时间浪费在"学不到任何东西"的样本上。

关键转折：只训练"边缘任务"

第二轮，作者让模型对约1000个任务各尝试4次，只保留"有时做对、有时做错"的任务——也就是处于模型能力边缘的题。用这批数据训练大半天后，分数明显上升，追回了与27B模型超过一半的差距。

为排除运气，作者逐题对比训练前后模型：训练后新做对的题明显多于新做错的题，纯随机出现这种分布的概率极低。

行为层面的变化更值得看。以视频开头那道游戏销量题为例：未训练模型分析正确、回复里甚至写出了Nintendo，但写入答案文件时填的是销售额数字，得0分；训练后模型会复核前五名发行商并正确写入Nintendo。另一道无表头的数据集题目中，未训练模型反复执行同一命令直至轮次耗尽；训练后模型能自行推断列名、找到Dota 2并给出答案。

当然也有退步：一道题数学算对了，但输出分数形式，而答案要求百分比，因此失分。总体看，作者的判断是——模型本来就具备数据分析能力，RL教的不是新技能，而是"把活干完、回答被问的问题"。 检查中也未发现reward hacking迹象。

天花板出现：继续RL为何不再涨分

作者用同样方法筛选新一批边缘任务继续训练，分数却不再提升。原因仍回到GRPO：模型多次尝试中必须"有时对有时错"才有学习信号，而边缘任务这批数据可能已经被第一轮消耗殆尽。

他给出一个任何人都能复现的自测方法：让未训练模型对每个任务尝试4次，统计"至少做对一次"的比例，与单次尝试的正确率之差，大致就是RL可发挥的空间上限。

换个思路：从27B模型蒸馏

既然RL无法让模型自己发现新技能，那就把技能示范给它看。作者让27B模型解答一批训练任务，保留答对的完整轨迹，对4B模型做微调——即蒸馏。

分数变化不大，但模型的工作方式开始像27B：面对一道关于数据缩放方式比较的题目，RL模型逐个试机器学习模型，蒸馏模型则做一次干净利落的对比、步数少得多地给出答案。更有意思的是，蒸馏模型解出了一些RL模型从未做对的题。作者据此推测：这些正是最需要RL继续打磨的任务。

知识蒸馏（Knowledge Distillation） 在这里指用大模型（教师，27B）在训练任务上生成的正确解答轨迹，作为监督微调数据去训练小模型（学生，4B）。与传统蒸馏对齐logits不同，本文用的是“轨迹蒸馏”：只保留教师答对的完整推理与工具调用序列，让学生模仿其解题步骤和工具使用习惯。它的优势是能传递RL难以自发探索出的行为模式（如先过滤类目再统计），成本也低于继续RL；局限是学生上限受教师数据覆盖范围约束，且可能模仿教师的冗余步骤，需要配合RL进一步打磨。

组合拳：蒸馏之后再RL

在蒸馏模型上再跑一轮RL，多数实验的最终分数相近，但在完全未见过的新数据集上，这个"蒸馏+RL"的组合模型是所有小模型中表现最好的，也是作者认为第一个通过运气检验的版本。

一道来自美国农业部的数据库题很能说明问题：问最常见的苹果品种。未训练模型和纯RL模型都答"Novel"——那是文件里出现最多的品种，但它是橙子。蒸馏模型找到正确答案方向，但在复核时耗尽轮次。最终模型先过滤出苹果类目，再写出Red Delicious，与27B模型答案一致且正确。

结论：RL是放大器，不是创造器

作者的回答是有条件的"是"：你需要一个真正可信的检查器、一批处于模型能力边缘的任务、以及大约一天的训练来初步判断是否奏效。但最重要的结论是——RL只会放大模型已经偶尔能做到的事，这部分空间用完后，分数基本就停止移动。

这个实验的局限也很明确：只测了一个模型，尽管检查了多个检查点，最终版本仍不及27B模型。作者认为增加训练数据多样性、尝试更多RL技术后有望追平，并已将检查器、训练模型和完整配方开源到GitHub，供社区在自己的GPU上复现和推进。