伪标签做奖励而非目标：GRPO如何提升半监督ASR鲁棒性

在只有无标注音频的领域自适应场景中，伪标签（pseudo-labeling）是主流做法：先用强教师模型转写音频，再用这些转写结果微调学生模型。但监督微调（SFT）把每个伪标签token都当作硬目标，学生模型会原封不动地继承教师的错误。一篇新研究提出，将同样的伪标签用作Group Relative Policy Optimization（GRPO）的奖励参考，而非训练目标，能显著提升对标签噪声的鲁棒性。

核心发现：GRPO在银行领域WER相对提升29.3%–56.2%

研究在银行领域进行了对比实验：使用Whisper生成的伪标签，GRPO相比SFT取得了29.3%到56.2%的相对WER（词错误率）改进。这一优势并非偶然——它在四个Whisper模型尺寸、四个教师模型家族、三个领域和四种语言上均保持一致。

更关键的是错误传递率的差异：SFT几乎100%逐字复现了教师的错误，而GRPO仅传递了27%的教师错误。这意味着GRPO有效地过滤掉了伪标签中的噪声，而SFT则将其固化进学生模型。

词错误率（WER） 是自动语音识别（ASR）中最常用的评估指标，计算方式为：将系统转写与人工参考转写对齐后，统计替换（Substitution）、删除（Deletion）和插入（Insertion）错误的词数之和，再除以参考转写的总词数。WER越低表示识别越准确。

文中提到的“相对WER改进”指相对于基线系统（此处为SFT微调后的学生模型）的WER下降比例，计算公式为：(WER_SFT - WER_GRPO) / WER_SFT × 100%。例如若SFT的WER为10%，相对改进29.3%意味着GRPO的WER降至约7.07%。相对改进的好处是便于跨不同基线难度比较，但读者需注意其绝对数值可能因基线WER高低而有不同含义。银行领域因涉及大量专业术语、数字和专有名词，整体WER通常高于通用领域，因此29.3%–56.2%的相对改进在该场景下具有实际工程价值。

为什么GRPO更抗噪：rollout统计的解释

研究通过rollout统计揭示了背后的机制。在on-policy rollout中，错误的伪标签词很少出现，因此组相对优势（group-relative advantages）始终与干净转写对齐。简而言之，GRPO利用的是模型自身采样行为与伪标签奖励之间的相对比较，错误标签在采样中天然缺乏支持，难以获得正向优势。

相反，SFT强制模型将错误伪标签纳入策略的支持集（support），这反而破坏了GRPO所依赖的奖励方差——当错误目标被强行拟合后，模型失去了区分对错的能力。这解释了为何“同样的伪标签，用法不同，效果天差地别”。

GRPO（Group Relative Policy Optimization） 是一种无需独立价值网络（critic）的强化学习优化算法，最初由DeepSeek^广告团队提出用于大语言模型推理能力训练。其核心思想是：对同一输入采样一组（group）多个输出（rollout），以组内各输出的奖励均值作为基线，计算每个输出的相对优势（advantage = 该输出奖励 - 组内平均奖励），再据此更新策略。

与PPO需要训练一个与策略同规模的价值模型来估计基线不同，GRPO用组内统计量替代基线，显著降低了显存和计算开销。在本研究中，“奖励”来自伪标签：学生模型对无标注音频采样的转写与教师伪标签越一致，奖励越高。关键在于，优势是组内相对比较的结果——如果某个错误伪标签词在多次采样中很少出现，那么包含该词的采样不会获得正向优势，模型自然不会去拟合这个错误。这正是GRPO抗噪的算法根源。

方法启示：半监督ASR的范式转变

这项研究传递了一个清晰的信号：伪标签的价值不在于作为“标准答案”被模仿，而在于作为“评价信号”引导模型探索。对于缺乏转写数据的领域自适应任务，与其精心清洗伪标签，不如换一种使用方式——用GRPO等组相对策略优化方法，让模型在自身采样分布中相对比较，从而自然规避教师错误。

这一思路也可能推广到其他半监督序列生成任务，如机器翻译或语音翻译，只要存在一个可用的强教师模型和大量无标注数据，将伪标签从目标转为奖励参考就值得一试。

on-policy rollout 指在当前策略（即学生模型自身）的分布下采样生成序列，而非使用固定数据集或旧策略产生的离线数据。在GRPO训练ASR模型时，对每条无标注音频，学生模型会以自回归方式采样多条转写候选（rollout），这些候选反映了模型当前“认为”合理的输出分布。

on-policy采样的意义在于：如果教师伪标签中存在错误词，而学生模型在当前训练阶段本身很少生成该错误词，那么包含该词的rollout在组内就会处于劣势，不会获得正向梯度。反之，SFT直接以伪标签为目标做最大似然估计，相当于强制把错误词推入模型的支持集。因此，on-policy rollout天然构成了一道“噪声过滤器”，其过滤能力取决于学生模型自身分布与教师错误的偏离程度——这也是GRPO仅传递27%教师错误的机制解释。

实验覆盖与普适性

研究的稳健性体现在实验设计的广度：四个Whisper尺寸验证了模型规模不敏感，四个教师家族排除了单一教师偏置，三个领域和四种语言则说明了跨域跨语言的有效性。银行领域29.3%–56.2%的WER相对改进是其中最亮眼的数据点，但更重要的是趋势的一致性——GRPO在所有这些设置下都优于SFT。

对于工程实践者，这意味着在构建半监督ASR流水线时，可以保留现有的教师模型和伪标签生成流程，仅将学生模型的训练目标从SFT损失替换为GRPO奖励，就有可能获得可观的鲁棒性提升。