[控场AI]
· 5 分钟阅读· 2,501 字

微调能让推理确定吗?批处理Token翻转的边界正则化实验

微调能让推理确定吗?批处理Token翻转的边界正则化实验

研究发现批处理导致零温度贪婪解码非确定,并通过边界正则化微调减少35%的token翻转。

本文探讨了零温度贪婪解码中由批处理引起的非确定性现象。作者系统测量了不同模型和数值精度下的扰动,发现扰动精确依赖于浮点尾数位:bfloat16相对float16扰动为8倍,float16相对float32为8192倍。研究还发现批处理不变性在某些张量形状下偶然发生,仅调整序列长度即可实现确定性。为缓解该问题,作者提出在微调中对top-1/top-2 logit差距施加铰链惩罚,在GSM8K上减少35%的token翻转,发散率从53.8%降至38.1%,但损失1.3-2.9个准确率点。该方法无法消除硬件扰动引起的最大翻转,完全确定性仍需推理阶段策略。

在零温度下进行贪婪解码通常被认为具有确定性,但同一提示在不同批次中却可能产生不同的token。这种由批处理引发的非确定性,是追求可复现推理时一个棘手的基础问题。近期一项研究系统性地测量了该扰动,并尝试通过微调中的边界正则化来降低其影响。

研究来源截图

批处理为何导致非确定性

在推理时,为了提升吞吐量,通常会将多个提示组成一个批次同时计算。由于不同的张量操作和数值精度,同一个提示在不同批次规模下可能得到不同的logits,进而导致贪婪解码选中不同的token。现有解决方案多在推理阶段介入,例如强制批处理不变性,但这往往以牺牲吞吐量为代价。

该研究提出了一个新角度:能否通过训练让模型对这类噪声更鲁棒,从而减少解码步骤的敏感性?

贪婪解码(greedy decoding)是语言模型生成文本时最直接的解码策略:在每个时间步,模型输出一个词汇表上的概率分布(或未归一化的logits),贪婪解码直接选取概率最高(logit最大)的token作为输出。其名称源于每一步都局部最优地选择当前最可能的词,而不考虑未来影响。在零温度(temperature=0)设置下,采样被禁用,因此贪婪解码常被认为完全确定——给定相同的输入和模型权重,输出应始终一致。然而,这种确定性假设仅在计算过程完全可复现时成立。实际推理中,由于浮点运算的非结合性、不同硬件指令集以及批处理带来的张量形状变化,logits会产生微小扰动。当top-1与top-2 token的logit差距(margin)很小时,这些扰动足以改变最大值的位置,导致输出token翻转。因此,贪婪解码的“确定性”本质上是条件性的,依赖于计算图的精确一致性。

实测扰动:精度与形状的意外影响

作者在六个模型家族和三种数值精度上刻画了扰动。两个关键的实证发现是:

  • 扰动精确地依赖于可表示的精度:bfloat16相对于float16的扰动为8.00倍,float16相对于float32为8192.0倍,这与基于尾数位的预测一致。
  • 批处理不变性在某些张量形状下偶然发生,实践者仅通过设置序列长度就能实现零非确定性。

这意味着,仅仅调整序列长度,就可能意外地获得确定性推理,而无需任何算法更改。

bfloat16(BF16)和float16(FP16)是两种常用的16位浮点格式,但位分配不同。FP16使用1位符号、5位指数和10位尾数,动态范围较窄但精度较高;BF16使用1位符号、8位指数和7位尾数,动态范围与FP32相同但精度较低。尾数位数直接决定了可表示的精度,进而影响数值运算中的舍入误差。文中提到的“扰动精确依赖于可表示的精度”正源于此:BF16的尾数比FP16少3位,因此其相对扰动约为FP16的2^3=8倍;FP16的尾数比FP32少13位,相对扰动约为FP32的2^13=8192倍。这些倍数与基于尾数位的理论预测完全一致,说明批处理非确定性的主要来源是浮点舍入误差,而非算法逻辑。理解这一点有助于实践者根据精度选择预期扰动水平,并解释为何低精度推理更容易出现token翻转。

边界正则化:用铰链惩罚缩小logit差距

既然扰动取决于模型top-1与top-2 logit之间的差距(margin),一个自然的想法是:训练时鼓励模型增大这个差距,使得即使存在噪声,top-1 token也不容易被翻转。

作者采用了对top-1/top-2 logit差距的铰链惩罚(hinge penalization),惩罚尺度设置为测量到的噪声分位数的两倍。在GSM8K数据集上,该方法将token翻转减少了35%,发散率从53.8%降至38.1%,代价是1.3到2.9个准确率点的下降,且准确率损失随margin尺寸单调增加。

该方法并未影响实现确定性所需的差距阈值:幸存翻转的logit差距保持不变(所有实验组的中位数均为0.125),因为铰链惩罚是软惩罚,最大的硬件扰动依然存在。

铰链惩罚(hinge penalization)源于支持向量机中的铰链损失(hinge loss),其形式为max(0, margin - (score_pos - score_neg)),当正确类与错误类的得分差距小于预设边界时产生惩罚,否则为零。在本研究中,作者将top-1 token视为“正确类”,top-2 token视为“竞争类”,对它们的logit差距施加铰链惩罚:若差距小于某个阈值(由测量到的噪声分位数决定),则产生损失;若差距已足够大,则不再惩罚。这种设计是“软”的,因为它只推动模型增大关键margin,而不强制所有样本达到固定差距,从而避免过度牺牲准确率。惩罚尺度设为噪声分位数的两倍,意味着训练目标是在典型噪声水平下仍保持top-1稳定。铰链惩罚的软性也解释了为何幸存翻转的logit差距中位数保持不变(0.125):它无法消除极端硬件扰动,只能减少边缘案例。

假设检验与模型适应性

研究还拒绝了七个假设,其中包括一个按模型的可可行性诊断,该诊断在六个模型上成立,在第七个模型上被证伪。这表明该方法并非对所有模型都适用,模型间的差异需要仔细考察。

实践启示与局限

这项工作的价值在于提供了一个可操作的框架来量化批处理非确定性,并探索了训练阶段的缓解手段。然而,边界正则化只能减少翻转,无法完全消除由硬件扰动引起的非确定性。对于需要绝对确定性的场景,可能仍需结合推理阶段的批处理不变性策略。

另外,准确率与确定性之间的权衡需要根据应用场景斟酌:如果任务对准确率极为敏感,可能需要谨慎使用较大的margin惩罚。

总结

批处理引起的token翻转是零温度解码中一个容易被忽视的非确定性来源。通过测量扰动与精度的关系,并利用边界正则化进行微调,可以在牺牲少量准确率的情况下显著减少翻转。但实现完全确定性的目标,仍需要硬件与推理策略的协同改进。

#批处理非确定性#token翻转#贪婪解码确定性#边界正则化#logit差距#数值精度#GSM8K#微调
分享:

相关推荐