结构-残差归纳偏置:让语言模型预训练超越下一词预测

新研究提出结构-残差原则,将表征结构作为显式归纳偏置引入预训练并验证有效。
该研究质疑下一词预测是否足以让模型学到良好表征,受Kolmogorov复杂度两部分编码视角启发,提出结构-残差原则,将表征显式分解为稳定的结构部分与具体的实现细节部分。研究给出两种互补实现:边界瓶颈概念(BBC)通过边界载体路由token片段信息,连续概念(CC)则对表征几何正则化以诱导低频结构与高频残差的谱分解,并为二者推导了编码边界。实验发现BBC在早期层效果最佳,CC在后期层最有效;在GPT-2 Medium上300M token训练时结合两者使NLL改善1.44%,增益扩展至20B token仍保持。表征诊断表明BBC增强边界状态预测重要性,CC降低谱残差能量,代码已开源。
语言模型预训练长期依赖下一词预测这一单一目标,但预测行为与内部表征的学习是否应该被解耦?一篇新研究提出了“结构-残差”原则,试图将表征的结构信息作为显式的归纳偏置引入训练过程。

从下一词预测到结构显式建模
下一词预测任务驱动模型同时学习预测行为和内部表征,但研究团队质疑:表征结构本身是否应该成为一种显式的归纳偏置?受Kolmogorov复杂度的两部分编码视角启发,他们研究了结构-残差原则,将表征分解为结构部分和实现细节部分。这一思路的核心在于,让模型显式地区分哪些信息是稳定的结构,哪些是具体的实现细节,从而在预训练阶段就引导表征向更有组织的形式演化。
Kolmogorov复杂度是算法信息论中的核心概念,指生成某个对象所需的最短程序长度,用于刻画对象的内在复杂程度。其两部分编码视角将描述分为“结构部分”(规律性、可压缩的模式)与“残差部分”(无法被规律解释的随机细节),两者长度之和构成对对象的完整描述。这一视角为机器学习提供了重要启示:好的表征应当显式分离可预测的结构与不可约的噪声,而非将二者混融于同一隐空间。研究团队正是借用该思想,将语言模型内部的表征分解为结构成分与实现细节成分,把“结构应被显式建模”这一信息论直觉转化为可操作的训练目标,从而为结构-残差原则奠定了理论基础。
两种互补的实现方式:BBC与CC
研究提出了两种互补的实例化方法。边界瓶颈概念(Boundary Bottleneck Concept, BBC)将信息从token片段通过边界载体进行路由,同时保留局部自回归计算。连续概念(Continuous Concept, CC)则对表征几何进行正则化,诱导出低频结构和高频残差的谱分解。两者从不同角度实现了结构-残差原则。
研究团队为两种视角推导了编码边界,并证明当片段内路径能量消失时,多重性校正的边界注意力变得精确。这为方法提供了理论支撑,表明结构-残差偏置并非启发式技巧,而是有编码理论依据的。
谱分解(spectral decomposition)指将信号或表征分解为不同频率成分的技术,在表征几何正则化中,它对应将表征协方差矩阵的特征值视为“谱”,低频成分对应变化缓慢、跨片段稳定的结构方向,高频成分对应局部、快速变化的残差方向。CC方法通过对表征几何施加正则,压制高频残差能量、保留低频结构,相当于在隐空间中做一次“低通滤波”。理解这一点有助于把握BBC与CC的分工:BBC从信息路由的拓扑角度强化边界结构,CC则从表征的频域角度净化结构成分,二者分别对应结构-残差原则的空间与频谱两种实现。
深度偏好的显著差异
实验揭示了BBC和CC在深度偏好上的惊人差异:BBC在早期层效果最佳,而CC在后期层最为有效。这表明语言模型的不同深度层对结构信息的敏感度不同,早期层更适合处理边界结构,后期层更适合进行谱正则化。研究者在GPT-2 Medium上进行了验证:在300M训练token时,结合BBC和CC使NLL改善了1.44%,且这些增益在训练扩展至20B token时依然保持。
NLL(Negative Log-Likelihood,负对数似然)是语言建模中最常用的评估指标,数值越低表示模型对下一词的预测概率分布越接近真实分布。它与困惑度(perplexity)本质等价,后者是NLL的指数形式。文中“NLL改善1.44%”意味着在相同数据与模型规模下,结合BBC和CC使模型对真实token的平均负对数似然相对下降1.44%,属于预训练阶段较为可观的相对增益。需要说明的是,NLL的绝对改善幅度通常较小,因此评估时既看相对百分比,也关注增益能否随训练token量(从300M扩展至20B)保持稳定,后者才是判断归纳偏置是否真正有效的关键证据。
表征诊断与机制解释
表征诊断显示,BBC增加了边界状态的相对预测重要性,而CC则降低了谱残差能量。这从机制上解释了两种方法为何有效:BBC通过强化边界信息流来改善早期层表征,CC通过压制高频残差来净化后期层表征。两者结合时,模型在预训练中获得了超越下一词预测的结构化归纳偏置。
对预训练范式的启示
这项工作的意义在于,它挑战了“下一词预测足以学习良好表征”的默认假设。通过将结构-残差原则显式编码为归纳偏置,模型可以在相同数据量下获得更优的预测性能,且增益随训练规模保持稳定。代码已开源,为后续研究提供了可复现的基础。对于预训练范式的设计者而言,这提示我们:表征结构的组织方式本身可以成为优化目标的一部分,而不仅仅是预测任务的副产品。
相关推荐

Anthropic上市:1.4万亿美元估值是AI的未来还是泡沫顶点?
Anthropic即将登陆纳斯达克,估值最高1.4万亿美元,募资或超600亿美元,成为史上第二大IPO。本文拆解其营收、千亿美元账面亏损真相、算力成本、控制权设计与解禁压力,分析这场IPO对AI板块的连锁影响。

Anthropic冲刺纳斯达克:代码ANT,万亿估值能否撑住?
Anthropic正式提交S1文件冲刺纳斯达克,股票代码ANT,高盛摩根士丹利领衔承销。本文解读其营收数据、巨额算力租赁承诺、创始人投票权结构及估值博弈,分析万亿估值能否获得市场支撑。

Anthropic如何用四层叙事撑起2万亿美元估值
Anthropic预估市值两万亿美元,本文从定位理论与四层叙事结构拆解其营销策略:文明级恐惧叙事、身份叙事、产品叙事与商业叙事如何协同,以及创始人长文、技术文档、意见领袖等传播链路如何撑起AI安全守护者的估值故事。