可解主题模型揭示：上下文学习为何先于专业化

序列模型泛化有两种截然不同的路径：一是外推训练中见过的结构，二是利用提示（prompt）适应全新任务。哪种策略占据主导，直接决定了模型在训练分布之外的行为，也控制着潜在的能力与风险边界。近期已有工作从理论上刻画了多种泛化策略，并在实证层面描述了它们随预训练数据质量与数量变化而发生的转变。然而，关于这场"策略竞争"的学习理论始终缺席——我们并不从原理上理解，为什么某个解会被优先选中。

据论文《In-Context Learning Before Specialisation: Theory of Learning in a Solvable Topic Model》，研究者在一个可解析的主题模型（topic model）中给出了这套理论。

一个模仿真实预训练数据异质性的可解模型

该模型的数据生成方式为：文档从有限个潜在主题的混合分布中采样。这种设定并非随意选取——它刻意模仿了现代预训练语料的核心特征：异质性。真实数据往往混杂着多个领域、多种风格、多类语义簇，而有限混合主题模型正是这类结构的极简可解版本。

关键之处在于，这样一个数据集天然包含两个不同的"解"：

• 专业化预测器（specialised predictor）：把有限的主题混合分布整体存储下来，相当于记忆训练中出现的主题结构。
• 上下文预测器（in-context predictor）：针对训练中从未见过的主题才是最优的，它依赖提示进行即时适配，而非依赖已存储的参数。

这两个解对应着序列模型两种根本不同的泛化方式，而理论要回答的正是：它们各自在什么条件下出现。

主题模型（Topic Model） 是一类用于建模文档集合潜在语义结构的概率生成模型，最经典的代表是 LDA（Latent Dirichlet Allocation）。其核心假设是：每篇文档由若干潜在"主题"混合而成，每个主题对应词表上的一个概率分布；生成文档时，先从主题混合分布中抽取主题，再从该主题的词分布中抽取词。这种结构天然产生异质性数据——不同文档来自不同主题组合，使得数据集内部存在多个语义簇。

所谓"可解"（solvable/analytically tractable），指的是在该模型下可以精确推导出各预测器的学习曲线与涌现阈值，而无需求助于近似或数值模拟。研究者选择有限混合主题模型，正是因为它在保留真实语料异质性的同时，允许对两种解的出现条件进行闭式分析，从而把"策略竞争"从经验观察提升为可证明的理论结论。

两种解在不同样本复杂度下先后涌现

该理论的核心预测是：两个解在不同的样本复杂度下涌现。

具体而言，上下文预测器很早就可用——在训练数据量尚小时就已经存在；而专业化预测器只有在训练token数量超过数据生成过程的参数量之后才会出现。

换言之，模型的泛化策略并非从一开始就固定，而是随着数据规模增长经历一次结构性的转变。早期阶段，模型更依赖上下文学习来应对任务；只有当数据量足够大到能够"记住"整个主题混合分布时，专业化解才变得可行并被选中。

这一预测给出了一个可检验的量化门槛：数据生成过程的参数量，成为两种策略切换的分界线。

样本复杂度（sample complexity） 在统计学习理论中通常指：为达到给定精度，算法所需的最小训练样本数。此处研究者关心的是反向问题——固定模型与数据生成过程，观察不同预测器随训练 token 数量增加而出现的先后顺序。

参数量阈值 的出现具有直观解释：专业化预测器本质上要把整个主题混合分布"写入"模型参数，因此其可行性取决于训练数据是否足以覆盖并确定这些参数。当 token 数少于数据生成过程的参数量时，模型无法可靠地估计全部主题结构，只能退而依赖提示中的即时信息；一旦 token 数越过该门槛，记忆整个混合分布变得可行，专业化解便在损失曲线上形成新的下降台阶。这一"数据量超过生成参数量"的条件，为两种策略的切换给出了可供实验检验的定量判据。

训练出的Transformer与理论高度吻合

理论的价值最终要落到实证上。研究者训练了Transformer模型，结果显示：

• 两个涌现尺度都被复现；
• 两者之间的分离交叉点（separating crossover）也被复现；
• 与理论的吻合程度"remarkable"，且没有拟合任何参数。

无拟合参数这一点尤其值得关注。它意味着理论并非通过调参去迎合实验曲线，而是从模型设定出发直接给出预测，实验只是验证。这种一致性大幅提升了对该理论解释力的信心。

为什么这套理论重要

从能力与风险的角度看，模型在训练分布之外的行为由主导泛化策略决定。如果一个模型主要走专业化路径，它对训练中见过的主题结构高度依赖，面对真正新颖的主题可能表现受限；如果主要走上下文学习路径，则更擅长即时适配新任务。

理解两者竞争的学习理论，意味着我们可能获得一种预测能力：在给定数据规模与生成过程复杂度的前提下，预判模型将偏向哪种策略。这对于预训练数据配比、模型规模选择，乃至对模型潜在能力的评估，都提供了原理层面的参考。

这套在可解主题模型中建立的理论，为"上下文学习为何先于专业化"给出了一个清晰的答案：不是偶然，而是样本复杂度下的必然顺序。