专业化预测器

在该可解主题模型中存在两个不同的解：专业化预测器（specialised predictor）和上下文预测器（in-context predictor）。

专业化预测器把有限的主题混合分布整体存储下来，相当于记忆训练中出现的主题结构。

该理论的核心预测是：上下文预测器很早就可用，在训练数据量尚小时就已经存在；而专业化预测器只有在训练token数量超过数据生成过程的参数量之后才会出现。