球面布朗扩散：连续扩散语言模型的新几何范式

连续扩散语言模型的设计长期围绕两个耦合问题展开：如何对连续的词元表示施加噪声，以及如何在生成时逆转这一过程。近期研究开始将语言生成搬到单位球面上，利用测地线或 von Mises–Fisher（vMF）路径建模，但随之而来的疑问是：在这种几何结构上，应该选用哪种前向过程，以及这一选择相对于推理阶段的重要性究竟有多大。一篇新论文提出的「球面布朗扩散」（Spherical Brownian Diffusion）试图系统回答这个问题。

球面上的典范扩散：布朗运动作为前向过程

球面布朗扩散的核心主张是，布朗运动是球面上最自然的各向同性扩散过程。与人为设计的测地线或 vMF 路径不同，布朗运动的热半群提供了一个有原则的前向过程，同时带来了三个关键性质：一个可加的、与维度无关的噪声时钟（noise clock），以及一个精确的祖先桥（ancestral bridge）。此外，通过交叉熵学习得到的干净词元后验（clean-token posterior）可以支持多种采样器，而无需绑定到单一推理策略。

这一设计的意义在于将「如何加噪」与「如何采样」解耦。以往工作中，前向过程的几何选择常常与推理时的采样策略纠缠在一起，导致难以判断性能提升究竟来自哪一部分。布朗扩散通过提供解析上更清晰的前向过程，为这种分离创造了条件。

热半群与噪声时钟：在球面上，布朗运动的热半群由拉普拉斯-贝尔特拉米算子生成，其核函数可用球谐函数展开，从而给出解析的转移密度。这允许定义与维度无关的“噪声时钟”——即累积噪声量仅依赖时间参数，而不随数据维度变化，便于跨规模比较。祖先桥：给定终点，布朗桥描述了反向过程的精确条件分布，是扩散模型反向采样的理论基础；在球面上，由于布朗运动的对称性，祖先桥可精确表达，无需近似。这些性质共同使得前向腐蚀与反向采样在数学上可分离，为后续受控实验奠定基础。

分离腐蚀与推理：布朗与 vMF 的近似关系

为了定量区分腐蚀过程（corruption）与推理过程（inference）的贡献，作者推导了高维空间中布朗腐蚀与矩匹配 vMF 腐蚀之间的近似速率，并利用这一关系进行受控替换实验。简单来说，他们找到了两种腐蚀过程在何种条件下可以相互近似，从而能够在保持其他条件不变的情况下切换腐蚀类型，观察性能变化。

这种实验设计直接回应了领域内的一个空白：此前很多关于球面语言建模的改进，究竟是几何选择带来的，还是采样器带来的，缺乏干净的对照。论文通过近似速率给出了可操作的替换准则，使得「腐蚀」变量可以被单独控制。

矩匹配 vMF 腐蚀：von Mises–Fisher（vMF）分布是球面上的指数族分布，常被用作方向数据的噪声模型。矩匹配指调整 vMF 的浓度参数，使其一阶矩（均值方向）与布朗腐蚀后的分布相匹配。在高维极限下，布朗运动的小时间扩散可用 vMF 近似，近似速率由维度与时间尺度共同决定。这一近似关系使得研究者能在保持其他条件不变时，用 vMF 腐蚀替代布朗腐蚀，从而单独评估腐蚀几何的影响。

关键发现：采样器选择的影响远大于腐蚀过程

在 Sudoku 任务上，布朗腐蚀与矩匹配 vMF 腐蚀在四种采样器和五种预算下给出了几乎相同的结果。这意味着，至少在受控条件下，前向过程的具体几何形式对最终性能的影响有限。

相比之下，当腐蚀过程固定时，采样器选择在 180 次调用预算下产生了 25.0 个百分点的性能差距。这一对比清晰地表明，推理阶段的采样策略远比前向腐蚀的几何选择重要。

进一步地，作者利用祖先桥将采样器带来的增益拆解为两个效应：一个是在 Sudoku 和 GSM8K 上都存在的「记忆效应」（通过重新加噪状态产生），另一个是在 GSM8K 上出现的「词元选择效应」，且在小预算下最为显著。这种拆解为理解不同采样器为何有效提供了机制层面的解释。

记忆效应与词元选择效应：记忆效应指采样器在重新加噪状态时，倾向于保留已生成词元的信息，从而减少重复错误；词元选择效应则指采样器在候选词元间进行确定性或随机性选择时，对最终序列质量的影响，尤其在小预算下因探索不足而显著。祖先桥的精确性允许将采样器增益分解为这两部分，为设计更高效的推理策略提供依据。

任务类型决定最优策略：推理任务与开放生成的分野

论文还揭示了任务性质对策略偏好的影响。在推理类任务（如 GSM8K）上，类别精炼（categorical refinement）能够提升性能；而在无条件文本生成中，保持随机性的更新更有利于维持多样性。这一发现提示，连续扩散语言模型的最佳推理配置并非通用，而应随任务目标调整：追求精确推理时倾向于确定性精炼，追求生成多样性时则需要保留随机性。

从更广的视角看，这项工作的价值不仅在于提出了一个新的球面扩散过程，更在于提供了一个分析框架——通过近似速率和受控替换，将扩散语言模型的设计空间拆解为可独立评估的组件。对于后续研究而言，这意味着在改进球面语言模型时，应优先审视采样器与推理预算的配置，而非过度纠结于前向腐蚀的几何细节。

类别精炼：在连续扩散语言模型中，类别精炼指在反向过程的每一步，将连续表示投影到词元概率单纯形上，并采用确定性或低随机性的更新规则，以增强推理任务的准确性。与之相对，保持随机性的更新（如从预测分布中采样）有助于维持生成多样性。这一区分呼应了扩散模型在图像生成中“确定性采样 vs 随机采样”的经典权衡，但在语言任务中需结合具体目标调整。

要点总结

• 布朗运动作为球面上的典范各向同性扩散，提供了热半群、无维度噪声时钟和精确祖先桥等解析优势。
• 布朗与矩匹配 vMF 腐蚀在 Sudoku 上表现几乎一致，而采样器选择在相同预算下造成 25.0 个百分点的差距。
• 采样器增益可拆解为记忆效应（Sudoku、GSM8K）和词元选择效应（GSM8K，小预算下最大）。
• 推理任务受益于类别精炼，无条件生成则需要随机更新以保持多样性。