LLaCO：竞争感知调度革新连续扩散语言模型

连续扩散模型作为非自回归文本生成的一种有前景的范式，在连续嵌入空间中展现出潜力。然而，其几何轨迹与时间进程的错位导致了严重的时序压缩问题。近期一篇论文提出LLaCO框架，通过竞争感知语义调度来解决这一核心矛盾。

连续扩散模型的时序压缩困境

连续扩散模型在连续嵌入空间中进行文本生成，沿着连续轨迹，残差token的身份直接影响去噪目标。但论文指出，几何轨迹与时间进程并不对齐，引发了严重的时序压缩。具体而言，嵌入范数的衰减导致欧氏距离产生虚假的超越现象，这意味着token竞争必须从方向性上评估。

在这个空间中，只有当有效噪声幅度超过语义分离度时，候选token才会超越源token。作者将这种成对动态形式化为竞争阈值理论（Competition Threshold Theory, CTT）。关键发现是，高维空间中的超越需要极端的噪声水平，导致标准轨迹将身份衰减集中在噪声端点附近的狭窄窗口内。

这一理论揭示了现有连续扩散模型的一个根本缺陷：token身份在去噪过程中过早或过晚地确定，无法与语义演化的自然节奏匹配。

连续扩散模型（Continuous Diffusion Models）是一类将文本生成建模为连续嵌入空间中逐步去噪过程的生成模型，区别于在离散词表上直接操作的传统离散扩散模型（如D3PM）。其基本思路是：先将离散token映射为连续向量，再在向量空间中加入高斯噪声并训练网络逆转该过程，最终通过最近邻或舍入方式还原为文本。由于嵌入空间具有几何结构，token之间的距离、方向和范数都会影响去噪决策，这使得连续扩散模型在理论上能更平滑地建模语义演化，但也引入了范数衰减、几何与时间错位等特有难题。

竞争阈值理论（CTT） 中的“超越”指的是：在去噪轨迹的某一时刻，某个候选token与源token之间的距离超过源token与目标token之间的距离，从而在最近邻意义上“取代”源token成为当前预测。在嵌入空间中，这一比较同时受方向差异和范数大小影响。当嵌入范数随时间衰减时，欧氏距离会被整体压缩，使得原本方向差异较大的token在数值上显得更接近，产生虚假超越。CTT指出，要发生真实的语义超越，有效噪声幅度必须超过候选token与源token之间的语义分离度；而在高维空间中，这一条件往往只在噪声端点附近才被满足，因此身份衰减被压缩在狭窄窗口内——这正是“时序压缩”的几何根源。

语义保留调度：对齐时间与身份衰减

为了解决时序压缩问题，论文提出了语义保留调度（Semantic Retention Scheduling, SRS），旨在将时间分配与身份衰减的进程对齐。作者还证明，现有的token身份度量本质上是这些成对交叉的统计聚合。

SRS的核心思想是根据对数秩衰减按比例重新分配去噪轨迹。这意味着模型在去噪的不同阶段，对token身份的保留和更新给予不同的时间预算，从而避免身份衰减过度集中在某一狭窄区间。这一调度策略直接针对CTT揭示的动力学特性，使时间分配更符合语义演化的实际需求。

对数秩衰减（log-rank decay）借用了排序统计中的概念：将token按其在候选分布中的竞争排名赋予递减的权重或时间预算，排名越靠前（越接近成为预测结果）的token获得越多的保留时间，而排名靠后的token衰减更快。在SRS中，这一衰减曲线被用来按比例重新分配整条去噪轨迹的时间步，使身份衰减的速率与语义演化的自然节奏相匹配，而不是让所有token的身份在噪声端点附近被集中决定。相比线性或指数衰减，对数秩衰减能在早期保留较多候选、在后期快速收敛，从而缓解时序压缩。

LLaCO框架：方向适配与球面加噪

基于上述理论，作者提出了LLaCO生成框架。LLaCO通过嵌入方向适配器和时间步条件调制，将预训练骨干网络适配到连续表示。为了在方向空间中操作，LLaCO采用球面加噪过程，将其形式化为朝向掩码偏置端点的测地线插值，从而消除范数衰减，同时保留准确的token竞争。

在SRS的引导下，LLaCO按对数秩衰减比例重新分配去噪轨迹。作为一个8B参数的模型实例，LLaCO在实验中超越了之前的连续扩散基线，并与同等规模的离散扩散模型相媲美。

球面加噪（spherical noising）是一种在单位球面上定义扩散过程的变体：每一步加噪不是简单地向嵌入向量叠加高斯噪声，而是沿球面测地线将当前向量向一个掩码偏置端点插值。测地线是球面上两点间的最短路径，等价于大圆弧。由于所有中间状态都保持在单位球面上，向量的范数恒为1，范数衰减被人为消除，token之间的比较退化为纯方向性的角度比较。这样，欧氏距离虚假超越的问题被绕开，竞争关系更准确地反映语义方向差异，也为方向适配器提供了稳定的输入几何。

对文本生成范式的启示

LLaCO的工作为连续扩散语言模型提供了一个新的理论视角：token竞争不是简单的距离比较，而是方向性的动态过程。竞争阈值理论解释了为何标准连续扩散模型难以精确控制生成时序，而语义保留调度则给出了一种原则性的解决方案。

从更广的视角看，这项研究强调了连续扩散模型中几何与时间的对齐问题。球面加噪和方向适配器的设计，为后续研究提供了可借鉴的技术路径。尽管LLaCO目前仅在8B规模上验证，但其理论框架具有通用性，可能启发更多关于连续表示下生成调度的探索。

论文的局限在于，实验主要与连续扩散基线对比，与离散扩散模型的竞争仅是“匹敌”而非超越。未来工作可能需要进一步验证LLaCO在更大规模模型和更多样化任务上的表现。