Lafa：8B参数连续流语言模型，吞吐量超AR模型2.54倍

连续流语言模型为并行生成提供了离散扩散模型所不具备的控制与加速工具，但在十亿参数规模上构建它们的有效技术仍不成熟。最新研究提出了Lafa（Large flow language model），一个数据高效、扩展至8B参数的高性能流语言模型。

架构设计：块式流与异步生成

Lafa采用块式流架构，前缀使用因果注意力，每个块内部则采用双向、异步的流。这种设计带来了两个关键优势：训练时可以通过适配预训练的自回归模型实现高效训练；推理时则能利用前缀缓存和块式并行解码实现快速生成。

与离散扩散模型不同，连续流模型允许在块内进行双向建模，同时保持前缀的因果性。这种混合注意力模式既保留了自回归模型对上下文的精确建模能力，又引入了并行生成的灵活性。

块式流（Block-wise Flow）与异步生成：块式流是一种将序列划分为固定大小块（block）的生成范式。每个块内部采用连续流（continuous flow）建模，即通过常微分方程（ODE）或流匹配（flow matching）从噪声逐步变换到数据分布；块与块之间则保持因果顺序，前缀的因果注意力确保当前块只能看到之前块的信息。异步生成指块内各位置可以并行更新，而不必严格从左到右逐token生成。这种设计使得推理时可以利用前缀缓存（prefix caching）复用已计算的前缀表示，并支持块内并行解码，从而显著降低延迟。与离散扩散模型不同，连续流在块内允许双向依赖建模，同时通过块间因果性保持自回归式的上下文控制，为并行生成提供了更灵活的加速工具。

训练效率：30B token内完成多规模训练

研究团队在0.5B、7B和8B三个规模上训练了Lafa，每个规模使用的token数均少于30B。这一数据效率显著优于之前的扩散模型——后者通常需要数百B token才能达到可比性能。

训练过程从预训练的自回归模型出发，通过流训练进行适配。这种迁移学习策略不仅节省了计算资源，还带来了一个意外收获：流训练通过多token预测效应，保留甚至提升了预训练AR模型的能力。这意味着模型在获得并行生成能力的同时，并未牺牲原有的语言理解与生成质量。

流训练（Flow Training）与多token预测效应：流训练是一种将预训练自回归模型适配为连续流模型的方法。它通过流匹配目标，学习一个从简单噪声分布到语言数据分布的连续变换过程。在训练中，模型被要求预测块内多个位置的token，这自然产生了多token预测（multi-token prediction）效应——模型不仅学习下一个token，还学习块内其他位置的token。这种密集的预测信号有助于模型捕捉更丰富的局部依赖，从而在适配过程中保留甚至提升预训练自回归模型的语言建模能力。多token预测效应也是自推测解码中草稿生成的基础，因为模型能够一次产生多个候选token，供后续验证。

性能表现：匹配AR质量，蒸馏实现少步生成

在指令遵循、推理和编码任务上的评估显示，Lafa学到的流模型质量与自回归模型相当甚至更优。更重要的是，流模型可以蒸馏为流映射（flow maps），实现单步或少步生成，进一步降低推理延迟。

这种蒸馏能力为实际部署提供了灵活性：在需要极致速度的场景下使用少步生成，在质量优先的场景下使用完整流采样。

流映射（Flow Maps）与少步生成：流映射是连续流模型的一种蒸馏形式，旨在将原本需要多步数值积分（如欧拉法）的流采样过程压缩为单步或少步映射。具体而言，流映射学习一个直接从噪声到数据的确定性变换，绕过迭代求解，从而大幅降低推理延迟。在Lafa中，流模型可以蒸馏为流映射，实现单步或少步生成，同时尽量保持生成质量。这种蒸馏能力为实际部署提供了灵活性：在需要极致速度的场景下使用少步生成，在质量优先的场景下使用完整流采样。流映射的引入使得连续流模型在推理效率上更具竞争力，也扩展了其应用范围。

自推测解码：单模型内实现2.54倍吞吐提升

研究团队利用流训练带来的多token预测效应，设计了一种自推测解码方案：在单个模型内，用基于流的草稿进行自回归验证。与需要独立草稿模型的标准推测解码不同，这种方法不需要额外的模型参数或内存开销。

实验结果显示，在可比质量下，该方案实现了自回归模型2.54倍的吞吐量，优于多token预测和离散扩散方法。这一结果说明连续流不仅能作为生成范式，还能作为加速现有AR模型的实用工具。

自推测解码（Self-Speculative Decoding）：推测解码是一种加速自回归生成的技术，通常使用一个独立的草稿模型快速生成多个候选token，再由主模型并行验证，从而在保持输出质量的同时提升吞吐量。标准推测解码需要额外的草稿模型，增加了参数和内存开销。自推测解码则在同一模型内实现草稿生成与验证：利用流训练带来的多token预测能力，模型可以基于流草稿快速产生多个候选token，然后以自回归方式并行验证这些候选。由于草稿和验证共享同一套参数，无需额外模型，因此节省了内存和计算资源。Lafa的实验表明，这种方案在可比质量下实现了自回归模型2.54倍的吞吐量，优于多token预测和离散扩散方法，说明连续流不仅能作为生成范式，还能作为加速现有AR模型的实用工具。

意义与局限

Lafa的发现表明，连续流可以作为语言建模的可扩展基础。其数据高效训练、与预训练AR模型的兼容性以及自推测解码带来的加速效果，为流语言模型的实用化铺平了道路。

不过，当前研究仍集中在8B参数规模，更大规模下的表现有待验证。此外，块式流架构中超参数（如块大小、流步数）的选择对性能的影响尚未系统分析。流模型在长上下文和复杂推理任务上的扩展性也是未来需要探索的方向。