Lafa

Lafa是一个数据高效、扩展至8B参数的连续流语言模型，采用块式流架构。

Lafa的块式流架构中，前缀使用因果注意力，每个块内部采用双向、异步的流。

研究团队在0.5B、7B和8B三个规模上训练了Lafa，每个规模使用的token数均少于30B。

Lafa的训练从预训练的自回归模型出发，通过流训练进行适配，流训练通过多token预测效应保留甚至提升了预训练AR模型的能力。

在指令遵循、推理和编码任务上的评估显示，Lafa学到的流模型质量与自回归模型相当甚至更优。

Lafa的流模型可以蒸馏为流映射（flow maps），实现单步或少步生成，从而降低推理延迟。

Lafa设计了一种自推测解码方案，在单个模型内用基于流的草稿进行自回归验证，无需额外的草稿模型参数或内存开销。

在可比质量下，Lafa的自推测解码方案实现了自回归模型2.54倍的吞吐量，优于多token预测和离散扩散方法。

Lafa的研究表明连续流可以作为语言建模的可扩展基础，为流语言模型的实用化铺平了道路。

当前Lafa的研究仍集中在8B参数规模，更大规模下的表现有待验证。

Lafa的块式流架构中超参数（如块大小、流步数）的选择对性能的影响尚未系统分析。