块扩散模型挑战自回归：纵向EHR预测提速1.43倍

自回归模型在纵向电子健康记录（EHR）的零样本预测中表现优异，但其严格顺序生成的方式，与临床事件在时间上聚集、相互依赖的特性存在天然矛盾。一篇新研究提出用块掩码扩散（Block Diffusion, BD）替代自回归（AR），在MIMIC-IV数据集上进行了系统对比，揭示了准确率、效率与表征质量之间的权衡关系。

研究设计与核心发现

研究团队在匹配分词方式、上下文长度、模型容量和评估条件的严格设定下，将BD与AR进行对照实验。BD将序列划分为块，在块内采用掩码扩散生成，块间保持自回归或并行结构。这种设计允许模型在块内并行去噪，从而打破严格的顺序依赖。

实验显示，BD在不同块大小下呈现清晰的质量-效率权衡：小块配置保留了AR的大部分预测性能，同时推理速度显著提升。其中B=8的代表性配置实现了约1.43倍的评估加速。这一结果对于需要实时或批量处理大量EHR序列的临床场景具有直接吸引力。

掩码扩散（Masked Diffusion） 是一类借鉴语言模型掩码预训练思想的生成范式：在训练时随机遮盖序列中的部分 token，模型学习根据剩余上下文还原被遮盖内容；生成时从全掩码或部分掩码状态出发，通过多轮迭代逐步“去噪”还原出完整序列。与自回归逐 token 从左到右生成不同，掩码扩散的每一步可以并行预测多个位置的 token，因此天然支持非顺序生成。块扩散在此基础上引入“块”的粒度：块内使用掩码扩散并行去噪，块间仍可保留顺序依赖，从而在生成顺序灵活性与长程一致性之间取得折中。

生成质量与表征学习的分离

尽管BD在生成式推演（generative rollout）的大多数设置下仍低于AR，但研究的一个重要发现是：在BD和AR表征上训练的冻结线性探针，在各类临床预测任务上表现几乎相同。

这意味着BD学到的临床表征与AR同样具有信息量。生成质量的差距并不代表表征能力的差距——对于下游预测任务，BD的表征可以直接使用，而无需承担生成式推演的精度损失。这一分离现象为BD的实际部署提供了关键论据：如果目标是分类或风险预测而非序列生成，BD的效率优势可以立即兑现。

冻结线性探针（Frozen Linear Probe） 是评估表征质量的常用方法：固定预训练模型的全部参数，仅在其输出的隐藏表征之上训练一个简单的线性分类器（或回归头），并在下游任务上评估性能。由于探针本身容量极低，其表现主要反映表征中已经蕴含的、线性可分的任务相关信息，而非探针自身的学习能力。因此，若两个模型的冻结线性探针性能接近，说明它们学到的表征在信息含量上大致相当，即便二者的生成式推演质量存在差距。这一设计将“表征好不好”与“生成像不像”两个问题解耦，是本文得出“生成质量差距不等于表征能力差距”结论的关键方法学基础。

解码策略的边际收益

研究还考察了增加去噪预算和替代解码策略的效果。结果显示，增加去噪步数带来的收益递减，而更换解码策略的增益也相当有限。这表明当前BD配置的性能瓶颈可能不在推理阶段的算力投入，而在于模型架构或训练目标本身。

作者指出，改进迭代解码是缩小剩余生成性能差距的有希望路径。换言之，BD的效率优势已经确立，但要在生成质量上追平AR，需要更聪明的解码算法而非简单的算力堆叠。

生成式推演（Generative Rollout） 指模型从初始状态出发、按自身生成过程逐步展开得到完整序列的推理方式。对自回归模型而言，推演即逐 token 顺序采样；对扩散模型而言，推演是从噪声或掩码状态经多步去噪还原序列的过程。推演质量通常用困惑度、序列级似然或下游任务上的端到端表现来衡量，它同时受模型架构、训练目标和解码算法影响。本文中“BD 在生成式推演上仍低于 AR”指的是端到端展开生成时的序列质量差距，而这一差距并不必然传导到冻结表征的下游预测性能，二者需要分开评估。

对纵向EHR建模的启示

纵向EHR数据的特点是事件在时间上成簇出现、彼此高度关联。AR模型的严格顺序生成假设与这一特性并不完全契合，而块扩散的块内并行机制更贴近临床事件的实际结构。

这项工作的价值在于提供了一个清晰的权衡框架：块大小控制着质量与效率的平衡点，小块偏向效率、大块偏向质量。临床部署时可以根据具体任务需求选择配置——实时预警场景倾向小块，离线分析可以承受更大块以换取质量。

研究同时提示，表征质量与生成质量可以解耦评估。在EHR基础模型的开发中，下游预测任务的性能未必需要以生成式推演的精度为代价，这为模型选型提供了更灵活的维度。