离散扩散模型
一类将扩散模型应用于离散token序列的生成模型，通过前向过程逐步掩码或替换token、反向过程恢复原始序列，支持并行写入多个位置，常用于文本、语音、代码及蛋白质序列生成
时间轴 (近 90 天)
祖先采样是离散扩散模型最常用的采样方法，能严格保证生成样本服从模型分布，但需要与训练时扩散步数相当（数百到数千步）的迭代次数，且轨迹随机。
最近一篇论文提出了指数残差流（ERFs），为离散扩散模型提供了确定性ODE采样形式，并证明了其保持原扩散模型的边缘分布。
离散扩散模型（如文本、代码生成）是否存在类似的确定性ODE形式，一直是一个开放问题。
LLaCO是一个8B参数的模型实例，在实验中超越了之前的连续扩散基线，并与同等规模的离散扩散模型相媲美。
用序列级目标引导离散扩散模型时，枚举所有可能补全组合会导致计算随未解析位置数量呈指数级增长
COFFEE是一个为离散扩散模型添加序列级目标引导的即插即用框架，无需重新训练预训练模型
离散扩散模型通过多步迭代、并行解析多个token来构建完整序列，与自回归模型的从左到右逐词生成不同
MDLM、SEDD是离散扩散模型的代表性工作
ESM3、MDLM等蛋白质生成模型属于离散扩散模型架构
离散扩散模型专门处理离散数据（如氨基酸序列、DNA序列或文本），正向过程通常采用掩码机制，将序列中某些位置替换为[MASK]标记，模型在反向过程中逐步预测还原
还有 2 条时间轴事件
全部知识事实 (13)
祖先采样是离散扩散模型最常用的采样方法，能严格保证生成样本服从模型分布，但需要与训练时扩散步数相当（数百到数千步）的迭代次数，且轨迹随机。
50%待验证离散扩散模型（如文本、代码生成）是否存在类似的确定性ODE形式，一直是一个开放问题。
50%待验证LLaCO是一个8B参数的模型实例，在实验中超越了之前的连续扩散基线，并与同等规模的离散扩散模型相媲美。
50%待验证离散扩散模型通过多步迭代、并行解析多个token来构建完整序列，与自回归模型的从左到右逐词生成不同
50%待验证COFFEE是一个为离散扩散模型添加序列级目标引导的即插即用框架，无需重新训练预训练模型
50%待验证用序列级目标引导离散扩散模型时，枚举所有可能补全组合会导致计算随未解析位置数量呈指数级增长
50%待验证MDLM、SEDD是离散扩散模型的代表性工作
50%待验证离散扩散模型专门处理离散数据（如氨基酸序列、DNA序列或文本），正向过程通常采用掩码机制，将序列中某些位置替换为[MASK]标记，模型在反向过程中逐步预测还原
50%待验证ESM3、MDLM等蛋白质生成模型属于离散扩散模型架构
50%待验证传统的离散扩散模型对齐方法假设推理是单向的，token一旦被采样确定就不再重新考量，缺少让模型重新访问已确定选择的机制
50%待验证BERT的MLM是一步到位的预测且主要用于表征学习，而离散扩散模型将mask比例作为从0%到100%的连续变量构建完整马尔可夫链，通过多步迭代实现渐进式生成
50%待验证扩散模型是一类基于马尔可夫链的生成模型，核心思想是通过前向加噪和反向去噪来捕捉数据分布
50%待验证最近一篇论文提出了指数残差流（ERFs），为离散扩散模型提供了确定性ODE采样形式，并证明了其保持原扩散模型的边缘分布。
50%