概念Masked Diffusion
掩码扩散
一种生成范式,训练时随机遮盖序列中的部分 token 并学习还原,生成时从掩码状态通过多轮迭代去噪还原完整序列,支持并行预测多个位置。
时间轴 (近 90 天)
10月22日
掩码扩散在训练时随机遮盖序列中的部分token,生成时从掩码状态出发通过多轮迭代逐步去噪还原完整序列,每一步可并行预测多个位置的token。
待验证50%
10月21日
传统离散扩散(掩码扩散和均匀扩散)在单次腐蚀事件中会彻底抹去 token 身份,导致噪声状态无法表达部分不确定性(如多个候选仍有可能)。
待验证50%
10月21日
在匹配架构、控制训练/采样/调参预算的条件下,二进制扩散的对称形式一致优于经过精细调优的掩码扩散和均匀扩散基线。
待验证50%
10月14日
MANNERS项目处理半巨正则系综,同时建模连续通道(原子位置和体积)和离散通道(原子种类),离散部分采用掩码扩散模型,并推导出标签交叉熵损失,其条件期望恰好对应真实去噪后验。
待验证50%
全部知识事实 (4)
待验证
掩码扩散在训练时随机遮盖序列中的部分token,生成时从掩码状态出发通过多轮迭代逐步去噪还原完整序列,每一步可并行预测多个位置的token。
50%待验证传统离散扩散(掩码扩散和均匀扩散)在单次腐蚀事件中会彻底抹去 token 身份,导致噪声状态无法表达部分不确定性(如多个候选仍有可能)。
50%待验证在匹配架构、控制训练/采样/调参预算的条件下,二进制扩散的对称形式一致优于经过精细调优的掩码扩散和均匀扩散基线。
50%待验证MANNERS项目处理半巨正则系综,同时建模连续通道(原子位置和体积)和离散通道(原子种类),离散部分采用掩码扩散模型,并推导出标签交叉熵损失,其条件期望恰好对应真实去噪后验。
50%