概念remasking
重掩码
扩散语言模型迭代去噪过程中的一种操作,将已提交的token重新标记为未确定状态,使其有机会被重新预测,用于调整生成轨迹。
时间轴 (近 90 天)
11月17日
重掩码(remasking)方法需要额外的前向评估来逐步替换 token,计算开销较大。
待验证50%
11月13日
在 Sudoku 任务上,对孤立错误进行重掩码时,如果周围上下文保持不变,重新生成的结果往往还是同样的错误。
待验证50%
11月10日
重掩码指在下一步去噪前,将某些已提交的token重新标记为未确定状态,使其有机会被重新预测。
待验证50%
9月23日
连续扩散语言模型将离散 token 映射到连续嵌入空间,在该空间中执行加噪与去噪过程,最终解码回离散 token
待验证50%