[控场AI]
概念remasking

重掩码

扩散语言模型迭代去噪过程中的一种操作,将已提交的token重新标记为未确定状态,使其有机会被重新预测,用于调整生成轨迹。

时间轴 (近 90 天)

11月17日

重掩码(remasking)方法需要额外的前向评估来逐步替换 token,计算开销较大。

待验证50%
11月13日

在 Sudoku 任务上,对孤立错误进行重掩码时,如果周围上下文保持不变,重新生成的结果往往还是同样的错误。

待验证50%
11月10日

重掩码指在下一步去噪前,将某些已提交的token重新标记为未确定状态,使其有机会被重新预测。

待验证50%
9月23日

连续扩散语言模型将离散 token 映射到连续嵌入空间,在该空间中执行加噪与去噪过程,最终解码回离散 token

待验证50%

全部知识事实 (4)

来源文章