[控场AI]
概念Confidence Drift Remasking / 置信漂移重掩码

CoDR

一种用于修正掩码扩散语言模型早期生成错误的无训练方法,通过置信漂移信号识别并重掩码低置信度token,再重新生成,兼容多种采样器

时间轴 (近 90 天)

10月8日

CoDR(Confidence Drift Remasking,置信漂移重掩码)是一种无需额外训练、与采样器无关的方法,用于修正扩散语言模型的早期错误

待验证50%
10月8日

k划分探测机制将已提交token位置随机划分为k个互不重叠子集,每次将一个子集重新掩码并做一次前向推理

待验证50%
10月8日

CoDR只对模型不再认可的token进行重掩码并重新生成,而非推翻整段输出重来

待验证50%
10月8日

论文在两个主干模型、四项推理与代码任务、三种基础采样器的设置下验证了CoDR

待验证50%
10月8日

在所有被评估的模型-采样器组合上,CoDR都提升了平均准确率

待验证50%
10月8日

CoDR所需的前向传播次数远少于此前的重掩码方法

待验证50%
10月8日

CoDR的代码已在GitHub(github.com/YueWu0301/CoDR)开源

待验证50%

全部知识事实 (7)

来源文章