概念Confidence Drift Remasking / 置信漂移重掩码
CoDR
一种用于修正掩码扩散语言模型早期生成错误的无训练方法,通过置信漂移信号识别并重掩码低置信度token,再重新生成,兼容多种采样器
时间轴 (近 90 天)
10月8日
CoDR(Confidence Drift Remasking,置信漂移重掩码)是一种无需额外训练、与采样器无关的方法,用于修正扩散语言模型的早期错误
待验证50%
10月8日
k划分探测机制将已提交token位置随机划分为k个互不重叠子集,每次将一个子集重新掩码并做一次前向推理
待验证50%
10月8日
CoDR只对模型不再认可的token进行重掩码并重新生成,而非推翻整段输出重来
待验证50%
10月8日
论文在两个主干模型、四项推理与代码任务、三种基础采样器的设置下验证了CoDR
待验证50%
10月8日
在所有被评估的模型-采样器组合上,CoDR都提升了平均准确率
待验证50%
10月8日
CoDR所需的前向传播次数远少于此前的重掩码方法
待验证50%
10月8日
CoDR的代码已在GitHub(github.com/YueWu0301/CoDR)开源
待验证50%
全部知识事实 (7)
待验证
CoDR(Confidence Drift Remasking,置信漂移重掩码)是一种无需额外训练、与采样器无关的方法,用于修正扩散语言模型的早期错误
50%待验证k划分探测机制将已提交token位置随机划分为k个互不重叠子集,每次将一个子集重新掩码并做一次前向推理
50%待验证CoDR只对模型不再认可的token进行重掩码并重新生成,而非推翻整段输出重来
50%待验证论文在两个主干模型、四项推理与代码任务、三种基础采样器的设置下验证了CoDR
50%待验证在所有被评估的模型-采样器组合上,CoDR都提升了平均准确率
50%待验证CoDR所需的前向传播次数远少于此前的重掩码方法
50%待验证CoDR的代码已在GitHub(github.com/YueWu0301/CoDR)开源
50%