概念frequency-aware remasking
频率感知重掩码
一种扩散语言模型的解码策略,追踪每个token预测在去噪步骤中变化的频率,优先提交高频变化token以鼓励探索替代推理路径,避免坍缩到单一轨迹。
时间轴 (近 90 天)
11月10日
一篇论文提出将DLM的测试时扩展形式化为推理计算量和解码策略的自适应分配,并引入频率感知重掩码策略。
待验证50%
11月10日
该研究设计了一个两阶段方法:首先用一个快速基础采样器解决简单问题,然后将剩余困难问题交给频率感知重掩码策略处理。
待验证50%
11月10日
频率感知重掩码追踪每个token的预测在去噪步骤中变化的频率,并优先提交那些频繁变化的token。
待验证50%
11月10日
频率感知重掩码将探索(保留不确定token以尝试替代路径)与利用(提交稳定token以推进生成)进行动态平衡。
待验证50%
11月10日
对于基础确定性感知策略在100次采样后仍未解决的问题,频率感知重掩码能够恢复其中3.75%到18.75%的案例。
待验证50%
11月10日
频率感知重掩码提供了一种轻量级的解码策略调整,无需重新训练模型即可提升推理能力。
待验证50%
11月10日
频率感知重掩码与现有的确定性感知策略互补,可以结合使用。
待验证50%
全部知识事实 (7)
待验证
一篇论文提出将DLM的测试时扩展形式化为推理计算量和解码策略的自适应分配,并引入频率感知重掩码策略。
50%待验证该研究设计了一个两阶段方法:首先用一个快速基础采样器解决简单问题,然后将剩余困难问题交给频率感知重掩码策略处理。
50%待验证频率感知重掩码追踪每个token的预测在去噪步骤中变化的频率,并优先提交那些频繁变化的token。
50%待验证频率感知重掩码将探索(保留不确定token以尝试替代路径)与利用(提交稳定token以推进生成)进行动态平衡。
50%待验证对于基础确定性感知策略在100次采样后仍未解决的问题,频率感知重掩码能够恢复其中3.75%到18.75%的案例。
50%待验证频率感知重掩码提供了一种轻量级的解码策略调整,无需重新训练模型即可提升推理能力。
50%待验证频率感知重掩码与现有的确定性感知策略互补,可以结合使用。
50%