Binary Discrete Diffusion
一种离散扩散模型,使用二进制隶属向量作为中间状态表示每个位置的候选token集合,通过连续添加与移除操作实现渐进式信息腐蚀与恢复,适用于逻辑推理和约束规划任务。
时间轴 (近 90 天)
Binary Discrete Diffusion 用二进制隶属向量表示每个位置的候选 token 集合,通过添加与移除操作逐步消解不确定性。
Binary Discrete Diffusion 在 Sudoku-Extreme、Boxoban(推箱子规划)和 graph coloring(图着色)三个约束满足任务上进行了系统评测。
在匹配架构、控制训练/采样/调参预算的条件下,二进制扩散的对称形式一致优于经过精细调优的掩码扩散和均匀扩散基线。
二进制扩散在最难的实例上提升最大,而在简单实例上各方法差距缩小。
在语言建模任务(Text8、TinyStories、OpenWebText)上,二进制扩散保持竞争力但并未显著超越基线。
腐蚀核的选择会实质性地改变反向模型学到的计算内容;当腐蚀核从一次性抹除变为渐进移除候选时,模型在相同架构下学到了不同的推理策略。
候选集表示的代价是状态空间从词表大小扩展为 2^|V| 的二进制向量,但在受控预算下收益超过了成本。
二进制扩散并非通用替代品,而是面向具有明确候选排除结构的推理任务的专用工具。
二进制向量的维度随词表线性增长,长序列和大词表场景下的内存与计算开销需要进一步评估。
论文未涉及候选集规模的自适应控制,固定词表隶属向量在开放域任务中可能不够灵活。
还有 1 条时间轴事件
全部知识事实 (11)
Binary Discrete Diffusion 用二进制隶属向量表示每个位置的候选 token 集合,通过添加与移除操作逐步消解不确定性。
50%待验证Binary Discrete Diffusion 在 Sudoku-Extreme、Boxoban(推箱子规划)和 graph coloring(图着色)三个约束满足任务上进行了系统评测。
50%待验证在匹配架构、控制训练/采样/调参预算的条件下,二进制扩散的对称形式一致优于经过精细调优的掩码扩散和均匀扩散基线。
50%待验证二进制扩散在最难的实例上提升最大,而在简单实例上各方法差距缩小。
50%待验证在语言建模任务(Text8、TinyStories、OpenWebText)上,二进制扩散保持竞争力但并未显著超越基线。
50%待验证腐蚀核的选择会实质性地改变反向模型学到的计算内容;当腐蚀核从一次性抹除变为渐进移除候选时,模型在相同架构下学到了不同的推理策略。
50%待验证候选集表示的代价是状态空间从词表大小扩展为 2^|V| 的二进制向量,但在受控预算下收益超过了成本。
50%待验证二进制扩散并非通用替代品,而是面向具有明确候选排除结构的推理任务的专用工具。
50%待验证二进制向量的维度随词表线性增长,长序列和大词表场景下的内存与计算开销需要进一步评估。
50%待验证论文未涉及候选集规模的自适应控制,固定词表隶属向量在开放域任务中可能不够灵活。
50%待验证作者将二进制扩散的候选集添加与移除操作定义为连续时间下的跳跃过程,并区分对称(添加和移除速率相同)与非对称(速率不同)两种形式。
50%