SIRS
一种面向掩码扩散模型的拒绝采样方法,通过随机采样增量并利用 Rao-Blackwellization 在单次模型查询下估计整块的对数接受概率,降低查询成本与裁剪偏差。
时间轴 (近 90 天)
SIRS(Single-Increment Rejection Sampler)通过随机采样一个增量并用单次查询估计整个块的对数接受概率,从而在保持无偏性的同时降低查询成本。
SIRS 利用模型前向返回的块内所有剩余 token 的条件分布,对增量做 Rao-Blackwellization,在不需要额外查询的前提下降低估计方差。
SIRS 借助 Chen 等人(2026)提出的 Bernoulli factory,将服从 Poisson 分布的裁剪估计值转换为逐 token 的接受/拒绝决策。
SIRS 给出了误差界:数据分布与 SIRS 输出分布之间的 KL 散度被一个裁剪项加上模型的训练误差所界定。
SIRS 的采样误差界表明采样算法引入的额外偏差只与裁剪范围有关,不随块大小或并行度失控增长。
在精确 score 下并行解码需要支付块内依赖的全部代价,而 SIRS 只需支付超出裁剪范围的那部分依赖代价。
SIRS 的效果依赖于 score 估计的质量和裁剪阈值的选取,这两者在实际部署中如何调优仍是工程落地需要回答的问题。
全部知识事实 (7)
SIRS(Single-Increment Rejection Sampler)通过随机采样一个增量并用单次查询估计整个块的对数接受概率,从而在保持无偏性的同时降低查询成本。
50%待验证SIRS 利用模型前向返回的块内所有剩余 token 的条件分布,对增量做 Rao-Blackwellization,在不需要额外查询的前提下降低估计方差。
50%待验证SIRS 借助 Chen 等人(2026)提出的 Bernoulli factory,将服从 Poisson 分布的裁剪估计值转换为逐 token 的接受/拒绝决策。
50%待验证SIRS 给出了误差界:数据分布与 SIRS 输出分布之间的 KL 散度被一个裁剪项加上模型的训练误差所界定。
50%待验证SIRS 的采样误差界表明采样算法引入的额外偏差只与裁剪范围有关,不随块大小或并行度失控增长。
50%待验证在精确 score 下并行解码需要支付块内依赖的全部代价,而 SIRS 只需支付超出裁剪范围的那部分依赖代价。
50%待验证SIRS 的效果依赖于 score 估计的质量和裁剪阈值的选取,这两者在实际部署中如何调优仍是工程落地需要回答的问题。
50%