Spectral Feedback
一种面向离散扩散模型的对齐方法，通过对已生成token进行迭代重新掩码和重新采样实现自我纠错，利用稀疏傅里叶结构高效优化编辑位置选择，主要应用于蛋白质序列设计任务
时间轴 (近 90 天)
Spectral Feedback是一种针对离散扩散模型的对齐方法，通过重新掩码和重新采样已生成的token，在反馈循环中选择需要编辑的位置，让模型迭代式地纠正自身生成结果
Spectral Feedback将编辑位置选择（重新访问哪些token）而非标签分配视为对齐问题的中心
编辑效果是相互依赖的：修改某一个token带来的影响取决于同时编辑了哪些其他token，因此必须考虑编辑集合而非孤立评估单个位置
研究发现在蛋白质反向折叠任务中，编辑集合的价值函数呈现稀疏傅里叶表示
稀疏傅里叶结构意味着尽管编辑组合空间巨大，但决定其价值的有效成分是稀疏的，使Spectral Feedback能高效学习价值函数而无需穷举所有组合
Spectral Feedback是模型无关的，可应用于预训练模型、测试时对齐模型及微调后的扩散模型，且不修改底层生成过程
在以蛋白质稳定性奖励预言机为目标的反向折叠任务中，Spectral Feedback对预训练模型使稳定蛋白质数量提升32.3%
Spectral Feedback对Best-of-10采样策略提升了24.8%
Spectral Feedback对当前最先进的RL微调扩散模型仍能带来5.8%的提升
全部知识事实 (9)
Spectral Feedback是一种针对离散扩散模型的对齐方法，通过重新掩码和重新采样已生成的token，在反馈循环中选择需要编辑的位置，让模型迭代式地纠正自身生成结果
50%待验证Spectral Feedback将编辑位置选择（重新访问哪些token）而非标签分配视为对齐问题的中心
50%待验证编辑效果是相互依赖的：修改某一个token带来的影响取决于同时编辑了哪些其他token，因此必须考虑编辑集合而非孤立评估单个位置
50%待验证研究发现在蛋白质反向折叠任务中，编辑集合的价值函数呈现稀疏傅里叶表示
50%待验证稀疏傅里叶结构意味着尽管编辑组合空间巨大，但决定其价值的有效成分是稀疏的，使Spectral Feedback能高效学习价值函数而无需穷举所有组合
50%待验证Spectral Feedback是模型无关的，可应用于预训练模型、测试时对齐模型及微调后的扩散模型，且不修改底层生成过程
50%待验证在以蛋白质稳定性奖励预言机为目标的反向折叠任务中，Spectral Feedback对预训练模型使稳定蛋白质数量提升32.3%
50%待验证Spectral Feedback对Best-of-10采样策略提升了24.8%
50%待验证Spectral Feedback对当前最先进的RL微调扩散模型仍能带来5.8%的提升
50%