RFD4-Proteina：用奖励引导推理搜索设计蛋白质

蛋白质设计本质上是搜索问题

设计一个仅含八个氨基酸的蛋白质序列，可能的组合就超过 250 亿种。NVIDIA 开发者博客在一篇技术文章中把蛋白质设计直接定义为「搜索问题」——序列空间呈指数级爆炸，穷举不可行，任何生成模型都只能在这片空间中采样有限数量的候选。

这正是 RFD4 与 Proteina 组合出场的背景：用生成模型负责提出候选，用奖励模型负责打分，再把搜索能力叠加到推理阶段，而不是只依赖一次前向生成。

RFD4 与 Proteina 各自扮演什么角色

RFD（RoseTTAFold Diffusion）系列是蛋白质结构生成的扩散模型路线，RFD4 是这条路线上的新版本，负责从噪声中「去噪」出可折叠的蛋白骨架。Proteina 则是面向蛋白质序列与结构的生成模型。

两者叠加的工程含义是：RFD4 提供结构层面的生成先验，Proteina 提供序列层面的建模能力，而奖励模型在推理阶段对候选进行筛选与引导。作者把这一整套流程称为 reward-guided inference-time search——奖励引导的推理时搜索。

扩散模型在蛋白质结构生成中的核心机制是「加噪-去噪」：训练时对真实结构逐步加噪，模型学习逆向去噪；推理时从纯噪声出发，经多步迭代还原出结构。RFD 系列（RoseTTAFold Diffusion）将这一机制与 RoseTTAFold 的结构预测能力结合，使生成结果更符合物理可折叠性。RFD4 作为迭代版本，通常在采样效率、结构多样性和复杂度上有所改进。而 Proteina 这类序列-结构联合模型，往往采用类似语言模型或图神经网络的架构，学习序列与三维结构之间的映射关系。二者叠加的意义在于：结构先验约束了「哪些骨架是合理的」，序列模型则决定「哪些氨基酸组合能折叠成该骨架」，两者互补可减少无效搜索。

推理时搜索：把算力花在筛选而非重训

传统做法是训练一个更大的模型，或在训练目标里加入偏好。推理时搜索走的是另一条路：模型权重不动，在采样的每一步或每个候选上引入奖励信号，引导搜索方向。

这种范式的好处是模块化。奖励函数可以替换——想优化折叠稳定性就换稳定性打分器，想优化结合亲和力就换亲和力模型，而不必重新训练生成模型。代价是推理成本上升，因为需要生成和评估多个候选。文章的核心主张正是：在蛋白质设计这类搜索空间巨大的问题上，多花推理算力换来更高质量的候选，是划算的。

Best-of-N 采样是推理时搜索最简单的形式：独立生成 N 个候选，用奖励模型打分后取最高分。更精细的策略包括逐步引导（如在扩散模型的每一步去噪中注入奖励梯度）或粒子滤波式搜索。与语言模型领域的 RLHF 不同，推理时搜索不更新生成模型参数，因此不会引入训练不稳定性，也便于快速切换目标。其理论依据是：当生成模型覆盖了足够多的合理候选时，一个准确的奖励模型可以从候选中挑出高质量解，从而以推理算力换取质量提升。但这也要求奖励模型与真实目标高度对齐，否则搜索会放大奖励模型的偏差。

奖励引导如何影响采样

奖励引导的关键在于「在哪个环节介入」。介入太晚，只是对已生成结果做排序，提升有限；介入太早或太强，又会把采样压向奖励模型的偏差区域，牺牲多样性。

文章给出的思路是把奖励作为搜索过程中的引导信号，在生成候选的同时评估，逐步把搜索推向高奖励区域。这与语言模型领域的 best-of-N 采样、以及基于奖励模型的解码策略在思路上同源，只是打分对象从文本换成了蛋白质结构和序列。

在扩散模型的采样过程中，奖励引导通常通过调整去噪方向实现：在每一步预测的噪声或去噪结果上，计算奖励函数对当前样本的梯度，并将其按一定权重叠加到去噪更新中。这类似于分类器引导（classifier guidance）或无分类器引导（classifier-free guidance），但引导信号来自外部奖励模型而非条件标签。引导强度（即奖励梯度的权重）是关键超参数：过强会导致样本多样性下降、模式坍塌，过弱则引导效果不明显。实际应用中常采用退火策略，在采样早期弱引导以保持多样性，后期强引导以提升质量。

对蛋白质设计工作流的实际意义

对做蛋白质工程的团队来说，这套方法的现实价值在于把「生成」和「评估」解耦。生成模型可以保持通用，评估环节按具体项目定制——针对某个靶点、某种稳定性要求、某类表达系统调整奖励函数即可。

这也意味着工作流的瓶颈从训练转移到了奖励函数的定义质量上。奖励模型如果和真实实验目标错位，搜索越努力，偏离越远。这一点在使用此类方法时值得优先验证。

值得关注的开放问题

推理时搜索的算力开销如何随候选数量缩放，文章并未给出完整的成本曲线。奖励模型与生成模型之间的分布偏移、以及在多目标优化（稳定性、亲和力、可表达性同时约束）下如何设置奖励权重，都是实际落地时会遇到的工程细节。

蛋白质设计从「生成一个结构」走向「在巨大序列空间中定向搜索」，方法论上更接近推荐系统和组合优化，而不是单纯的生成建模。RFD4-Proteina 的组合是这一转向的一个具体样本。