CocoRNA：多智能体强化学习实现高效RNA逆设计

RNA分子通过折叠成特定的二级结构来执行生物学功能，而设计能可靠折叠成目标结构的RNA序列（即RNA逆设计）一直是计算生物学中的难点。传统方法往往面临搜索空间巨大、设计成功率低、泛化能力差等问题。近期提出的CocoRNA框架，通过合作式多智能体强化学习（Cooperative Multi-agent Reinforcement Learning）为这一难题提供了新的解决思路。

问题背景：RNA逆设计的计算挑战

RNA逆设计的核心目标是给定一个目标二级结构，找到一条核苷酸序列，使其在热力学上倾向于折叠成该结构。由于序列空间随长度指数增长（4^L），直接搜索几乎不可行。现有方法大致分为两类：基于物理模型的优化（如RNAinverse）和基于深度学习的方法（如基于序列生成模型的策略）。前者依赖启发式搜索，速度慢且容易陷入局部最优；后者虽能加速，但在未见结构上的泛化能力有限。

CocoRNA的提出正是为了同时提升成功率和设计速度，并增强对未知结构的泛化能力。

RNA二级结构是由核苷酸序列通过碱基配对（A-U、G-C、G-U）形成的局部折叠模式，通常用点括号表示法描述：配对的碱基用括号表示，未配对的用点表示。这种结构决定了RNA的稳定性、催化活性以及与其它分子的相互作用，因此设计能折叠成特定二级结构的序列具有重要应用价值，例如设计人工核酶、RNA开关或靶向RNA的药物。热力学上，给定序列的折叠倾向通常用最小自由能（MFE）模型评估，即序列倾向于形成自由能最低的结构。RNA逆设计的目标就是找到序列，使其MFE结构等于目标结构。由于序列空间随长度指数增长（4^L，L为序列长度），且MFE计算本身需要动态规划（如Zuker算法），直接穷举不可行，因此需要高效的搜索或学习方法。

CocoRNA的核心设计：分解与协作

CocoRNA的创新点在于将整体设计任务分解为多个子问题，每个子问题由多个智能体协作求解。具体来说，一条RNA序列被划分为若干片段（或区域），每个片段由一个智能体负责决策（例如选择该位置的碱基）。这种分解降低了单个智能体的动作空间维度，从而缓解了强化学习中的探索难题。

在训练阶段，CocoRNA采用集中式评论家（centralized critic）来评估全局结构信息——即当前所有智能体联合决策后形成的完整序列所对应的二级结构质量。评论家将全局奖励信号传递给各个智能体，引导它们朝着共同目标优化策略。这种“集中训练、分散执行”的范式是多智能体强化学习的经典思路，但在RNA设计任务中尚属首次系统应用。

由于智能体之间共享奖励，它们逐渐学会协同动作，避免各自为政。更重要的是，训练得到的策略能够泛化到训练中未出现过的结构，无需额外微调，这在实验部分得到了验证。

集中式评论家（centralized critic）是多智能体强化学习中的一种训练架构。在分散执行时，每个智能体只能观察到局部信息并独立选择动作；但在训练阶段，评论家可以访问全局状态（所有智能体的联合动作及环境反馈），从而更准确地评估联合动作的价值。这种设计缓解了多智能体环境中的非平稳性问题——因为每个智能体的策略都在变化，导致环境对单个智能体而言不稳定。集中式评论家通过全局视角提供稳定的学习信号，并帮助解决信用分配问题：当团队获得奖励时，评论家可以评估每个智能体对奖励的贡献，从而更有效地更新各智能体的策略。CocoRNA利用这一机制，让评论家基于完整序列的二级结构质量给出全局奖励，再分解给各片段智能体。

实验表现：成功率与速度双提升

论文在Rfam数据集上进行了评测。Rfam是一个广泛使用的RNA家族数据库，包含多种真实二级结构。实验结果显示，CocoRNA在成功率和设计速度上均显著优于当前最优方法。成功率反映了设计出的序列能否正确折叠成目标结构，而设计速度则衡量生成一条候选序列所需的时间。CocoRNA的这两个指标同时提升，说明其策略不仅有效而且高效。

此外，作者还在其他生物序列设计任务上进行了额外实验，例如蛋白质序列设计（推测），以检验框架的通用性。结果表明，CocoRNA的分解-协作思路可扩展到更广泛的复杂设计问题中，展现出跨领域的潜力。

多智能体强化学习为何适合RNA设计

RNA逆设计本质上是一个组合优化问题，且奖励稀疏（只有完整序列才能评估结构是否匹配）。多智能体分解将稀疏奖励转化为更密集的子问题奖励，同时通过集中式评论家提供全局指导，缓解了信用分配难题。此外，合作式设定鼓励智能体探索多样化的联合动作，从而增强策略的探索能力。相比单智能体方法，CocoRNA在序列空间中的搜索效率更高。

当然，该方法也存在局限。例如，分解方式（如何划分片段）可能影响性能，且训练多智能体系统需要更多计算资源。论文未详细讨论这些方面，未来值得进一步研究。

信用分配问题（credit assignment problem）是强化学习中的核心难题之一，指当团队获得一个延迟的、全局的奖励时，如何将奖励合理地分配给各个动作或智能体。在RNA逆设计中，只有完整序列折叠后与目标结构比较才能得到奖励，而序列由多个片段组成，每个片段的选择对最终结果的贡献不同。若直接将全局奖励平均分配给所有片段，学习信号会非常稀疏且噪声大。多智能体分解结合集中式评论家，可以通过反事实基线或价值分解等方法，估计每个片段对全局奖励的边际贡献，从而为每个智能体提供更精确的更新方向。这种机制使学习在稀疏奖励下仍然高效，也是CocoRNA优于单智能体方法的关键原因之一。

总结与展望

CocoRNA展示了合作式多智能体强化学习在RNA逆设计中的有效性，为生物序列设计提供了一种可扩展的新范式。其核心思想——分解任务、协作求解、全局指导——对别的结构化设计问题（如材料发现、电路设计）也有借鉴意义。随着强化学习算法和生物计算资源的进步，这类方法有望成为计算生物学家的标准工具之一。