MFG：多轮反馈引导的分子优化新框架

分子优化是药物发现中的核心环节，目标是在保持分子整体结构相似的前提下，同时改善多个理化性质。传统的优化流程依赖计算或实验反馈进行迭代修改，但如何让大语言模型真正学会利用这些反馈，仍是一个开放问题。近期一篇题为《MFG: Multi-turn Feedback Guided Molecular Optimization》的研究提出了新解法。

单轮优化的局限与多轮反馈的必要性

现有的LLM分子优化方法大多聚焦于单轮生成：给定一个源分子，模型直接输出一个优化后的候选结构。这种方式忽略了一个关键事实——真实的药物化学优化往往是多轮迭代的，每一轮的结果会影响下一轮的策略。

更关键的是，即便有些工作开始尝试迭代式优化，LLM本身并没有被显式训练去利用前几轮的反馈信号。模型只是被动地接收历史信息，而非主动从中学习“哪些修改方向有效、哪些无效”。这导致优化过程容易陷入局部最优，或在多目标权衡中反复摇摆。

MFG的出发点正是弥补这一缺口：将多轮反馈引导的分子优化形式化为一个强化学习问题，让LLM在训练中学会逐步改进分子。

MFG的核心机制：反馈向量与奖励对齐

MFG框架包含两个关键设计。

反馈向量（Feedback Vector）：每一轮优化后，系统会构建一个反馈向量，捕捉两类信息——目标性质的改善程度，以及候选分子与源分子的结构相似性。这个向量作为下一轮输入的显式信号，告诉模型“上一轮做了什么、效果如何”。

反馈对齐奖励函数（Feedback-aligned Reward）：在强化学习训练中，奖励函数被设计为鼓励跨轮次的渐进式改进，而非只看最终结果。这意味着模型如果能在多轮中稳定地提升性质并保持相似性，会获得更高的累积奖励。

这两个机制的结合，使LLM从“一次性生成器”转变为“迭代优化器”。

强化学习（RL）与LLM结合的基本原理：强化学习通过让智能体在环境中执行动作、获得奖励、更新策略的循环来学习最优行为。将RL应用于LLM时，通常采用策略梯度方法（如PPO、GRPO），把LLM的文本生成视为一系列动作，用奖励函数来引导模型生成更符合目标的输出。在分子优化场景中，"动作"对应模型生成的分子结构（如SMILES字符串），"奖励"则来自目标性质改善和结构相似性的综合评估。与监督微调不同，RL允许模型探索多种优化路径，并通过累积奖励学习长期策略，这正是MFG能够训练模型跨轮次利用反馈信号的关键技术基础。

分子相似性度量：在分子优化中，保持与源分子的结构相似性至关重要，因为完全脱离母核的分子可能失去原有活性或成药性。常用的相似性度量包括Tanimoto相似度（基于Morgan指纹）、MACCS指纹相似度等。MFG的反馈向量中结构相似性维度通常采用此类指纹相似度计算，值域在0到1之间，越接近1表示与源分子越相似。相似性约束下的成功率指标，即要求生成分子在相似性高于某阈值（如0.4或0.6）的同时，满足多个目标性质的改善条件，因此该指标能综合反映模型在"改得好"与"改得像"之间的平衡能力。

基于GeLLM³O的实验验证

研究团队将MFG应用于GeLLM³O——一个面向多目标分子优化的先进LLM模型——得到了GeLLM³O-MFG。他们在十个多目标分子优化任务上进行了评估。

结果显示，GeLLM³O-MFG在相似性约束下的平均成功率达到81.50%，显著优于基础模型GeLLM³O的70.81%。这一提升说明，显式的多轮反馈训练确实让模型更善于在保持分子骨架的同时改善多个性质。

你可能没注意到，成功率指标同时考量了性质改善和结构相似性两个维度，因此81.50%的成绩意味着模型在“改得好”和“改得像”之间找到了更好的平衡。

GeLLM³O简介：GeLLM³O是一个面向多目标分子优化的先进大语言模型，其名称中的"Ge"通常指代生成（Generation），"LLM³O"则强调大语言模型在分子优化（Molecular Optimization）中的多目标（Multi-objective）能力。该模型通常基于预训练的化学语言模型（如ChemBERTa、MolT5等）进行微调，能够接受分子结构（如SMILES）和优化目标描述作为输入，输出优化后的候选分子。GeLLM³O本身已具备单轮多目标优化的能力，但在多轮迭代中缺乏利用历史反馈的显式训练机制，因此MFG将其作为基础模型，通过强化学习注入多轮反馈引导能力，形成GeLLM³O-MFG。

对AI辅助药物设计的启示

MFG的意义不仅限于分子优化任务本身。它展示了一种通用思路：当LLM被嵌入迭代式工作流时，通过强化学习让模型学会利用历史反馈，可以显著提升其在复杂多目标问题上的表现。

对于AI辅助药物设计而言，这意味着LLM不再只是生成候选结构的工具，而是可以成为真正参与优化决策的智能体。当然，目前MFG的验证仍集中在计算指标上，未来能否与湿实验反馈形成闭环，是值得关注的方向。