可训练扩散场生成式SDE：密度损失优化新方法

生成式模型领域出现新进展：一种基于散度核的方法能够联合优化神经SDE的漂移场、扩散场以及初始高斯分布，并直接使用依赖于终端密度的损失函数进行训练。该方法在二维和八维高斯混合实验中展现出优于传统得分匹配生成器的性能——在相似参数量下，偏离模式的样本数量显著减少。

核心创新：可训练的扩散场与密度损失

传统基于得分匹配的生成模型（如扩散模型）通常固定前向过程的扩散系数，仅学习得分函数（即漂移项）。这项研究打破了这一限制，将SDE的漂移场和扩散场同时参数化为神经网络，并引入依赖于终端概率密度的损失函数进行联合优化。具体而言，该方法通过散度核（divergence-kernel）构建损失，使得模型能够直接最小化生成分布与目标分布之间的差异，而无需显式估计得分函数。

这种设计的巧妙之处在于：它允许模型在学习过程中自适应地调整扩散强度，从而更灵活地控制生成过程的探索与利用平衡。初始高斯分布的参数也纳入优化，进一步提升了模型对目标分布的拟合能力。

散度核（Divergence Kernel） 是衡量两个概率分布差异的一类核方法。在生成模型中，直接最小化生成分布与目标分布之间的KL散度或f散度通常需要密度比估计，计算上较困难。散度核通过将分布嵌入到再生核希尔伯特空间（RKHS），利用核均值嵌入（Kernel Mean Embedding）构造散度度量，从而避免显式的密度估计。常见的形式包括最大均值差异（MMD）及其变体。在本文方法中，散度核被用来构建一个可微的损失函数，使其梯度能够同时回传到漂移场、扩散场和初始分布参数，从而支持端到端的联合优化。这种设计为直接使用终端密度损失训练神经SDE提供了数学上的可行性。

神经SDE（Neural SDE） 是指用神经网络参数化随机微分方程的漂移项和/或扩散项的一类模型。标准形式为 dX_t = f_θ(X_t, t)dt + g_φ(X_t, t)dW_t，其中 f_θ 为漂移场（决定确定性演化趋势），g_φ 为扩散场（决定随机扰动的强度），W_t 为布朗运动。与传统扩散模型固定 g 不同，神经SDE将两者均视为可学习组件。训练神经SDE通常需要模拟路径或求解Fokker-Planck方程来获得终端密度，计算成本较高。本文通过散度核损失绕过了显式路径模拟，使得联合训练变得可行。理解漂移-扩散的协同作用，是把握该方法为何能减少离模式样本的关键。

实验表现：高斯混合分布上的优势

研究团队在二维和八维高斯混合数据集上验证了方法的有效性。实验表明，即使学习得到的是时间无关的静态场，该方法生成的样本中偏离模式（off-mode）的比例也远低于参数量相当的得分匹配生成器。所谓"偏离模式样本"，是指生成样本落在混合分布各高斯分量之外的低概率区域，这类样本通常被视为生成质量的负面指标。

该方法的表现源于漂移场和扩散场的协同作用：漂移场将样本吸引向各个模式中心，而扩散场则负责在模式之间分散多余的概率质量。这种"吸引-分散"机制有效减少了模式坍塌和离群样本，提升了生成分布的准确性。

高斯混合模型（Gaussian Mixture Model, GMM） 是评估生成模型多峰分布拟合能力的常用基准。一个K分量GMM的密度为 p(x) = Σ_{k=1}^K π_k N(x; μ_k, Σ_k)，其中 π_k 为混合权重。GMM的挑战在于模式之间的低密度区域：生成模型容易发生模式坍塌（只覆盖部分分量）或产生离模式样本（落在分量之外）。二维GMM便于可视化诊断，八维GMM则引入维度灾难，考验模型在高维空间中的泛化能力。本文选择这两个基准，正是为了检验可训练扩散场在模式覆盖和样本精度上的优势，而“离模式样本比例”是衡量多峰拟合质量的一个直观指标。

与得分匹配方法的对比分析

得分匹配生成器（如基于扩散过程的模型）通常依赖固定的噪声调度，且得分函数估计的误差会累积到生成过程中。相比之下，联合优化漂移和扩散场的方法能够根据数据分布自适应调整噪声水平，从而在复杂多峰分布上获得更精确的拟合。尤其在八维高斯混合实验中，维度升高带来的挑战被该方法的灵活性所缓解。

据实验数据，在参数量相近的情况下，该方法的离模式样本数量大幅减少，表明其在高维复杂分布生成任务中具有潜力。不过，该方法目前仅在低维高斯混合数据上验证，在图像、文本等真实高维数据上的扩展性仍需进一步研究。

得分匹配（Score Matching） 是训练扩散模型的核心技术之一。得分函数定义为对数概率密度的梯度 ∇_x log p_t(x)，它指向数据分布的高密度区域。得分匹配通过最小化模型得分与真实得分之间的Fisher散度来训练网络，无需知道归一化常数。Hyvärinen（2005）提出的去噪得分匹配和Vincent（2011）的连接得分匹配使得该目标可从数据中直接估计。然而，得分匹配的误差会在反向SDE采样过程中逐步累积，且前向噪声调度通常需人工设计。本文方法用终端密度损失替代得分匹配，避免了得分估计的中间误差，并让扩散强度自适应学习，这是其在多峰分布上表现更优的重要原因。

潜在影响与未来方向

这项工作的意义在于提供了一种新的生成模型训练范式：将SDE的扩散项也作为可学习组件，并直接优化终端密度。这为生成模型的设计开辟了新的思路——不再局限于得分匹配框架，而是通过密度损失端到端地训练随机微分方程。未来可能的研究方向包括将该方法应用于图像生成、时间序列建模等任务，以及探索更高效的散度核函数设计和训练策略。

尽管当前实验规模有限，但该方法在低维数据上展现出的优势提示了其在复杂分布建模上的潜力。随着后续研究在更高维数据和实际应用中的验证，这种可训练扩散场的生成式SDE有望成为生成模型工具箱中的重要补充。