潜在跳跃模型LJM：用事件驱动重构连续时间序列建模

从平滑动力学到事件驱动：时序建模的新视角

不规则观测的时间序列无处不在——金融交易、医疗监测、传感器数据,它们往往不会按照固定的时间间隔到来。处理这类数据的主流做法是连续时间潜在状态空间模型(continuous-time latent state-space models),它们通常通过一个随机初始状态加上常微分方程(ODE)的平滑演化,或者由随机微分方程(SDE)累积的布朗扰动来表达不确定性。

这类构造对于平滑或扩散型系统非常自然,但它们有一个明显的盲区:无法直接刻画"一组有限的、未被观测到的冲击"。而在许多真实系统中,这些冲击的发生时刻、幅度以及对系统记忆的影响,本身就是不确定的。换句话说,现有方法擅长描述"连续渐变",却难以表达"突发跳变"。

一篇新研究提出的**潜在跳跃模型(Latent Jump Models, LJMs)正是针对这一缺口而来,配套的训练方法Scan-Parallel Variational Inference(SPVI)**则解决了这类模型的效率难题。

Scan-Parallel Variational Inference for event-driven Latent Jump Models

潜在跳跃模型(LJM)的核心思路

LJM的设计围绕一个直观的物理图景展开:潜在状态在两个事件之间遵循封闭形式的确定性动力学(closed-form deterministic dynamics)平稳演化,而在每个由泊松过程(Poisson)驱动的事件时刻,状态会经历一次学习得到的瞬时跳跃。

这个过程具有两个关键特性:

跳跃是内在状态转移,而非数值积分步骤

跳跃的强度(intensity)和标记分布(mark distribution)都是状态相关的,这使整个过程成为一个时间齐次马尔可夫过程(time-homogeneous Markov process)。与传统ODE/SDE方法最本质的区别在于——这里的跳跃是模型内在的状态转移,而不是数值求解器为了逼近连续轨迹而产生的离散积分步。这意味着模型在语义上真正表达了"冲击"这一概念,而非把它当作数值误差来近似。

泊松过程是刻画随机事件到达的经典数学工具：在任意长度为 $\Delta t$ 的时间窗口内，事件发生的概率由强度参数 $\lambda$ 决定，且不同时间窗口内的事件相互独立。LJM 使用的是标记点过程（marked point process）的推广形式——每个事件不仅有发生时刻，还附带一个"标记"（mark），用于携带额外信息（例如冲击的幅度或方向）。更进一步，LJM 中的强度 $\lambda$ 并非常数，而是依赖于当前潜在状态，这使其成为自激励（self-exciting）或状态调制的点过程，能够表达"系统越处于某种状态，未来发生冲击的可能性越高"这类反馈机制。这与金融中的 Hawkes 过程、神经科学中的脉冲序列建模有着共同的数学根基。

封闭形式的段内动力学

由于事件之间的演化采用封闭形式的确定性动力学,模型在两次跳跃之间不需要调用昂贵的数值积分器。这为后续的高效训练奠定了基础,也是LJM能在更少的潜在状态更新下保持竞争力的根本原因。

SPVI:让跳跃模型训练快一到两个数量级

跳跃模型虽然在建模能力上有吸引力,但训练往往受制于序列化计算的瓶颈。研究者为此推导了一个可处理的事件增强路径空间证据下界(event-augmented path-space ELBO),并提出了Scan-Parallel Variational Inference。

SPVI的工作流程可以拆解为两步:

先采样完整的潜在事件配置:一个以观测为条件的变分后验(observation-conditioned variational posterior)一次性采样出完整的潜在事件配置,包括事件发生的时刻和对应的标记。
再并行评估状态递归:在事件配置确定后,使用**三角仿射扫描(triangular affine scans)**来评估状态递归。

这种设计的关键收益在于对数级的时间深度(logarithmic temporal depth)。传统序列模型的计算深度随时间步线性增长,而借助并行扫描,SPVI将这一深度压缩到对数级别,从而实现快速且可扩展的训练。

变分推断（Variational Inference, VI）是训练潜在变量模型的核心方法：由于真实后验 $p(z|x)$ 通常难以直接计算，VI 用一个参数化的近似分布 $q(z)$ 来逼近它，并最大化证据下界（ELBO, Evidence Lower BOund）作为代理目标。ELBO 可以分解为重建项与 KL 散度项之和，前者鼓励模型解释观测数据，后者约束近似后验不偏离先验太远。在 LJM 的设定中，潜在变量不仅包括连续状态轨迹，还包括离散的事件发生时刻与标记，因此需要在路径空间上定义 ELBO，即对所有可能的事件序列进行积分。SPVI 通过将这一积分转化为可采样、可并行化的计算图来绕开其计算难点。

**并行扫描（parallel scan）**是实现对数时间深度的具体算法手段，来源于并行前缀和（parallel prefix sum）技术：将长度为 $N$ 的顺序递归拆解为 $\log_2 N$ 轮并行归约，每轮内部的操作可以同时执行。三角仿射扫描是其在仿射递归（形如 $h_t = A_t h_{t-1} + b_t$）上的应用，在现代 GPU/TPU 上能够充分利用硬件并行性，将原本 $O(N)$ 的序列深度压缩至 $O(\log N)$，这正是 SPVI 获得一到两个数量级加速的算法基础。

实验表现:精度不降,速度大幅领先

研究在合成随机系统和真实的不规则时间序列上对LJM进行了评估,结论可以归纳为几点:

在预测精度上,LJM与连续时间潜在基线模型(continuous-time latent baselines)保持竞争力,并没有因为采用跳跃式建模而牺牲准确性。
LJM所需的潜在状态更新次数,往往少于数值求解器的求解评估次数,这体现了封闭形式段内动力学的计算优势。
最具冲击力的结果是训练速度:相比序列化的基线方法,LJM的训练快了一到两个数量级(one to two orders of magnitude)。

这组结果说明,事件驱动的建模范式不仅在表达力上提供了新选择,在工程实践的训练效率上也带来了实实在在的加速。

意义与展望

LJM的价值在于它重新定义了"不确定性"在连续时间序列模型中的表达方式。当系统的本质是由离散冲击主导——例如突发的市场波动、生理指标的骤变、设备故障的触发——用跳跃过程显式建模,比用平滑ODE或扩散SDE去"近似"要更贴合物理直觉,也更具可解释性。

而SPVI通过并行扫描将训练推进到对数时间深度,则回应了跳跃模型长期以来的实用性顾虑。能够以较低的计算代价训练出表达力强、精度有竞争力的模型,是这类方法走向实际应用的重要一步。对于处理高频、不规则、带有突发特征的时序数据的研究者和工程师而言,LJM提供了一个兼顾建模忠实度与训练效率的新工具。