[控场AI]
· 5 分钟阅读· 2,540 字

QiYao-I:面向不规则多元时间序列预测的流形基础模型

QiYao-I:面向不规则多元时间序列预测的流形基础模型

QiYao-I 用时间流形注意力与动态变量交互,专攻不规则异步多元时间序列预测。

QiYao-I 是一个专为不规则、异步采样多元时间序列预测设计的流形基础模型。现实数据中传感器采样间隔不一、不同变量异步记录的问题,让现有依赖规则时间步的基础模型泛化能力受限,而简单插值补齐又会引入噪声并破坏采样结构本身携带的信息。QiYao-I 提出两项核心创新:一是将真实时间戳映射到可学习流形空间并注入注意力偏置,天然编码不规则时间间隔与局部采样密度;二是具备频率感知的动态变量交互机制,在异步观测下有选择地执行跨变量消息传递,避免虚假关联。实验表明,该模型在多个真实基准上优于通用时间序列基础模型与专用不规则预测方法,并在零样本与少样本设定下展现出强泛化能力,具备真正意义上的基础模型迁移特性。

QiYao-I:面向不规则多元时间序列预测的流形基础模型

时间序列预测在金融、医疗、工业监测等场景中无处不在,但现实世界的数据往往并不「规整」。传感器采样间隔不一致、不同变量异步记录、观测缺失频发——这些「不规则」特性让大多数时间序列基础模型难以施展。arXiv 最新论文提出的 QiYao-I,正是针对这一痛点设计的一款基于流形(manifold)的基础模型。

QiYao-I 论文首页

不规则多元时间序列的核心难题

现实采集的数据常常呈现两个显著特征:不规则采样(观测点在时间轴上分布不均)与异步记录(不同变量在不同时刻被采集)。例如在重症监护场景中,心率可能每秒记录,而血液化验值可能数小时才更新一次。

现有的时间序列基础模型大多建立在规则采样序列之上,默认时间步均匀分布。当它们面对真实的不规则时间间隔和异步跨变量依赖时,泛化能力明显受限。简单地对数据做插值或补齐,不仅会引入噪声,还可能破坏原本蕴含在采样结构里的信息——采样密度本身有时就是一种有价值的信号。

QiYao-I 的两大技术创新

论文围绕「如何让模型天然理解不规则性」给出了两个关键机制。

采样条件化的时间流形注意力

QiYao-I 提出了一种采样条件化时间流形注意力机制(sampling-conditioned temporal manifold attention)。它不再把时间步当作离散的整数索引,而是将真实的时间戳映射到一个可学习的时间流形特征空间中,并将由此导出的「时间流形偏置」注入到注意力层。

这种设计让模型能够同时捕捉两类信息:一是不规则的时间间隔(两次观测相隔多久),二是局部的采样结构(某段时间内观测是密集还是稀疏)。相比将时间信息简单编码为位置向量的做法,流形表示更契合时间在连续空间中的几何本质。

「流形」(manifold)是微分几何中的核心概念,直观上指一个局部看起来像欧氏空间、但整体可能弯曲的连续空间——地球表面就是典型的二维流形。在时间序列建模中引入流形的动机在于:真实世界的时间戳并非孤立的数字,而是嵌入在某个具有几何结构的连续空间中。传统的正弦/余弦位置编码(如 Transformer 原始论文所用)是针对均匀整数步长设计的,难以表达「0.5 秒后采一次、然后 3.7 秒后又采一次」这类不规则间隔的几何关系。将时间戳映射到可学习的流形特征空间,本质上是让模型自己去发现哪种几何结构最适合描述当前数据集的时间分布规律,而非强行套用预设的周期函数。注意力层中的「流形偏置」则充当一种软性的先验:距离近的观测点在流形上也应相互靠近,天然地赋予模型对时间连续性的归纳偏置。

带频率感知的动态变量交互

第二个创新是具备频率感知能力的动态变量交互机制。在异步观测下,不同变量之间并非在每个时刻都有可对齐的信息可供交换。该机制会有选择地执行跨变量的消息传递,只在合适的条件下让变量间互通信息,从而避免在缺乏同步观测时产生虚假的跨变量关联。

频率感知的加入意味着模型能区分不同变量各自的变化节奏,这对于处理采样率差异巨大的多元数据尤为重要。

「消息传递」(message passing)源自图神经网络(GNN)领域,指节点将自身信息编码后传递给邻居节点、再由邻居聚合更新的迭代机制。在多元时间序列中,将每个变量视为图上的节点,跨变量交互就可以建模为图上的消息传递。然而异步观测带来一个关键挑战:若变量 A 在 t=1 时有观测而变量 B 在 t=1 时没有,强行让 B 向 A 传递消息可能只是在传播插值噪声。「动态」与「频率感知」两个修饰词共同解决这一问题——「动态」意味着消息传递的图结构不是固定的,而是随时间窗口和观测可用性动态构建;「频率感知」则让模型识别每个变量自身的振荡/变化周期,避免将高频变量(如心率)的短期波动误当成低频变量(如体温)的趋势信号进行传递。

实验表现与泛化能力

论文在多个真实世界的不规则多元预测基准上进行了广泛实验。结果显示,QiYao-I 相较两类对比方法均取得了更优表现:

  • 时间序列基础模型:以规则序列为前提的通用基础模型;
  • 端到端的不规则预测模型:专门为不规则数据设计的非基础模型方法。

更值得关注的是其在 zero-shot(零样本)和 few-shot(少样本) 设定下展现出的强泛化能力。这表明 QiYao-I 不只是针对某个数据集过拟合的专用模型,而是真正具备了「基础模型」应有的迁移特性——在未见过或样本极少的任务上也能保持竞争力。

零样本(zero-shot)和少样本(few-shot)评估是衡量一个模型是否真正具备「基础模型」资格的关键指标。零样本指模型在从未见过该数据集任何训练样本的情况下直接进行预测,完全依赖预训练阶段积累的通用知识;少样本则允许用极少量目标域样本(如几十条序列)做轻量微调。对于时间序列领域,这两类设定尤其有挑战性,因为不同数据集的量纲、采样率、变量含义差异极大,跨域迁移远比图像或文本困难。QiYao-I 在这两类设定下保持竞争力,说明其流形表示和动态交互机制学到的是与具体数据集无关的结构性规律,而非记忆了特定训练集的统计特征。这一特性对实际部署价值显著:新传感器接入或新医疗指标出现时,无需重新收集大量标注数据即可快速投入使用。

意义与展望

QiYao-I 的思路代表了时间序列基础模型从「规则优先」向「拥抱不规则」演进的方向。通过把时间戳映射到可学习流形、并对异步变量交互做精细化控制,它尝试在建模层面直接消化现实数据的复杂性,而不是靠预处理「强行对齐」。

对于医疗、物联网、金融高频数据等天然充满不规则采样的领域,这类方法有望降低数据工程负担,并提升预测的可靠性。当然,作为一篇新发布的预印本,其在更大规模部署、计算成本以及不同领域的稳健性方面仍有待后续验证。整体而言,它为不规则多元时间序列预测提供了一个值得关注的新基线。

#时间序列预测#基础模型#不规则时间序列#流形注意力#多元时间序列#零样本预测#QiYao-I
分享:

相关推荐