双重视图破解时序推理：TSLM准确率提升近9个百分点

时间序列数据无处不在，从股票走势到传感器读数，再到医疗监测信号。让语言模型能够理解和推理这类数据，是当前AI研究的一个活跃方向。但一个基础问题始终没有定论：时间序列语言模型（TSLM）的表示究竟应该保留什么信息，又该过滤掉哪些变化？

最近一篇题为《Twice Upon a Time: Complementary Representations for Time-Series Reasoning》的论文给出了一个颇具启发的答案——不要只给模型一种视图，而是同时提供两种互补的表示。

单视图的困境

现有TSLM的主流做法是将时间序列转换为单一表示后送入语言模型。常见选择包括数值序列的文本化、线图截图、或者某种归一化后的嵌入向量。这种设计隐含了一个固定的归纳偏置：模型被假定只需要看到一种“正确”的视角。

问题在于，不同的下游任务对信息的需求截然不同。预测任务可能更关心趋势和周期性等时间结构，而问答或推理任务可能需要知道具体的数值和坐标参照。单一表示无法同时满足这些矛盾的需求。论文作者正是从这一点出发，提出了“互补表示”的设计原则。

两种视图，各司其职

该模型组合了两种视觉视图。第一种是传统的线图（line plot），它保留了绝对测量值和观测坐标框架——你能从图中直接读出某个时刻的具体数值。第二种是归一化延迟嵌入（normalized delay embedding），它主动消除正向幅度缩放和偏移的影响，转而暴露时间结构的本质模式。

这两种视图的互补性体现在它们的不变性特征恰好相反。线图对数值变化敏感但对结构变化不够敏锐，延迟嵌入则对幅度和偏移不敏感但擅长捕捉周期性和动力学特征。论文通过评估时的干预实验验证了这一点：两种视图确实展现出不同的不变性轮廓。

将两个视图整合到同一个语言模型中，需要专门设计的视觉编码器。模型通过视觉token和多层级特征融合，将两种表示注入共享的语言模型骨干。这种架构选择确保了两种视图的信息不会在早期就被简单拼接而丢失各自的特性。

延迟嵌入（delay embedding） 是时间序列分析中的一个经典方法，核心思想源自Takens嵌入定理：将一个标量时间序列通过时间延迟构造出高维向量，例如把 x(t) 映射为 (x(t), x(t-τ), x(t-2τ), …)，从而在相空间中重建原动力系统的拓扑结构。这样即使只观测到一个维度，也能捕捉系统的周期性、混沌性等动力学特征。而归一化步骤（通常指减去均值、除以标准差，即z-score变换）会消除序列的绝对幅度和偏移，使嵌入结果对不同的量纲和零点不敏感。因此，归一化延迟嵌入突出的是时间序列的内在形状与动态模式，而非具体数值。论文选用这一表示，正是看中它与线图在不变性上的互补：线图保留绝对数值与坐标，而延迟嵌入剥离幅度与偏移，专注于结构。

不变性（invariance） 在此指模型表示对某类数据变换的敏感程度。例如，线图表示对垂直方向的平移（偏移）或缩放（幅度变化）非常敏感——数值一变，图形随之改变，但时间结构（如周期、趋势）的视觉特征可能变化不大。相反，归一化延迟嵌入对幅度缩放和偏移具有不变性，却对周期性、趋势等结构变化高度敏感。这种互补的不变性轮廓意味着：线图擅长回答“某时刻的具体值是多少”，而延迟嵌入擅长回答“序列呈现何种模式”。论文通过干预实验（如人为缩放或平移输入序列）观察模型性能变化，验证了两种视图确实各自承载了不同的不变性特性。这一概念是理解为何双视图优于单视图的关键。

实验结果：不只是感知提升

论文基于Qwen3-VL-8B构建了双视图模型，并在TSRBench上进行了系统评估。单视图消融实验揭示了一个关键发现：两种视图的组合不仅在基础感知任务上有益，在预测和推理任务上的增益尤为显著。

具体数据方面，仅使用线图的模型在TSRBench上达到44.5%的准确率，而双视图模型将这一数字提升到53.2%，提升幅度接近9个百分点。作为对比，论文评估中最强的专用TSLM基线仅为36.7%，双视图模型大幅超越了这一水平。

在其他基准上，模型同样表现不俗：TSExam上达到89.9%的准确率，多变量ChatTS对齐任务上取得86.8%的数值准确率。这些结果说明，互补表示不仅能提升特定任务的性能，还具有跨任务泛化的潜力。

TSRBench 是论文中用于评估时间序列推理能力的基准测试集合，通常包含多种任务类型，如预测、异常检测、数值问答和结构推理等。它旨在全面衡量模型对时间序列的理解与推理水平，而非仅仅测试感知（如识别趋势）。论文中提到的单视图线图模型在该基准上达到44.5%准确率，双视图模型提升至53.2%，而专用TSLM基线仅36.7%。这些数字表明，双视图设计在需要综合数值精度与时间模式推理的任务上优势明显。此外，ChatTS 是一个将时间序列与文本对齐的多模态任务/数据集，要求模型根据自然语言描述生成或匹配对应的时间序列数值，考察模型对时序数据的细粒度数值理解能力。双视图模型在该任务上取得86.8%的数值准确率，说明互补表示不仅利于推理，也能提升对具体数值的生成与对齐精度。

为什么这个思路值得关注

这项工作的价值不仅在于数字上的提升，更在于它提出的设计原则具有通用性。与其让研究者为每个任务精心挑选一种表示方式，不如让模型自己学会从多个视角中提取信息。这种思路与多模态学习中的互补信息融合有相似之处，但在时间序列领域的应用尚属新颖。

论文的核心结论是：互补表示让模型既能利用时间结构，又不牺牲对原始测量框架的访问能力。对于需要同时处理数值精度和时间模式推理的通用TSLM来说，这可能是比追求单一“最优表示”更务实的方向。