Mistral时序大模型实测：延迟达标，置信区间崩了

Mistral 发布了首个时间序列基础模型系列 Timestral，参数规模从 5M 到 209M，支持 21 分位概率预测和长达 32768 步的上下文窗口。官方宣称在三项公开预测基准上排名第一，并给出了诱人的 CPU 延迟数据。但一位开发者拿到公开权重后亲自跑了一遍，发现点预测确实出色，置信区间却远不如宣传中可靠。

命名诚实，延迟需要看线程数

开发者首先核对了 Hugging Face 上的权重文件，四个模型的参数数量与命名完全吻合（5M 对应 5.21M 参数，209M 对应 209.32M 参数）。5M 模型的配置也确认了官方数字：21 个分位节点从 0.01 到 0.99，上下文长度 32768，patch size 32。

延迟方面，官方宣称在 8 线程标准服务器 CPU 上，用 5M 模型做一天期预测仅需 10ms。开发者在自己的 2 vCPU 虚拟机上复现了相同设置（2016 步上下文、96 步预测窗口），但将 torch 限制为 2 线程。结果 5M 模型中位数为 52.4ms，28M 模型为 315.7ms。

这并非造假。10ms 乘以 4 倍线程差距约等于 40ms，与实测 52ms 在同一量级。关键在于理解前提条件："10ms" 指的是 8 线程服务器 CPU。在只有 2 核的生产侧车（sidecar）环境中，小模型每次预测应预算 50ms，28M 模型则需三分之一秒。如果面对一万个传感器，这个乘法就是你的容量规划。

分位数单调性（quantile monotonicity）要求模型输出的分位数随概率水平单调递增，即 0.1 分位不应高于 0.9 分位。许多概率预测模型通过独立预测各分位数或使用非交叉损失来近似满足该约束，但无法从架构上保证。Timestral 在 24×21 个输出中零交叉，说明其输出层或损失设计内建了单调性约束（例如通过累积分布或排序机制）。单调性是区间合法性的必要条件，但远非充分条件——区间可以严格单调却仍然过窄。因此，单调性完美并不抵消覆盖率失准的问题，两者衡量的是不同维度。

点预测精度令人信服

开发者用经典的航空乘客数据集做了零样本测试：取 1949 至 1960 年月度数据，前 120 个月作为输入，留出最后 24 个月验证。5M 模型的中位数预测 MAE 为 44.93，而季节朴素基线为 71.25，漂移基线为 91.62。

一个从未见过该序列的 5M 参数模型，MAE 比季节朴素方法低 37%，这是可以相信的真实结果。前六个月的中位数预测紧密跟踪实际值（348 对 360，332 对 342，375 对 406），说明基础预测能力扎实。

季节朴素基线（seasonal naive baseline）是时间序列预测中最常用的基准方法：对月度数据，它直接用去年同月的观测值作为预测值。其 MAE 为 71.25，意味着平均绝对误差约 71 个单位。漂移基线（drift baseline）则从首尾两点连线外推，在本例中表现更差（91.62）。零样本模型以 MAE 44.93 击败两者，说明其确实学到了跨序列的通用模式，而非仅仅记忆。不过，单条经典数据集（航空乘客）的零样本测试只能作为初步证据；GIFT-Eval 等综合基准覆盖多频率、多领域序列，更能反映泛化能力。读者应将此结果视为“可信的正面信号”，而非全面性能证明。

置信区间严重失准

问题出在概率预测的核心卖点上。Timestral 宣称"团队可以看到不确定性有多宽，据此设置告警阈值"。开发者检查了 0.1 到 0.9 分位之间的 80% 区间覆盖率。

结果触目惊心：24 个月中只有 4 个月实际值落在 80% 区间内，覆盖率 16.7%。更糟的是，覆盖率随预测步长衰减——前 12 个月为 25%，后 12 个月降至 8.3%。全部 24 个月的中位数预测都低于实际值，偏差恒定为 -44.93。区间宽度虽然从 36 扩展到 101，但扩张速度跟不上偏差积累的速度。

一个标称 80% 的区间实际只覆盖 17% 的真实值，这不是不确定性估计，而是装饰品。唯一完美兑现的结构性承诺是分位数单调性：24 乘 21 个输出中零交叉，与架构声明一致。

需要说明两个前提：这是单条月度序列，趋势异常干净，并非 GIFT-Eval 那样的综合评测；而 Mistral 的基准结果提交到了公开排行榜，任何人都可核查。此外，官方承认模型主要在合成数据上预训练，可能确实较少见到现实中那种持续复利式增长的趋势。

但这恰恰是问题所在：官方发布文章用容量规划和风险阈值来论证模型价值，而这些场景中，校准失准的区间比没有区间更危险。点预测告诉你 348，区间告诉你不用担心，现实却连续报出 360、342、406，而且永远在同一个方向。

分位数校准与覆盖率是评估概率预测的核心指标。一个标称 80% 的预测区间，理论上应包含约 80% 的真实观测值，这一性质称为校准（calibration）。覆盖率（coverage rate）即实际落入区间的观测比例，若显著低于名义水平，说明模型系统性低估不确定性（区间过窄）或存在方向性偏差。常见诊断工具包括 PIT 直方图、可靠性图以及按预测步长分组的覆盖率曲线。需注意，覆盖率检验对样本量敏感：单条序列的 24 个点只能提供粗略信号，但仍足以暴露严重失准。在生产环境中，区间过窄比区间过宽危害更大，因为它会诱使告警阈值设置过紧，导致频繁漏报。

给使用者的建议

延迟数据可信，但要记得线程数这个星号。点预测可信，5M 模型零样本 MAE 比季节朴素低 37% 是实打实的成绩。分位数区间则不可直接用于生产告警——在设置任何阈值之前，先在自己的序列上测量覆盖率。这个测量只需十一行代码，而它恰恰区分了发布公告和可用产品。

Mistral 的权重以 Modified MIT 发布，推理代码为 Apache 2.0，实测者只跑了 5M 和 28M 两个模型，未涉及 123M 和 209M。代码和环境信息均可复现。