预测不等于记忆：为什么复现当前预测的状态仍可能"忘记"如何学习

一个被忽视的区分：复现预测 ≠ 保留学习能力

在机器学习与在线学习的理论研究中，有一个长期被默认的直觉：如果一个记忆状态能够准确复现当前模型的所有预测，那么它似乎就"记住"了足够的信息。但这篇题为《Prediction Is Not a Sufficient Memory State》的研究提出了一个更为深刻的区分——一个能复现当前每一条预测的记忆，可能已经丧失了从下一个观测中继续学习的能力。

换句话说，"预测充分"与"学习充分"是两回事。模型此刻看起来表现一致，并不意味着它保留了继续精确更新所需的全部内在证据。这项工作精确刻画了这一差异在累积学习（cumulative learning）与注意力机制下的数学边界。

多项式损失才有有限维记忆

研究的核心结论之一，涉及何时存在固定维度的连续递归状态。对于光滑的凸残差损失（smooth convex residual loss），在特征和标签都是无约束实数的前提下，论文证明：当且仅当损失函数为多项式时，才存在一个固定维度的精确连续递归状态。

这一结果本身非常锋利。它意味着对于非多项式损失，想要用有限维状态精确承载完整的"可继续学习"信息，在数学上是不可能的——这些状态的维度需求是无界的。

维度的精确计数

对于普通的、未加权的观测，论文给出了精确的坐标数量：当损失为 $D$ 次多项式时，恰好需要 $r=\binom{d+D}{D}-1$ 个坐标。更微妙的是，即使在所有共享同一个固定当前预测器的历史中，仍然可能有多达 $r-d$ 个坐标是继续学习所必需的。

这正是"预测不等于记忆"的量化体现：固定了当前预测器（相当于固定了 $d$ 个自由度），剩余的 $r-d$ 个维度依然不能丢弃，否则后续更新会出错。预测一致的历史之间，隐藏着一道学习能力的鸿沟。

**递归状态（recursive state）**是在线学习中的核心概念：当数据逐条到来时，模型需要将过去所有观测"压缩"成一个固定结构的内部状态，以供未来更新使用。"连续递归状态"要求这个压缩映射关于数据是连续的，"固定维度"则要求状态向量的坐标数不随观测数量增长。**累积学习（cumulative learning）**是该框架的核心场景：模型在流式数据上依次更新，每一步都基于当前状态而非完整历史重新计算，因此状态的信息充分性直接决定了未来每一步更新的准确性。论文的贡献在于，它不满足于"预测一致"这一弱充分条件，而是追问：什么样的状态能保证每一步梯度更新与"见过完整历史"的模型完全一致？

非多项式损失的无界障碍

论文进一步指出，非多项式损失在这些"预测相等"的历史上有无界的状态需求。即便是有界的标量逻辑斯蒂（logistic）损失这类常见例子，在固定任意有限阶导数喷射（derivative jet）之后，这种障碍依然存在。

这对实践有警示意义：逻辑回归、分类任务中广泛使用的 logistic 损失，并不享有多项式损失那种"有限维即可精确续学"的良好性质。想要精确保留学习能力，理论上需要无界的记忆开销。

**导数喷射（derivative jet）**是微积分与微分几何中的概念，指一个函数在某点处直至第 $k$ 阶的所有偏导数构成的有序集合。在本文语境下，"固定任意有限阶导数喷射"意味着：即便我们已知损失函数关于参数的任意有限阶导数信息，对于 logistic 这类非多项式损失，依然无法用有限维状态精确捕捉学习所需的全部信息。这一结论的力度在于它排除了所有"多项式近似"的逃逸路径——任何有限截断都会在某个学习步骤上引入误差，根本原因是非多项式函数的 Taylor 展开有无穷多项，每一项都可能携带后续更新所需的独立信息。

岭回归：隐藏的证据是设计矩阵

论文用岭回归（ridge regression）给出了一个清晰的具体案例。这里的关键洞察是：真正隐藏的"证据"是设计矩阵（design matrix），而不仅仅是预测器本身。

• 仅存储预测器需要 $dp$ 的代价；
• 而精确的学习状态需要 $dp + d(d+1)/2$ 的代价。

多出来的 $d(d+1)/2$ 项，正对应着设计矩阵中二阶的协方差结构信息。它不体现在当前预测里，却决定了下一次更新该如何进行。

压缩的信息论下界

研究还给出了压缩方面的定量结果。在一个良条件的零预测族（zero-prediction family）上，最优的 $B$-比特压缩，其平均单步更新误差为 $d^{-1}2^{-2B/s_d}$ 量级，其中 $s_d=d(d+1)/2$。

值得强调的是，这个下界即使允许任意随机化编码也无法绕过。它从信息论角度划定了"用有限比特近似保留学习能力"所能达到的极限精度，把问题从"可能性"推进到了"代价几何"。

**设计矩阵（design matrix）**在回归分析中是将所有输入特征向量按行堆叠而成的矩阵，记为 $X \in \mathbb{R}^{n \times d}$。在岭回归中，最优解为 $(X^\top X + \lambda I)^{-1} X^\top y$，其中 $X^\top X$ 是 $d \times d$ 的协方差矩阵，包含 $d(d+1)/2$ 个独立元素（因其对称性）。仅存储预测器（即当前参数向量 $\hat{w} \in \mathbb{R}^d$，代价为 $dp$ 时）丢失了这一协方差结构：当新样本到来时，无法从 $\hat{w}$ 反推出 $X^\top X$，也就无从执行正确的岭回归更新。多出来的 $d(d+1)/2$ 个坐标正是存储 $X^\top X$ 所需，这是一个比预测器本身更"底层"却对续学习不可或缺的充分统计量（sufficient statistic）。

注意力机制的第二类精确闭合分类

除了累积学习，论文还将同一分析框架延伸到核注意力（kernel attention），给出了第二个精确的闭合（exact closure）分类。这意味着注意力这类现代架构核心组件，同样落在"预测充分性 vs 学习充分性"的理论版图之内。

对于关心 Transformer 与注意力机制内在表达能力的研究者而言，这类闭合分类提供了一个新的审视角度：注意力状态在何种条件下能精确承载未来更新所需的信息。

**核注意力（kernel attention）**是将注意力机制的 softmax 操作替换为一般正定核函数的变体，形式为 $\text{Attn}(Q,K,V)_i = \sum_j k(q_i, k_j) v_j / \sum_j k(q_i, k_j)$，其中 $k(\cdot,\cdot)$ 为核函数。这一框架将标准 Transformer 注意力（对应指数核）统一纳入，也包括线性注意力、多项式注意力等变体。**精确闭合（exact closure）**是指：存在一个有限维状态空间，使得注意力的序列计算可以被精确地递归表达——新 token 到来时只需更新该状态，无需重新扫描完整上下文。论文给出的分类定理回答了"何种核函数允许这种精确递归"，这与线性注意力可以用矩阵累积状态高效近似的工程实践有理论呼应，也指出了标准 softmax 注意力在此框架下的根本局限。

这项工作到底说了什么，又没说什么

作者在结尾处非常克制地界定了研究的边界——这一点值得单独指出。论文明确声明自己不是在提出一种新的回归算法，也不是在宣称训练后模型的性能提升。

它要回答的是一个更基础的理论问题：未来的更新究竟揭示了什么信息？ 哪些内容必须被记忆状态保留，哪些可以安全丢弃？这是对"记忆充分性"概念的一次精确剖析，而非工程层面的提速或增效。

这种定位反而让结论更有分量。它提醒我们：在设计任何依赖紧凑状态进行在线/增量学习的系统时，不能用"预测是否一致"作为状态是否充分的判据。真正要问的是——这个状态还能不能从下一个观测里学到东西。