ParaTTT：并行化深度记忆的测试时训练层

测试时训练层的并行化困境

测试时训练（Test-time training, TTT）层用一个小型神经网络替代了现代循环架构中的线性快速权重记忆，该网络通过梯度下降在线训练。这种非线性记忆比 Gated DeltaNet 和 Mamba-2 的线性记忆更具表达力，但难以并行化：TTT-MLP 等现有实现依赖顺序的、分块的权重更新，运行速度比分块并行的线性循环慢数倍。此外，它们的分块执行仅近似逐 token 的在线循环，而线性循环可以进行精确的分块并行评估。

测试时训练（TTT） 是一种让模型在推理阶段也持续通过梯度下降调整内部参数的机制。其核心动机是：标准前向传播的权重在推理时冻结，模型无法针对当前输入流做自适应；TTT 则把一部分“记忆”放在可在线更新的小网络中，使其随序列推进而演化。这与“测试时增强”或“测试时适应”不同，后者通常只调整输入或少量归一化参数，而 TTT 直接对循环体内的预测网络做梯度步。

快速权重指不通过反向传播长期学习、而是在前向过程中由当前上下文即时计算出的权重。线性快速权重记忆（如 Gated DeltaNet、Mamba-2 中的状态矩阵）可写成矩阵递推，因而能分块并行；非线性快速权重则把递推封装进一个 MLP，表达力更强，但破坏了可并行化的线性结构。

分块并行是线性循环高效训练的关键技术：把长序列切成若干块，块内用并行扫描（parallel scan）或矩阵乘一次算出，块间只传递一个低维状态。Gated DeltaNet 和 Mamba-2 之所以快，正是因为其线性递推允许精确的分块并行评估。TTT-MLP 的非线性更新无法写成这种形式，只能顺序逐块做梯度步，且块内近似会偏离逐 token 的精确在线循环。

Gated DeltaNet 是 DeltaNet 的改进版，在 delta 规则（用新键值对修正旧记忆）基础上加入门控，控制记忆的写入与遗忘。Mamba-2 则是结构化状态空间模型，其核心层可视为一种带门控的线性注意力/循环，支持高效分块并行。两者都是当前线性循环架构的代表，也是 ParaTTT 的主要对比基线。

ParaTTT 的核心思路

ParaTTT（PTTT）通过迭代精炼内循环梯度轨迹的估计，来并行化任意深度的非线性记忆。从隐藏层梯度的猜测开始，每次精炼包含三个分块并行的过程：前向传播评估得到的特征轨迹；精确的 gated-delta-rule 过程计算读出轨迹及其特征梯度；反向传播将这些梯度传播为新的估计。精确的在线梯度下降循环是该迭代的不动点，而解码不需要精炼迭代。

不动点迭代是指构造一个映射，使目标解恰好是该映射的不动点，然后从任意初值反复应用映射来逼近解。ParaTTT 把精确的在线梯度下降轨迹视为“前向传播—读出—反向传播”这一复合映射的不动点：若猜测的隐藏层梯度恰好等于精确循环产生的梯度，则一次精炼后轨迹不变。因此迭代收敛即意味着并行计算复现了顺序在线训练的结果。

收缩条件是保证不动点迭代几何收敛的充分条件，直观上要求该映射对梯度的扰动具有压缩性（Lipschitz 常数小于 1）。作者证明两层变体在充分收缩时误差按几何级数衰减，这解释了为何实践中两次精炼就足够：初值（如零梯度或上一块梯度）已接近不动点，收缩把残差迅速压小。

收敛性与性能表现

作者证明了两层变体在充分收缩条件下具有几何收敛性。实践中，两次迭代就足够。在 4K 上下文下，两次精炼步骤的 PTTT 在匹配误差下评估内循环轨迹比使用分块近似的 TTT-MLP 快 32 倍，而完整的 340M 模型训练速度快 4.9 倍。在 340M 和 1.3B 参数下训练的模型在语言建模困惑度和零样本准确率上匹配或超过 Gated DeltaNet 和 Mamba-2，并与同尺寸 Transformer 保持竞争力，且比线性循环具有更好的召回能力。

困惑度（perplexity） 是语言建模的標準指标，等于平均负对数似然的指数，越低越好；零样本准确率则指模型未经下游微调、直接按任务格式作答的准确率，用于衡量通用能力。召回能力在此指模型从上下文中检索并复现早期 token 或事实的能力，是区分线性循环与 Transformer 的关键维度：线性记忆容量有限，长距离精确召回通常弱于注意力，ParaTTT 声称在此项上优于线性循环。

340M 与 1.3B 是参数量级，属于中小规模对照实验；4K 上下文指训练/评估序列长度为 4096 token。32 倍与 4.9 倍分别是内循环轨迹评估和完整模型训练的加速比，前者衡量并行化对记忆层的直接收益，后者被注意力与其他层摊薄，因而加速比更小。