模型
TTT-MLP
测试时训练(TTT)层的一种实现,使用MLP作为快速权重记忆,通过梯度下降在线训练,但依赖顺序分块更新,难以并行化。
时间轴 (近 90 天)
10月30日
TTT-MLP 等现有 TTT 实现依赖顺序的、分块的权重更新,运行速度比分块并行的线性循环慢数倍。
待验证50%
10月30日
在 4K 上下文下,两次精炼步骤的 PTTT 在匹配误差下评估内循环轨迹比使用分块近似的 TTT-MLP 快 32 倍。
待验证50%
测试时训练(TTT)层的一种实现,使用MLP作为快速权重记忆,通过梯度下降在线训练,但依赖顺序分块更新,难以并行化。
TTT-MLP 等现有 TTT 实现依赖顺序的、分块的权重更新,运行速度比分块并行的线性循环慢数倍。
在 4K 上下文下,两次精炼步骤的 PTTT 在匹配误差下评估内循环轨迹比使用分块近似的 TTT-MLP 快 32 倍。