[控场AI]
模型

TTT-MLP

测试时训练(TTT)层的一种实现,使用MLP作为快速权重记忆,通过梯度下降在线训练,但依赖顺序分块更新,难以并行化。

时间轴 (近 90 天)

10月30日

TTT-MLP 等现有 TTT 实现依赖顺序的、分块的权重更新,运行速度比分块并行的线性循环慢数倍。

待验证50%
10月30日

在 4K 上下文下,两次精炼步骤的 PTTT 在匹配误差下评估内循环轨迹比使用分块近似的 TTT-MLP 快 32 倍。

待验证50%

全部知识事实 (2)

来源文章