概念Gated DeltaNet
Gated DeltaNet-2
一种结合门控机制的线性注意力/状态空间模型架构,通过可更新的递归状态矩阵增量写入信息,实现线性计算与存储复杂度。
时间轴 (近 90 天)
10月20日
MemT-1.0 建立在 Metis 之上,采用 Gated DeltaNet-2 架构。
待验证50%
一种结合门控机制的线性注意力/状态空间模型架构,通过可更新的递归状态矩阵增量写入信息,实现线性计算与存储复杂度。
MemT-1.0 建立在 Metis 之上,采用 Gated DeltaNet-2 架构。