概念Multi-State Linear Attention / 多状态线性注意力
MSLA
一种线性注意力变体，将长序列切分为多个片段，每个片段压缩为独立固定大小的记忆状态，查询时只与压缩状态交互，在保持线性复杂度的同时避免单状态容量瓶颈
时间轴 (近 90 天)
10月28日
MSLA在聚合各记忆状态信息时仅依赖查询与每个片段键之间的平均对齐度，忽略对齐度在片段内部的分布情况。
待验证50%
10月28日
MERLIN同时追踪每个片段键的一阶矩和二阶矩，使查询能恢复与每个片段对齐度的均值和方差。
待验证50%