概念fast-weight matrix / 快权重
快权重矩阵
一种在推理时根据输入流在线更新的权重矩阵,无需反向传播或梯度下降,用于存储跨窗口的键值关联,实现常数内存下的联想召回。
时间轴 (近 90 天)
10月19日
快权重矩阵存储跨窗口出现过的键值关联(情节式键值记忆),不是压缩后的分布式上下文。
待验证50%
10月19日
在跨窗口、跨会话联想召回任务上,注意力机制和LoRA按构造召回率为0.000,快权重矩阵三次种子跑出0.62/0.43/0.62,均值0.56;去掉矩阵后召回塌到0.008。
待验证50%
10月19日
awareliquid实验证明快权重矩阵及配套状态可跨进程序列化落盘并无损恢复(bit-exact lossless),恢复后召回结果与源进程逐位一致。
待验证50%
10月19日
快权重矩阵不会带来理解、推理或情绪,也不会提升长上下文语言建模性能,且记忆无冗余备份。
待验证50%