概念Causal Attention
因果注意力
Transformer 解码器的核心自注意力机制,通过下三角掩码确保位置 i 的 token 只能关注 0 到 i 的前缀,是实现逐 token 生成和前缀 KV 复用的理论基础
时间轴 (近 90 天)
10月12日
Transformer 的因果注意力机制规定每个 token 的 KV 只和它前面的所有 token 相关,因此前缀完全相同的提示词生成的 KV 完全相同,可以直接复用。
待验证50%
8月12日
Prompt缓存必须从前缀开始严格匹配,一旦中间某个token变化,其后所有token的注意力计算都会改变,已缓存的KV对随之失效
待验证50%