待验证50% 置信事实精确时间

在标准Transformer中，每层只计算一次KV；而循环架构的同一组层会被执行多次，若循环4次则相当于存储4份KV缓存。

1

来源数

50%

置信度

长期有效

时效性

2026/10/23

首次发现

来源

BeNice! 用KV共享为循环架构省下推理内存

涉及实体

Transformerconcept 循环架构concept

相关事实

待验证在 Transformer 推理中，KV 缓存占用的显存可达总显存的 30%-60%69% 相似已验证KV缓存的大小由三个相乘的维度决定：每条记录的大小、多少个Token合成一条、层与层之间能否共用65% 相似待验证KV缓存存储Transformer注意力计算中的键值对，随序列长度线性增长64% 相似待验证使用 KV Cache 后每轮 Q 投影只需计算 1×D_k 的向量，而无缓存时需计算 N×D_k 的完整矩阵63% 相似待验证使用非GQA架构（KV头数等于查询头数）在相同条件下的KV缓存是GQA的4倍62% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1088242

API

curl https://kongchang.com/api/v1/knowledge/claims/1088242

MCP

get_claim(id=1088242)