待验证50% 置信事实精确时间

对于拥有32层、32头注意力的典型7B模型，每个token需约0.5MB显存存储KV Cache，生成1000个token则需额外约500MB显存

1

来源数

50%

置信度

长期有效

时效性

2026/7/13

首次发现

来源

扩散语言模型崛起：DiffusionGemma实测速度碾压自回归模型

redditr/GoogleGeminiAI2026/7/11

相关事实

待验证数千亿参数模型处理128K上下文窗口时，KV Cache可能占据数十GB显存81% 相似待验证对于一个典型的700亿参数模型，KV缓存每个词元大约占半兆（0.5MB）内存，生成10万个词元需要携带50GB的缓存81% 相似待验证KV缓存的显存占用与上下文长度、模型层数和注意力头数成正比，8K上下文下一个典型27B模型可能额外消耗2～4GB显存79% 相似待验证对于70B参数的模型，8K上下文的KV Cache可能额外占用数GB显存79% 相似待验证支持128K上下文的70B参数模型的KV Cache满负荷时可能需要数百GB显存，超过单张H100的80GB显存容量77% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/500846

API

curl https://kongchang.com/api/v1/knowledge/claims/500846

MCP

get_claim(id=500846)