待验证50% 置信事实精确时间

自回归模型随序列长度增加，KV Cache占用线性增长，显存带宽成为制约速度的硬件瓶颈

1

来源数

50%

置信度

长期有效

时效性

2026/7/13

首次发现

来源

扩散语言模型崛起：DiffusionGemma实测速度碾压自回归模型

redditr/GoogleGeminiAI2026/7/11

相关事实

待验证卸载方案下提示处理速度和内存带宽往往成为限制因素，PCIe 带宽瓶颈会导致推理吞吐量急剧恶化75% 相似待验证超长上下文窗口的KV缓存显存占用随上下文长度线性增长，导致推理延迟和成本显著上升74% 相似待验证长文档处理中，KV Cache机制导致显存占用随上下文长度近似平方级增长69% 相似已验证移动端模型推理的速度瓶颈往往不在算力而在内存带宽69% 相似待验证在高缓存命中率场景下盲目增加GPU可能收效甚微，应先识别带宽瓶颈再优化69% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/497403

API

curl https://kongchang.com/api/v1/knowledge/claims/497403

MCP

get_claim(id=497403)