待验证50% 置信事实精确时间

当KV缓存溢出GPU显存容量时，性能会呈阶跃式骤降而非平缓下降

1

来源数

50%

置信度

长期有效

时效性

2026/10/5

首次发现

来源

本地大模型跑分骗局：你需要的四个真实指标

涉及实体

KV缓存concept GPUconcept

相关事实

待验证模型权重完整驻留在GPU显存中可避免显存换入换出开销，而超过GPU显存容量的模型需要在CPU和GPU之间搬运数据导致延迟显著上升80% 相似待验证若256GB配置下GPU已是瓶颈，将内存翻倍到512GB不会提升GPU算力，加载更大模型反而推理速度更慢78% 相似待验证性能更强但单价更高的GPU，其单位token成本可能反而更低77% 相似待验证GPU 推理速度通常是纯 CPU 的 5-20 倍，当模型太大无法放入显存时部分层会卸载到内存由 CPU 处理（混合运行/partial offload）77% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/977208

API

curl https://kongchang.com/api/v1/knowledge/claims/977208

MCP

get_claim(id=977208)