待验证50% 置信事实精确时间

端侧LLM推理中，模型权重、KV缓存和运行时必须同时容纳在设备的固定内存里

1

来源数

50%

置信度

长期有效

时效性

2026/10/12

首次发现

来源

端侧大模型推理：规格表不会告诉你的真实取舍

涉及实体

KV缓存concept 端侧推理concept

相关事实

待验证本地部署大模型时，显存占用由模型权重和运行时内存（主要是KV缓存）两部分组成77% 相似已验证运行本地LLM时显存容量往往比计算速度更为关键，显存容量直接决定了能运行哪些模型73% 相似待验证决定能跑什么模型的关键是内存容量和内存速度：内存容量决定模型大小，内存速度决定每秒Token数72% 相似待验证模型运行时需要把权重加载进RAM（系统内存）或VRAM（显存），硬盘容量大并不代表模型能跑起来72% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1005165

API

curl https://kongchang.com/api/v1/knowledge/claims/1005165

MCP

get_claim(id=1005165)