待验证60% 置信事实精确时间

本地部署大模型时，显存占用由模型权重和运行时内存（主要是KV缓存）两部分组成

2

来源数

60%

置信度

长期有效

时效性

2026/9/7

首次发现

来源

Ollama显存溢出？三个默认设置正在偷偷倍增内存占用

涉及实体

KV缓存concept 模型权重concept

相关事实

待验证端侧LLM推理中，模型权重、KV缓存和运行时必须同时容纳在设备的固定内存里77% 相似待验证本地多模型系统受内存预算支配，核心问题是所有必须同时驻留的组件（协调者、工作模型、图像生成器等）能否一起放入内存。76% 相似待验证本地部署的实际内存由量化权重、KV cache 和运行时开销三部分构成。75% 相似已验证运行本地LLM时显存容量往往比计算速度更为关键，显存容量直接决定了能运行哪些模型75% 相似待验证运行大模型除模型本身外还需预留1-2GB显存用于KV Cache（键值缓存）74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/870159

API

curl https://kongchang.com/api/v1/knowledge/claims/870159

MCP

get_claim(id=870159)