待验证50% 置信事实精确时间

本地部署的实际内存由量化权重、KV cache 和运行时开销三部分构成。

1

来源数

50%

置信度

长期有效

时效性

2026/10/25

首次发现

来源

Underdog Saluki 27B：2-Bit量化下的工具调用实战指南

涉及实体

本地部署concept KV cacheconcept

相关事实

待验证本地部署大模型时，显存占用由模型权重和运行时内存（主要是KV缓存）两部分组成75% 相似待验证对于长上下文请求，KV cache 的数据量可达数 GB71% 相似已验证持久化KV缓存的代价是存储空间显著增加，以及如何在海量缓存中高效定位和加载相关片段的工程挑战70% 相似待验证KV cache 占用的显存随上下文长度和对话轮次增长，是长上下文部署中显存与延迟的主要来源。69% 相似待验证将CPU内存扩展为KV Cache溢出区是一种常见工程手段，代价是访问延迟上升，适合对吞吐要求高、对单次延迟不敏感的批处理场景68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/1095144

API

curl https://kongchang.com/api/v1/knowledge/claims/1095144

MCP

get_claim(id=1095144)