待验证50% 置信事实精确时间

KIVI提出对KV Cache做逐通道的2比特量化并保留少量异常值通道全精度存储，KVQuant把支持的上下文窗口推到千万Token量级

1

来源数

50%

置信度

长期有效

时效性

2026/9/26

首次发现

来源

Ollama深度拆解：14人团队如何靠分发做成AI界Docker

涉及实体

KIVItechnology KVQuanttechnology

相关事实

待验证针对KV Cache的优化策略还包括KV Cache量化、潜在维度共享、滑动窗口，可组合使用73% 相似已验证KV Cache的显存占用随序列长度线性增长，700亿参数采用GQA的模型处理10万Token时KV Cache占用可能高达数十GB71% 相似已验证数千亿参数模型处理128K上下文窗口时，KV Cache可能占据数十GB显存69% 相似待验证上下文长度从4K扩展到8K时，KV Cache占用的显存会近乎翻倍68% 相似待验证在长上下文场景（如128K token窗口模型）中，KV Cache的显存占用可能超过模型权重本身68% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/952789

API

curl https://kongchang.com/api/v1/knowledge/claims/952789

MCP

get_claim(id=952789)