待验证50% 置信基准精确时间
PD分离需要将KV Cache从Prefill实例搬到Decode实例，CX7网卡打满400Gbps IB约50GB/s，搬运40GB KV Cache需0.8秒
1
来源数
50%
置信度
长期有效
时效性
2026/9/23
首次发现
来源
涉及实体
相关事实
待验证部署使用llama.cpp服务器，采用4-bit KV缓存、上下文长度设为100,000、将32层卸载到系统内存、启用惰性模式强制从SSD读取Ngram表69% 相似待验证基于Nunchaku的FP4模型（svdq-fp4_r32）体积为6.6GB，可完整装入8GB显存无需CPU卸载，每步耗时降至3.4-3.8秒69% 相似待验证对于 LLaMA-2 70B 模型，处理 4096 token 的上下文时，FP16 精度下 KV Cache 约需 20GB 系统内存68% 相似待验证对于一个32层、4096维的模型,处理2048个Token的KV Cache约占用1GB显存68% 相似待验证运行复杂Agent工作流建议使用4090或5090双卡，因单卡32GB显存在模型权重占用后留给KV Cache的空间有限67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/942624API
curl https://kongchang.com/api/v1/knowledge/claims/942624MCP
get_claim(id=942624)