待验证50% 置信事实精确时间
Qwen3.8-27B 检查点磁盘占用 28.75 GiB，vLLM 加载后权重加非 torch 开销约 29.34 GiB，在 96 GB RTX Pro 6000 上剩余 53.8 GiB 用于 KV cache，约合 767,317 tokens。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/15
首次发现
有效期至：2027/1/13
来源
涉及实体
相关事实
已验证以LLaMA-3 70B（80层、64头、每头128维）为例，单个token的KV Cache约占2.6MB（FP16精度），32K上下文的KV Cache总量约达83GB72% 相似待验证Qwen3.8-27B-NVFP4 在单张 RTX PRO 6000 上峰值显存从 72.9 GB 降至 40.2 GB，单步耗时缩短约 11%72% 相似待验证Janas 在 32GB 内存笔记本上运行 48.4GB 的 Qwen3-Next-80B，达到 37 tok/s；同一机器同一模型上 llama.cpp 只有 2.8 tok/s。71% 相似待验证TwIL-LM 的 3B 版本在 Q4_K_M 量化下约 1.78 GiB，可以跑在 CPU 或仅 4GB 显存的设备上70% 相似待验证一张 24GB 显存的 RTX 3090 二手约 800 美元，能覆盖 7B 到 33B 的 Q4 模型，月电费大约 15 美元。69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1033142API
curl https://kongchang.com/api/v1/knowledge/claims/1033142MCP
get_claim(id=1033142)