待验证50% 置信事实精确时间
FP4-Local 约占用 166 GiB 显存，在两张 RTX PRO 6000（合计 192GB）上可放下 1.8M token 的 FP8 KV cache；双 DGX Spark 方案可到 2M token。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/18
首次发现
有效期至：2027/1/16
来源
涉及实体
相关事实
待验证Qwen3.8-27B 检查点磁盘占用 28.75 GiB，vLLM 加载后权重加非 torch 开销约 29.34 GiB，在 96 GB RTX Pro 6000 上剩余 53.8 GiB 用于 KV cache，约合 767,317 tokens。79% 相似待验证FP4-Local 并不比 4-bit GGUF 小：UD-IQ4_XS GGUF 为 157 GB，而 FP4-Local 约 166 GiB。75% 相似待验证在NVIDIA L4上，bf16模型（6.32 GiB）的内存带宽理论上限约47 Token/s，而int4模型（2.85 GiB）理论上限约105 Token/s，实测最高达到131.9 Token/s。74% 相似待验证在 RTX Pro 6000（96GB 显存）上，官方 FP8 版配合内置 MTP 投机解码可跑到约 120 tokens/秒，质量与 16-bit 几乎无差异73% 相似待验证DeepSeek-V4.1-Flash 有 763B 参数，BF16 权重约 1.5 TB，官方 FP4/FP8 checkpoint 是 475.2 GiB，coolbho3k 的 3-bit EXL3 包压到 309.3 GiB。72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1064231API
curl https://kongchang.com/api/v1/knowledge/claims/1064231MCP
get_claim(id=1064231)