待验证50% 置信决策规则精确时间
对于追求生成吞吐且显存紧张的场景，NVFP4 在 Ada 架构上解码快 2.3 倍、权重仅 3.28 GiB，但需接受 token 级 89%–90% 的保真度
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/18
首次发现
有效期至：2027/1/16
来源
涉及实体
相关事实
待验证在该测试中，NVFP4 的生成速度为 116.8 tok/s，是 BF16（51.0 tok/s）的 2.3 倍，NVFP4 权重体积为 3.28 GiB74% 相似部分验证NVFP4 每个参数占 4 位，即 0.5 字节，理论上权重显存占用和加载带宽相比 FP8 减半。70% 相似待验证NVFP4实际约为3.75bit，并非严格意义上的4bit量化68% 相似待验证RTX 3090无法运行NVFP4量化格式，因其Ampere架构Tensor Core不支持NVFP4指令，只能使用Q4格式，速度在40-48 tokens/秒65% 相似待验证在NVIDIA L4上，bf16模型（6.32 GiB）的内存带宽理论上限约47 Token/s，而int4模型（2.85 GiB）理论上限约105 Token/s，实测最高达到131.9 Token/s。65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1057663API
curl https://kongchang.com/api/v1/knowledge/claims/1057663MCP
get_claim(id=1057663)