待验证50% 置信事实精确时间
GGUF BF16 比 safetensors BF16 小约 20%,原因是 llama.cpp 对张量进行了更紧凑的序列化打包,而 safetensors 保留了训练框架原始的张量布局和 JSON 头部。
1
来源数
50%
置信度
长期有效
时效性
2026/10/14
首次发现
来源
涉及实体
相关事实
已验证BF16相比FP16拥有与FP32相同的8位指数位宽,因此动态范围更大,已成为当前主流大模型训练精度选择70% 相似待验证BF16采用1位符号位、8位指数位和7位尾数位,牺牲精度但保留了与FP32相同的动态范围63% 相似待验证自研W4内核的困惑度(probe ppl)为15.76,优于bitsandbytes NF4的18.98。62% 相似待验证在128K Token上下文、约1.6万个键值对的大海捞针实验中,仅改变一个键值对的位置,DeepSeek-V4-Flash-Base准确率最大差距达40.2%,DeepSeek-V4-Pro-Base为34.8%,经后训练优化后仍分别为19.1%和14.8%。61% 相似待验证在相同测试中,bf16基线以31.3 tok/s的速度超过了自研W4内核(25.5 tok/s)和bitsandbytes NF4(25.7 tok/s),达到理论roofline的29.8%。61% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1025992API
curl https://kongchang.com/api/v1/knowledge/claims/1025992MCP
get_claim(id=1025992)