待验证50% 置信事实精确时间
Q4_K_M 与 BF16 的逐层去噪实验显示,KL 从第 0 层到第 27 层平滑下降,没有单一层承载全部差异。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/17
首次发现
有效期至:2027/1/15
来源
涉及实体
相关事实
待验证在 Qwen3-0.6B 的 BF16 与 Q4_K_M 对比中,Q4_K_M 在 11.6% 的位置改变了 top-1 token,平均 KL 散度为 0.067,困惑度从 7.83 升至 8.53。72% 相似已验证Q4_K_M 在困惑度上比纯 Q4 低约 0.1–0.370% 相似待验证在 12 个块、1282 个评分位置上,Q4_K_M 恢复 BF16 时,注意力消除 0.030(95% CI 0.019–0.041),MLP 消除 0.036(0.024–0.048),配对差异跨越零,两者无法区分;将 Q4_K_M 注入 BF16 时,MLP 增加更多(0.014,0.005 至 0.023)。70% 相似待验证在 is_prime token 处,将 BF16 的残差写入 Q4_K_M 后,该 token 的 KL 从第 6 层后的 0.48 降至第 9 层后的 0.04;反向写入则从约第 12 层重现翻转,说明决定性差异形成于第 6 至 12 层。70% 相似待验证自托管的Qwen3.6-27B模型作为替换裁判达到了kappa=0.72的一致性水平68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1054504API
curl https://kongchang.com/api/v1/knowledge/claims/1054504MCP
get_claim(id=1054504)