待验证50% 置信事实精确时间
KLD对分布尾部敏感：量化模型只要在低概率token上给出极低概率，就会显著拉高KLD，即使这些token对生成质量影响甚微。
1
来源数
50%
置信度
长期有效
时效性
2026/10/24
首次发现
来源
涉及实体
相关事实
待验证KLD与下游benchmark表现之间并非线性关系：当KLD低于某一量级时，下游指标几乎不受影响；只有KLD显著升高时，任务性能才开始明显下降。71% 相似待验证该测试采用KL散度（KLD）作为客观量化指标，衡量量化后输出分布与BF16参考分布的偏离程度，KLD越低说明量化造成的信息损失越小70% 相似待验证非平衡最优传输通过在目标函数中引入KL散度等惩罚项允许边际约束被软性满足，使低置信度匹配对贡献更小权重67% 相似待验证布朗扩散模型在重尾数据场景下可能系统性地低估极端事件的概率，而稳定模型在α=ν时能够正确外推到尾部区域。67% 相似待验证对MoE模型的量化需要格外谨慎，因稀疏激活使专家参数数值分布集中，低比特量化易造成路由偏差导致能力退化66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1094694API
curl https://kongchang.com/api/v1/knowledge/claims/1094694MCP
get_claim(id=1094694)