Unverified50% confidenceFactExact time
Q值高估问题源于对多个含噪声估计取最大值时期望高于真实最大值，是Jensen不等式在max凸函数上的应用
1
Sources
50%
Confidence
Long-term
Relevance
8/21/2026
First Seen
Sources
Related Claims
Unverified膨胀、过时、充满噪声的评估集比没有评估集更糟糕，因为它会给出误导性的信号70% similarUnverified注意力层的Q、K、V投影矩阵及模型首尾层对量化噪声更敏感，而MoE架构中的专家网络冗余度更高、量化误差容忍度更高68% similarUnverifiedSoftmax输出的概率值并不等同于真实的贝叶斯后验概率，而是被过度优化以拉开类别间距，导致预测概率系统性偏高68% similarUnverified量化误差具有非均匀分布特性，注意力机制的Q/K/V矩阵和最后几层对量化更为敏感68% similarUnverifiedQAT让模型在训练期间持续暴露于量化噪声，在极端压缩场景下远优于PTQ，代价是显著更高的训练计算开销67% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/782693API
curl https://kongchang.com/api/v1/knowledge/claims/782693MCP
get_claim(id=782693)