待验证50% 置信事实精确时间
模型中不同层对量化误差敏感度差异极大，注意力层的QKV投影和输出投影通常比MLP层中间权重更敏感，首尾层比中间层更脆弱
1
来源数
50%
置信度
长期有效
时效性
2026/8/25
首次发现
来源
涉及实体
相关事实
待验证量化误差具有非均匀分布特性，注意力机制的Q/K/V矩阵和最后几层对量化更为敏感80% 相似待验证注意力层的Q、K、V投影矩阵及模型首尾层对量化噪声更敏感，而MoE架构中的专家网络冗余度更高、量化误差容忍度更高77% 相似待验证神经网络中各层对精度损失的敏感程度差异显著，patch projection等输入投影层敏感度高，中间主干的注意力与FFN模块对低精度更鲁棒76% 相似待验证Transformer模型中首尾几层对量化更敏感，中间层冗余度更高，注意力层和前馈网络层对量化的容忍度不同72% 相似待验证MPC的主要局限在于对模型精度的高度依赖，当真实环境与模型假设出现偏差时控制效果会显著下降70% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/798075API
curl https://kongchang.com/api/v1/knowledge/claims/798075MCP
get_claim(id=798075)