待验证50% 置信权衡取舍精确时间

量化误差具有非均匀分布特性，注意力机制的Q/K/V矩阵和最后几层对量化更为敏感

1

来源数

50%

置信度

长期有效

时效性

2026/7/17

首次发现

来源

Bonsai 27B：首个在手机运行的1-bit大模型，端侧AI新突破

相关事实

待验证注意力层的Q、K、V投影矩阵及模型首尾层对量化噪声更敏感，而MoE架构中的专家网络冗余度更高、量化误差容忍度更高80% 相似待验证Q4_K_M量化相比FP16的困惑度（Perplexity）损失通常在1%~3%以内73% 相似待验证负向提示词包含过多token时，每个token在交叉注意力计算中分到的权重被稀释，导致单个约束的实际抑制效力大幅下降71% 相似待验证Q4_K_M通常是兼顾内存效率与生成质量的最优折衷点，而Q2_K虽压缩率更高但在逻辑推理类任务中质量下降明显71% 相似待验证在类别不平衡场景下单纯的准确率可能具有误导性，需要结合混淆矩阵进行更细粒度评估70% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/544067

API

curl https://kongchang.com/api/v1/knowledge/claims/544067

MCP

get_claim(id=544067)