待验证50% 置信解决方案精确时间

混合精度量化会对注意力层的关键权重保留更高比特，对冗余度较高的前馈层进行更激进压缩

1

来源数

50%

置信度

长期有效

时效性

2026/10/11

首次发现

来源

Saluki 27B：2-bit量化模型如何在工具调用上反超原版

涉及实体

mixed-precision quantizationconcept

相关事实

待验证标准注意力的计算量随序列长度平方增长，而低秩瓶颈将变换分解为先压缩到r维再展开的两步77% 相似已验证注意力稀释的根本原因在于Softmax归一化：序列中token越多，每个位置分配到的有效注意力权重随序列长度近似成反比例缩小75% 相似待验证在单跳大海捞针任务中，关键的KV对在注意力分数上天然突出，压缩方法几乎不可能丢掉它，使其对压缩方法过于'友好'75% 相似待验证关键证据的注意力得分存在上界，而所有有效干扰项中的最大得分会随干扰项数量增加而增长74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/996997

API

curl https://kongchang.com/api/v1/knowledge/claims/996997

MCP

get_claim(id=996997)