待验证50% 置信事实精确时间
学习式重采样器（如Q-Former）压缩token数量时引入额外参数和注意力计算开销。
1
来源数
50%
置信度
长期有效
时效性
2026/10/13
首次发现
来源
涉及实体
相关事实
待验证混合精度量化会对注意力层的关键权重保留更高比特，对冗余度较高的前馈层进行更激进压缩71% 相似待验证在学习型稀疏检索器上，所有扩展方法都出现了性能回退，印证了查询扩展可能损害强检索器的担忧，而 SAFE-QE 在该场景下仍保持低幻觉率69% 相似待验证标准注意力的计算量随序列长度平方增长，而低秩瓶颈将变换分解为先压缩到r维再展开的两步68% 相似待验证字节团队用Qwen3-0.6B架构从头训练控制实验表明：所有采用分块压缩的模型都出现周期性准确率波动，波动周期严格等于压缩步长；去掉RoPE或换成平均分配门控权重后波动依然存在；无压缩的全注意力基线完全正常。68% 相似待验证微调通过反向传播算法在预训练权重基础上继续更新参数，全量微调计算成本极高67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1014355API
curl https://kongchang.com/api/v1/knowledge/claims/1014355MCP
get_claim(id=1014355)