待验证60% 置信事实精确时间
Transformer模型中首尾几层对量化更敏感，中间层冗余度更高，注意力层和前馈网络层对量化的容忍度不同
2
来源数
60%
置信度
长期有效
时效性
2026/8/7
首次发现
来源
相关事实
待验证Transformer自注意力机制的计算成本随上下文长度呈平方级增长，且存在Lost in the Middle效应导致模型对窗口中部信息提取能力弱于头尾77% 相似待验证研究表明(Dettmers et al., 2022)，Transformer模型中特定隐藏维度会在所有token和层中持续出现异常大激活值，模型超过6.7B参数时现象更显著75% 相似待验证Transformer模型存在位置偏差，对中间位置信息的检索能力尤其薄弱，即lost in the middle问题75% 相似待验证标准Transformer在处理需要精确计数、栈操作或复杂状态依赖的任务时表现不稳定，与其注意力机制的软寻址特性有关72% 相似待验证模型中不同层对量化误差敏感度差异极大，注意力层的QKV投影和输出投影通常比MLP层中间权重更敏感，首尾层比中间层更脆弱72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/699304API
curl https://kongchang.com/api/v1/knowledge/claims/699304MCP
get_claim(id=699304)