待验证50% 置信事实精确时间
LLM.int8() 发现 Transformer 中部分通道的激活值远超其他通道，直接影响整数量化的精度
1
来源数
50%
置信度
长期有效
时效性
2026/10/12
首次发现
来源
涉及实体
相关事实
已验证Transformer克服了RNN/LSTM架构因顺序计算导致的长距离依赖衰减问题，同时天然支持并行计算74% 相似待验证Transformer 中任意两个位置之间的信息传递路径长度恒为1，从根本上克服了 RNN 在长序列上因梯度消失导致的遗忘问题74% 相似待验证研究表明(Dettmers et al., 2022)，Transformer模型中特定隐藏维度会在所有token和层中持续出现异常大激活值，模型超过6.7B参数时现象更显著71% 相似待验证Transformer模型中首尾几层对量化更敏感，中间层冗余度更高，注意力层和前馈网络层对量化的容忍度不同68% 相似待验证在神经网络推理中Softmax、LayerNorm等对数值范围敏感的操作极易因FP16有限的指数位引发上溢或下溢，误差在Transformer多层堆叠中累积放大67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1002310API
curl https://kongchang.com/api/v1/knowledge/claims/1002310MCP
get_claim(id=1002310)