待验证50% 置信事实精确时间
在神经网络推理中Softmax、LayerNorm等对数值范围敏感的操作极易因FP16有限的指数位引发上溢或下溢，误差在Transformer多层堆叠中累积放大
1
来源数
50%
置信度
长期有效
时效性
2026/7/25
首次发现
来源
三行代码修复：Tesla P100在llama.cpp中精度提升2300倍
redditr/LocalLLaMA2026/7/12
相关事实
已验证Transformer克服了RNN/LSTM架构因顺序计算导致的长距离依赖衰减问题，同时天然支持并行计算72% 相似待验证RNN（循环神经网络）的核心缺陷在于其串行计算特性，必须按时间步逐一处理序列，导致长距离依赖关系随序列长度指数级衰减70% 相似待验证偶发性故障的内存条可能交替产生正确和错误的计算结果，导致神经网络训练中梯度计算偶发性偏差，影响模型收敛性且不触发硬件告警70% 相似待验证Transformer模型中首尾几层对量化更敏感，中间层冗余度更高，注意力层和前馈网络层对量化的容忍度不同69% 相似待验证神经网络中各层对精度损失的敏感程度差异显著，patch projection等输入投影层敏感度高，中间主干的注意力与FFN模块对低精度更鲁棒69% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/615501API
curl https://kongchang.com/api/v1/knowledge/claims/615501MCP
get_claim(id=615501)