待验证50% 置信事实精确时间
标准Transformer在处理需要精确计数、栈操作或复杂状态依赖的任务时表现不稳定，与其注意力机制的软寻址特性有关
1
来源数
50%
置信度
长期有效
时效性
2026/8/24
首次发现
来源
涉及实体
相关事实
已验证Transformer架构的自注意力机制在处理长序列时面临二次方复杂度的计算开销，上下文长度翻倍则计算量增长四倍78% 相似待验证Transformer模型存在位置偏差，对中间位置信息的检索能力尤其薄弱，即lost in the middle问题75% 相似已验证Transformer克服了RNN/LSTM架构因顺序计算导致的长距离依赖衰减问题，同时天然支持并行计算73% 相似待验证当前Transformer架构在处理分散于超长上下文中的隐式约束时存在根本性局限，导致修改代码时引入隐蔽bug73% 相似待验证Transformer模型中首尾几层对量化更敏感，中间层冗余度更高，注意力层和前馈网络层对量化的容忍度不同72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/795253API
curl https://kongchang.com/api/v1/knowledge/claims/795253MCP
get_claim(id=795253)