待验证50% 置信事实精确时间
对Transformer而言，位置编码、注意力掩码等机制在训练长度之外可能失效。
1
来源数
50%
置信度
长期有效
时效性
2026/10/27
首次发现
来源
涉及实体
相关事实
待验证标准Transformer在处理需要精确计数、栈操作或复杂状态依赖的任务时表现不稳定，与其注意力机制的软寻址特性有关79% 相似待验证‘中间遗忘’导致的性能下降呈U型曲线，并非线性衰减；其机制可能与Transformer的注意力分配和位置编码有关。77% 相似待验证Transformer模型存在位置偏差，对中间位置信息的检索能力尤其薄弱，即lost in the middle问题74% 相似待验证Transformer 中任意两个位置之间的信息传递路径长度恒为1，从根本上克服了 RNN 在长序列上因梯度消失导致的遗忘问题73% 相似待验证Transformer输出token时经过采样，会永久丢失关于模型考虑过哪些可能性及各自置信度的信息（有损过程）73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1103036API
curl https://kongchang.com/api/v1/knowledge/claims/1103036MCP
get_claim(id=1103036)