待验证60% 置信事实时间未知
Transformer架构存在「Lost in the Middle」效应，模型对对话开头和结尾的内容记忆较好，但中间部分容易丢失
2
来源数
60%
置信度
长期有效
时效性
2026/5/31
首次发现
来源
GLM5.1编程实测：真实代码能力与性价比深度评测
bilibiliAI全文总结
涉及实体
相关事实
待验证Akyürek等人2022年的工作从理论上证明，Transformer在执行上下文学习时其前向传播等价于在注意力层中隐式运行一步梯度下降更新72% 相似待验证提示词漂移是指在长对话或复杂任务中模型行为逐渐偏离原始指令意图的现象，与Transformer注意力权重随序列长度增加而稀释有关72% 相似待验证麻省理工学院研究发现Transformer注意力机制处理少样本示例时行为模式与梯度下降优化器相似68% 相似已验证Set Transformer基于自注意力机制建模行向量交互，通过去掉位置编码保持排列不变性68% 相似已验证在Transformer架构中，系统指令的token会被放置在注意力机制的最前端，对后续所有生成内容产生持续性的约束影响67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/13498API
curl https://kongchang.com/api/v1/knowledge/claims/13498MCP
get_claim(id=13498)