待验证50% 置信事实精确时间
Performer 和 Linear Transformer 是线性化注意力的早期代表工作，普遍面临困惑度回升和长距离依赖建模变差的问题
1
来源数
50%
置信度
长期有效
时效性
2026/10/12
首次发现
来源
涉及实体
相关事实
待验证提示词漂移是指在长对话或复杂任务中模型行为逐渐偏离原始指令意图的现象，与Transformer注意力权重随序列长度增加而稀释有关75% 相似已验证标准 Transformer 的 Self-Attention 机制需要对整个输入序列做全局计算，天然不适合边输入边处理的流式场景73% 相似已验证Set Transformer基于自注意力机制建模行向量交互，通过去掉位置编码保持排列不变性72% 相似待验证Decision Transformer通过自注意力机制直接建模跨越大时间跨度的因果关系，处理超长时序依赖72% 相似待验证从头实现 Transformer 需要理解注意力分数除以 √d_k 的原因等数值稳定性处理，是区分「会用框架」与「理解原理」的分水岭任务71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1002312API
curl https://kongchang.com/api/v1/knowledge/claims/1002312MCP
get_claim(id=1002312)