待验证50% 置信事实精确时间
Transformer是2017年论文《Attention Is All You Need》提出的序列建模架构，核心是自注意力机制，是BERT、GPT等模型的基础
1
来源数
50%
置信度
长期有效
时效性
2026/10/28
首次发现
来源
涉及实体
相关事实
待验证注意力漂移问题在Claude、GPT等所有主流Transformer架构模型上普遍存在，是当前Agent工程领域的核心挑战之一77% 相似已验证Transformer的核心创新是自注意力机制，GPT、Claude、Gemini等主流大模型均基于Transformer构建76% 相似待验证GPT是由OpenAI提出的生成式预训练模型架构，核心基于2017年Google论文《Attention Is All You Need》中提出的Transformer结构76% 相似待验证ELMo 首次系统性地展示了上下文相关表示这一思路，BERT 和 GPT 系列则通过 Transformer 的注意力层将其推向主流。69% 相似已验证当前所有主流大模型（GPT、BERT、LLaMA等）都基于Transformer架构68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1107762API
curl https://kongchang.com/api/v1/knowledge/claims/1107762MCP
get_claim(id=1107762)