待验证50% 置信事实精确时间
Anthropic 团队曾在小型 Transformer 中识别出负责复制粘贴上文 token 的 induction head（归纳头）
1
来源数
50%
置信度
长期有效
时效性
2026/8/27
首次发现
来源
涉及实体
相关事实
待验证Anthropic团队于2022年解析了Transformer内部的归纳头（induction heads）机制74% 相似待验证Switch Transformer的原始论文中论述了引入辅助损失函数来强制均匀分配专家的设计63% 相似待验证Hugging Face Transformers封装了预训练模型的加载、微调和推理流程62% 相似待验证残差连接是 Transformer 的核心创新之一，每一层的输出是输入加上该层的变换结果62% 相似待验证在Transformer中残差流的写入操作是线性叠加（加法），使不同模块的贡献保持可分离性，是机制可解释性追踪信息来源的数学基础60% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/809962API
curl https://kongchang.com/api/v1/knowledge/claims/809962MCP
get_claim(id=809962)