待验证50% 置信事实精确时间
Transformer 的自注意力机制可以在整个上下文窗口内任意建立 token 之间的依赖，与 gzip 的建模能力存在本质差距
1
来源数
50%
置信度
长期有效
时效性
2026/9/22
首次发现
来源
涉及实体
相关事实
已验证在Transformer架构中，系统指令的token会被放置在注意力机制的最前端，对后续所有生成内容产生持续性的约束影响78% 相似已验证标准 Transformer 的 Self-Attention 机制需要对整个输入序列做全局计算，天然不适合边输入边处理的流式场景73% 相似待验证上下文窗口的概念源自Transformer架构中的自注意力机制，模型在生成每个token时需要同时关注窗口内所有其他token73% 相似已验证Transformer 自注意力机制中每个 Token 需要与窗口内所有其他 Token 计算注意力权重，计算复杂度为 O(n²)72% 相似待验证Claude Code的上下文窗口对应Transformer架构中注意力机制能够同时处理的token数量上限72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/940790API
curl https://kongchang.com/api/v1/knowledge/claims/940790MCP
get_claim(id=940790)