已验证65% 置信事实精确时间

自注意力机制的计算复杂度随序列长度呈近似二次方增长，序列长度为n时注意力矩阵计算量正比于n²

3

来源数

65%

置信度

长期有效

时效性

2026/7/24

首次发现

来源

Codex超高推理模式隐藏成本：一个任务耗尽70%额度的真相

redditr/OpenAI2026/7/12

相关事实

已验证标准自注意力机制（Self-Attention）的计算复杂度与序列长度呈平方关系（O(n²)）84% 相似待验证标准注意力机制中，Query矩阵与Key矩阵做矩阵乘法得到n×n注意力分数矩阵，计算复杂度为O(n²·d)84% 相似待验证标准自注意力的计算复杂度为序列长度的平方，实现百万Token上下文需引入稀疏注意力、滑动窗口注意力及KV Cache压缩等技术82% 相似已验证上下文长度与计算量呈近似平方级增长关系，受注意力机制影响81% 相似待验证标准注意力机制具有O(n²)的显存开销，行数2000时需计算约2000×2000的注意力矩阵80% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/611025

API

curl https://kongchang.com/api/v1/knowledge/claims/611025

MCP

get_claim(id=611025)