Verified90% confidenceFactTime unknown
标准自注意力机制(Self-Attention)的计算复杂度与序列长度呈平方关系(O(n²))
20
Sources
90%
Confidence
Long-term
Relevance
6/1/2026
First Seen
Sources
Gemini 3.5 Flash发布:Google如何平衡AI模型速度与能力
twitterJeffDean
Related Entities
Related Claims
Verified自注意力机制的计算复杂度随序列长度呈近似二次方增长,序列长度为n时注意力矩阵计算量正比于n²84% similarUnverifiedSelf-Attention机制计算复杂度与序列长度平方成正比(O(n²)),一个128K token请求的原生注意力计算量约为4K token请求的1024倍81% similarUnverified注意力机制的计算复杂度为O(n²),其中n为上下文长度,Claude具有200K token上下文窗口81% similarVerified自注意力机制让每个位置直接与序列中任意其他位置交互,计算复杂度为O(n²)79% similarUnverified标准自注意力的计算复杂度为序列长度的平方,实现百万Token上下文需引入稀疏注意力、滑动窗口注意力及KV Cache压缩等技术78% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/17838API
curl https://kongchang.com/api/v1/knowledge/claims/17838MCP
get_claim(id=17838)