Unverified50% confidenceFactExact time
Transformer注意力机制中的矩阵乘法和Softmax运算占据推理总算力的70%以上，ASIC可实现3至10倍的能效提升
1
Sources
50%
Confidence
Long-term
Relevance
7/25/2026
First Seen
Sources
AI工业时代来临：算力争夺、芯片重构与GPT-5.6作弊风波全解析
bilibili陈工AI观测7/5/2026
Related Claims
UnverifiedTransformer注意力机制的计算量随序列长度平方增长，早期语言模型上下文窗口上限约4000个token73% similarUnverified标准Transformer自注意力计算量随序列长度平方增长，50万token的注意力计算量约为4096token的15000倍73% similarUnverified研究者提出了「确定性注意力Transformer」（Deterministic Attention-Transformer），并在NVIDIA H100 GPU上实测到每token仅消耗0.63焦耳的能效表现66% similarUnverified注意力机制的计算量与序列长度的平方成正比，将上下文翻倍意味着计算量增加四倍66% similarUnverifiedTransformer推理中批量大小为1时注意力层的算术强度约1~10 FLOP/Byte，远低于H100约300 FLOP/Byte的屋脊点，属于带宽受限场景66% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/613127API
curl https://kongchang.com/api/v1/knowledge/claims/613127MCP
get_claim(id=613127)