待验证50% 置信事实精确时间
Gemma 4 的全局注意力层在 NVIDIA Ampere 及更新 GPU 上使用新内核后，注意力速度提升 1.4 到 2.1 倍，注意力显存最多降低 4.9 倍。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/19
首次发现
有效期至：2027/1/17
来源
涉及实体
相关事实
待验证Flash-Attention 在实际吞吐量上带来 2-4 倍的速度提升70% 相似待验证标准Attention的显存消耗随序列长度平方增长，Flash Attention将其压缩到线性增长67% 相似待验证IQuest-Q1 采用 3 层滑动窗口注意力搭配 1 层完整注意力的混合比例，在 88 层中只有 25 层会随上下文增长扩展 KV 缓存67% 相似待验证标准的Scaled Dot-Product Attention随着序列长度N增加，每个位置能分配到的平均注意力权重以1/N的速率稀释67% 相似待验证原生注意力后端和SageAttention相比PyTorch默认注意力实现都带来了约37%的速度提升65% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1070384API
curl https://kongchang.com/api/v1/knowledge/claims/1070384MCP
get_claim(id=1070384)