FlashAttention
一种通过IO感知的分块计算方式降低Transformer注意力机制显存占用和计算复杂度的技术，是实现超大上下文窗口的关键技术之一
核心事实
时间轴 (近 90 天)
FlashAttention是一种IO感知的精确注意力算法，通过分块和在线softmax将注意力矩阵计算融合进SRAM，保持数值精确的同时降低显存占用并提升速度，已成为主流推理框架的默认实现。
依赖注意力权重的token剪枝或压缩方法难以与FlashAttention共存，因为FlashAttention计算过程中不物化保存注意力矩阵，外部模块难以直接读取。
Online Softmax 是 FlashAttention 等高效注意力实现背后的关键算法，通过流式递推避免物化完整的 [B, H, S, S] 矩阵。
ModernBERT采用旋转位置编码（RoPE）替代绝对位置编码，使用FlashAttention加速，并将最大上下文窗口从BERT的512 token扩展到8192 token。
vLLM、FlashAttention、连续批处理等推理优化技术的成熟使得单位token的计算开销持续下降
RTX 5090 属于 Blackwell 架构，部署时 CUDA、PyTorch 和编译包版本必须严格匹配，否则加速推理的 Attention 相关依赖容易报错
Together AI 在推理优化领域积累了以 FlashAttention、FlashDecoding 等高性能算子为基础的优化体系，并有自研推理引擎
P106无法使用FlashAttention、AWQ等主流加速方案
DeepEP对应NCCL，负责多卡之间的通信；FlashMLA对应FlashAttention，用于超长文本处理；TileKernels对应CUTLASS；DeepSelect对应DALI这类数据管线
Tile分块通过将大计算任务切分为能装入共享内存或寄存器的小块，最大化数据复用并隐藏内存访问延迟，是cuBLAS、FlashAttention等高性能库接近硬件峰值性能的关键手段
还有 25 条时间轴事件
全部知识事实 (20)
Flash Attention由斯坦福Tri Dao等人于2022年提出，通过分块计算与重计算将显存复杂度从O(N²)降低到O(N)
90%已验证Flash Attention是由斯坦福大学提出的注意力计算优化算法，通过分块处理将中间结果留在GPU高速SRAM中，降低显存带宽压力并减少显存占用
90%已验证FlashAttention由Tri Dao等人提出，通过IO感知的分块计算策略将注意力计算速度提升2-4倍
90%已验证FlashAttention由斯坦福大学的Tri Dao等人提出，通过将注意力计算分块在GPU片上SRAM中完成，将内存访问次数降低一个数量级，是数学上精确等价的实现
85%已验证FlashAttention的核心创新是通过控制GPU的SRAM与HBM之间的数据搬运模式，将标准注意力计算的显存访问复杂度从O(N²)降至近线性
85%已验证FlashAttention通过重新排列计算顺序、利用GPU的SRAM高速缓存减少显存读写，提升推理速度并保持与标准注意力计算数学上的等价性
80%已验证FlashAttention 由 Tri Dao 等人于 2022 年提出
75%已验证FlashAttention通过分块Tiling和重计算策略，将HBM访问次数从O(N²)降至O(N²/M)，长序列场景下速度提升达2-4倍
75%已验证自注意力机制的计算复杂度随序列长度呈近似二次方增长，序列长度为n时注意力矩阵计算量正比于n²
65%已验证FlashAttention（2022）通过IO感知的分块计算和重计算策略将显存占用从 O(n²) 降至 O(n)，且不改变数学等价性
65%已验证FlashAttention通过重新设计注意力计算的内存访问模式，将显存占用从与序列长度平方成正比降低为线性关系
65%已验证FlashAttention通过将注意力机制的多步计算融合到单一CUDA内核中，显存占用从O(N²)降低至O(N)，速度提升2-4倍
65%待验证上下文窗口扩展得益于ALiBi位置编码、RoPE的外推扩展、Flash Attention和Ring Attention等技术突破
85%待验证FlashAttention通过减少对HBM的读写次数，将中间结果尽量保留在SRAM中，从而突破内存带宽瓶颈实现提速
60%待验证GPU采用SIMT(单指令多线程)架构,要求数据和任务具有高度规则性
60%待验证FlashAttention将注意力机制的QKV运算、softmax和输出投影融合为单个kernel，将内存复杂度从O(N²)降至O(N)，实现2-4倍端到端加速
60%待验证Flash Attention通过GPU内存分块优化大幅降低显存占用，RoPE位置编码可更好地外推至训练长度之外
60%待验证长上下文窗口的突破依赖于 Ring Attention、FlashAttention 等工程技术对显存占用的压缩
60%待验证FlashAttention是一种IO感知的精确注意力算法，通过分块和在线softmax将注意力矩阵计算融合进SRAM，保持数值精确的同时降低显存占用并提升速度，已成为主流推理框架的默认实现。
50%待验证依赖注意力权重的token剪枝或压缩方法难以与FlashAttention共存，因为FlashAttention计算过程中不物化保存注意力矩阵，外部模块难以直接读取。
50%