FlashAttention-4

FlashAttention-4是FlashAttention系列的第四代高效注意力计算算法与内核实现，专为加速大规模Transformer模型中的注意力机制而设计。其核心思路是通过分块计算（tiling）和IO感知优化，减少GPU高带宽内存（HBM）的读写次数，从而降低内存占用并提升计算吞吐量。该版本针对新一代GPU架构进行了深度适配与优化，广泛应用于大语言模型训练与推理场景。