概念
Online Softmax
一种流式Softmax计算算法，将Softmax改写为可递推更新的形式，每处理一个瓦片就动态修正已有的最大值和归一化因子，无需物化完整矩阵即可得到精确结果
时间轴 (近 90 天)
10月14日
Online Softmax 是 FlashAttention 等高效注意力实现背后的关键算法，通过流式递推避免物化完整的 [B, H, S, S] 矩阵。
待验证50%
一种流式Softmax计算算法，将Softmax改写为可递推更新的形式，每处理一个瓦片就动态修正已有的最大值和归一化因子，无需物化完整矩阵即可得到精确结果
Online Softmax 是 FlashAttention 等高效注意力实现背后的关键算法，通过流式递推避免物化完整的 [B, H, S, S] 矩阵。