概念FA4
Flash Attention 4
Flash Attention系列第四代实现，专为NVIDIA Hopper/Blackwell架构设计，充分利用TMA异步数据搬运、producer-consumer warp流水线及FP8低精度路径优化，前向传播MFU可达理论峰值75%以上
时间轴 (近 90 天)
10月1日
Flash Attention 4（FA4）专为NVIDIA Hopper/Blackwell架构设计，其核心改进包括利用TMA进行异步数据搬运、producer-consumer warp分离的流水线化、以及FP8低精度路径优化
待验证50%
10月1日
在H100上，FA4的前向传播可达接近理论峰值75%以上的MFU
待验证50%