概念Fused Multi-Head Attention
FMHA
融合多头注意力（Fused Multi-Head Attention），将注意力计算中的QK^T、softmax、与V相乘等步骤融合到单个GPU内核中执行，减少显存读写，提升推理吞吐。
时间轴 (近 90 天)
10月21日
FlyDSL覆盖稠密与分组GEMM、融合多头注意力（FMHA/Attention）、MXFP8/MXFP4缩放GEMM、RMSNorm和TopK等核心操作。
待验证50%
10月21日
FMHA的融合实现可以减少中间内存读写。
待验证50%
10月21日
FMHA（Fused Multi-Head Attention）将注意力的多个步骤（QK^T、softmax、与V相乘）融合到单个GPU内核中执行，避免中间结果反复写入显存，从而降低带宽压力并提升吞吐，是长序列推理的关键优化。
待验证50%