ZYFA
面向AMD Instinct MI355X的开源FP8与BF16 prefill注意力kernel,基于FlashAttention思路优化,在真实模型激活值上超越AITER
时间轴 (近 90 天)
Zyphra 发布了开源项目 ZYFA,这是一个针对 AMD Instinct MI355X 优化的 FP8 与 BF16 prefill attention kernel。
ZYFA 的 FP8 kernel 在真实模型激活值上比 AMD AITER 快 1.16 至 1.76 倍。
在 head dimension 128 的场景下,ZYFA 相比 AITER 将误差降低了 62% 至 78%。
ZYFA 同时提供 BF16 kernel,使团队可以在同一套 kernel 体系内按层做取舍,而不必在多个库之间拼接。
评估 ZYFA 时,1.16 至 1.76 倍的加速比区间应被视为上限参考而非预期值,建议用生产流量采样输入做 A/B 对比并关注 P99 延迟。
误差降低 62% 至 78% 仅在 head dimension 128 下测得,其他 head 维度的表现需要单独验证。
对于数学推理、长上下文检索等对数值敏感的任务,建议在小流量上对 ZYFA 做输出一致性抽检,确认精度变化不会传导到最终效果。
全部知识事实 (7)
ZYFA 同时提供 BF16 kernel,使团队可以在同一套 kernel 体系内按层做取舍,而不必在多个库之间拼接。
50%待验证ZYFA 的 FP8 kernel 在真实模型激活值上比 AMD AITER 快 1.16 至 1.76 倍。
50%待验证在 head dimension 128 的场景下,ZYFA 相比 AITER 将误差降低了 62% 至 78%。
50%待验证对于数学推理、长上下文检索等对数值敏感的任务,建议在小流量上对 ZYFA 做输出一致性抽检,确认精度变化不会传导到最终效果。
50%待验证评估 ZYFA 时,1.16 至 1.76 倍的加速比区间应被视为上限参考而非预期值,建议用生产流量采样输入做 A/B 对比并关注 P99 延迟。
50%待验证误差降低 62% 至 78% 仅在 head dimension 128 下测得,其他 head 维度的表现需要单独验证。
50%待验证Zyphra 发布了开源项目 ZYFA,这是一个针对 AMD Instinct MI355X 优化的 FP8 与 BF16 prefill attention kernel。
50%