[控场AI]
产品ZYFA attention kernel

ZYFA

面向AMD Instinct MI355X的开源FP8与BF16 prefill注意力kernel,基于FlashAttention思路优化,在真实模型激活值上超越AITER

时间轴 (近 90 天)

11月6日

Zyphra 发布了开源项目 ZYFA,这是一个针对 AMD Instinct MI355X 优化的 FP8 与 BF16 prefill attention kernel。

待验证50%
11月6日

ZYFA 的 FP8 kernel 在真实模型激活值上比 AMD AITER 快 1.16 至 1.76 倍。

待验证50%
11月6日

在 head dimension 128 的场景下,ZYFA 相比 AITER 将误差降低了 62% 至 78%。

待验证50%
11月6日

ZYFA 同时提供 BF16 kernel,使团队可以在同一套 kernel 体系内按层做取舍,而不必在多个库之间拼接。

待验证50%
11月6日

评估 ZYFA 时,1.16 至 1.76 倍的加速比区间应被视为上限参考而非预期值,建议用生产流量采样输入做 A/B 对比并关注 P99 延迟。

待验证50%
11月6日

误差降低 62% 至 78% 仅在 head dimension 128 下测得,其他 head 维度的表现需要单独验证。

待验证50%
11月6日

对于数学推理、长上下文检索等对数值敏感的任务,建议在小流量上对 ZYFA 做输出一致性抽检,确认精度变化不会传导到最终效果。

待验证50%

全部知识事实 (7)

来源文章