SageAttention
由清华大学等机构提出的高效注意力计算方案，通过对Q、K进行INT8量化、对V保留高精度的混合精度量化策略，提升注意力计算算术强度，在部分场景下吞吐超越FlashAttention 2/3
时间轴 (近 90 天)
该优化采用三大手段：低精度数值运算、将 FlashAttention 替换为 SageAttention、编写自定义 CUDA 内核
SageAttention 是由清华大学等机构提出的高效注意力计算方案，核心思路是对 Q、K 进行 INT8 量化，对 V 保留较高精度
SageAttention 通过混合精度量化提升算术强度，而 FlashAttention 通过分块减少 HBM 读写次数，两者优化维度不同
SageAttention依赖Triton编译器和特定CUDA kernel，由于Triton官方长期不支持Windows平台，Windows上安装成功率极低
用户升级到ComfyUI v0.32.0后可通过一个节点获得与SageAttention相近的加速效果，无需繁琐安装配置
同一测试中Sage Attention（Auto）耗时14.24秒，PyTorch默认注意力耗时23.16秒
原生注意力后端和SageAttention相比PyTorch默认注意力实现都带来了约37%的速度提升
全部知识事实 (7)
该优化采用三大手段：低精度数值运算、将 FlashAttention 替换为 SageAttention、编写自定义 CUDA 内核
50%待验证SageAttention 是由清华大学等机构提出的高效注意力计算方案，核心思路是对 Q、K 进行 INT8 量化，对 V 保留较高精度
50%待验证SageAttention 通过混合精度量化提升算术强度，而 FlashAttention 通过分块减少 HBM 读写次数，两者优化维度不同
50%待验证SageAttention依赖Triton编译器和特定CUDA kernel，由于Triton官方长期不支持Windows平台，Windows上安装成功率极低
50%待验证用户升级到ComfyUI v0.32.0后可通过一个节点获得与SageAttention相近的加速效果，无需繁琐安装配置
50%待验证同一测试中Sage Attention（Auto）耗时14.24秒，PyTorch默认注意力耗时23.16秒
50%待验证原生注意力后端和SageAttention相比PyTorch默认注意力实现都带来了约37%的速度提升
50%