[控场AI]
产品xFormers

xFormers

Meta AI开发的内存高效注意力算法库,通过重计算中间激活值避免存储完整注意力矩阵,可将峰值显存占用削减30%-50%,广泛用于AI图像生成显存优化

核心事实

时间轴 (近 90 天)

9月1日

启用xFormers通常可以减少约30%-50%的显存占用,并提升15%-25%的生成速度

待验证50%
8月27日

PyTorch 2.x可能需要CUDA 11.8或12.1,不同版本的xFormers对PyTorch版本有严格要求

待验证50%
8月27日

整合包通过xFormers或--medvram参数等显存优化技术,利用注意力机制优化和分块计算降低峰值显存占用,使低配显卡也能运行

待验证50%
8月27日

xFormers是Meta开源的Transformer优化库,其Memory-Efficient Attention通过分块计算避免将完整注意力矩阵存入显存,可将注意力计算速度提升2-4倍

待验证60%
8月27日

对于8GB显存用户,启用量化和注意力优化可节省约30-40%的显存占用

待验证50%
7月24日

Informer通过ProbSparse稀疏注意力将自注意力计算复杂度从O(n²)降至O(n log n)

已验证65%

全部知识事实 (6)

来源文章