概念FlashTopK算子
FlashTopK
一种用于稀疏注意力机制的高效TopK选择算子,可显著降低注意力计算瓶颈耗时,提升大模型推理效率。
时间轴 (近 90 天)
11月14日
腾讯混元联合爱丁堡大学正式开源了FlashTopK算子,旨在加速DeepSeek式稀疏注意力中的TopK筛选瓶颈。
待验证50%
11月14日
FlashTopK将TopK筛选环节的耗时从传统实现的5.32秒降低到1.62秒,减少约70%。
待验证50%
11月14日
根据仓库实测数据,FlashTopK在推理阶段比同类主流实现快1.7到3.8倍,在吸收训练上提速1.3到2倍。
待验证50%
11月14日
FlashTopK目前已适配GLM5系列以及混元Hi4预览版。
待验证50%