[控场AI]
概念FlashTopK算子

FlashTopK

一种用于稀疏注意力机制的高效TopK选择算子,可显著降低注意力计算瓶颈耗时,提升大模型推理效率。

时间轴 (近 90 天)

11月14日

腾讯混元联合爱丁堡大学正式开源了FlashTopK算子,旨在加速DeepSeek式稀疏注意力中的TopK筛选瓶颈。

待验证50%
11月14日

FlashTopK将TopK筛选环节的耗时从传统实现的5.32秒降低到1.62秒,减少约70%。

待验证50%
11月14日

根据仓库实测数据,FlashTopK在推理阶段比同类主流实现快1.7到3.8倍,在吸收训练上提速1.3到2倍。

待验证50%
11月14日

FlashTopK目前已适配GLM5系列以及混元Hi4预览版。

待验证50%

全部知识事实 (4)

来源文章