产品
Flash MLA
DeepSeek 开源的 GPU 算子,针对 MLA(多头潜在注意力)压缩格式的 KV 缓存进行高效读取和注意力计算,支持分页管理以节省显存
时间轴 (近 90 天)
10月25日
DeepInfer 的自研优化内核包括 Flash MLA、Deep GMM 和 Deep EP。
待验证50%
10月21日
Flash MLA 是专门针对 MLA 压缩 KV 缓存格式优化读取和注意力计算的 GPU 算子,采用类似虚拟内存的分页管理。
待验证50%
DeepSeek 开源的 GPU 算子,针对 MLA(多头潜在注意力)压缩格式的 KV 缓存进行高效读取和注意力计算,支持分页管理以节省显存
DeepInfer 的自研优化内核包括 Flash MLA、Deep GMM 和 Deep EP。
Flash MLA 是专门针对 MLA 压缩 KV 缓存格式优化读取和注意力计算的 GPU 算子,采用类似虚拟内存的分页管理。