概念稀疏注意力
MiniMax Sparse Attention
MiniMax 提出的稀疏注意力技术,只让每个 token 关注部分位置(局部窗口加少量全局token),将计算量从平方级压缩到接近线性,大幅降低长上下文推理成本
时间轴 (近 90 天)
10月19日
MiniMax M3 基于 MiniMax Sparse Attention 构建,使得 100 万 token 上下文的运行成本远低于上一代。
待验证50%
MiniMax 提出的稀疏注意力技术,只让每个 token 关注部分位置(局部窗口加少量全局token),将计算量从平方级压缩到接近线性,大幅降低长上下文推理成本
MiniMax M3 基于 MiniMax Sparse Attention 构建,使得 100 万 token 上下文的运行成本远低于上一代。