Kimi K3采用的混合线性注意力机制，通过核函数近似将自注意力计算复杂度从O(N²)降至O(N)，使模型能够高效处理百万级长上下文
MLA将KV对压缩到低维潜在空间中进行缓存，推理时通过上投影矩阵恢复完整的Key和Value，将KV缓存压缩了数倍