MLA
DeepSeek设计的多头潜在注意力机制架构，DSpark投机解码算法针对该架构特点进行了专项工程优化
核心事实
时间轴 (近 90 天)
MLA通过低秩联合压缩，将K和V投影到一个潜在向量空间，推理时仅缓存压缩后的潜在向量，在保持表达能力的同时把KV缓存压缩数倍。
使用MLA的模型如DeepSeek-V4.1-Flash将KV状态压缩至每32k流约2.4 GB（FP8 KV），而更宽的架构每32k流消耗3.0 GB–3.8 GB。
HYV4架构融合了Multi-head Latent Attention(MLA)、DeepSeek Sparse Attention(DSA)、带可学习注意力sink的门控MLA以及独立超连接(iHC)四项技术
MLA将GLM每token的KV缓存从32768个数压缩到576个数，降幅约98%
星辰4.0基于数十万亿tokens的数据基座，采用MLA、MTP、MHC等架构设计，并进行从4K到32K、128K、256K的分阶段长上下文训练
v0.30.0 简化了 KDA、AttnRes 与 MLA 相关的执行流程，并为部分模型加入 MXFP8 KV 缓存与异步 Engram 机制
MLA架构采用512维latent加64维RoPE设计，KV Cache可缩小约一个数量级
DeepSeek-V4 的稀疏 MLA（Multi-head Latent Attention）在 vLLM v0.28.0 中实现了端到端可用，支持普通解码、MTP和DSpark三种场景
MLA在训练阶段将低秩结构融入模型权重，而社区实验则在推理阶段对已有模型进行后处理近似
量化后的 MLX KV 缓存相比之前可减少高达 74% 的提示词内存占用
还有 2 条时间轴事件
全部知识事实 (20)
DeepSeek采用了混合专家架构（MoE）和多头潜在注意力机制（MLA）
80%已验证MLA可将KV Cache的显存占用降低至传统多头注意力的5%-13%
75%已验证Multi-Head Latent Attention（MLA）是DeepSeek-V2提出的注意力机制
75%已验证GQA（Grouped-Query Attention）和MQA（Multi-Query Attention）是MLA之前业界通过共享Key/Value头来缓解KV缓存问题的方案
75%已验证MLA将KV对压缩到低维潜在空间中进行缓存，推理时通过上投影矩阵恢复完整的Key和Value，将KV缓存压缩了数倍
75%待验证MLA中RoPE只对部分维度施加旋转编码，采用分离式设计将一小部分维度专门用于承载RoPE位置编码，与压缩后的内容向量拼接使用
85%待验证DeepSeek V4系列采用了MLA、MoE路由优化以及NSA等创新架构技术
85%待验证量化后的 MLX KV 缓存相比之前可减少高达 74% 的提示词内存占用
70%待验证DeepSeek的前缀缓存实现基于MLA（Multi-head Latent Attention）架构，MLA通过低秩压缩将KV Cache的存储需求降低了数十倍
60%待验证MLA通过低秩联合压缩，将K和V投影到一个潜在向量空间，推理时仅缓存压缩后的潜在向量，在保持表达能力的同时把KV缓存压缩数倍。
50%待验证使用MLA的模型如DeepSeek-V4.1-Flash将KV状态压缩至每32k流约2.4 GB（FP8 KV），而更宽的架构每32k流消耗3.0 GB–3.8 GB。
50%待验证HYV4架构融合了Multi-head Latent Attention(MLA)、DeepSeek Sparse Attention(DSA)、带可学习注意力sink的门控MLA以及独立超连接(iHC)四项技术
50%待验证MLA将GLM每token的KV缓存从32768个数压缩到576个数，降幅约98%
50%待验证星辰4.0基于数十万亿tokens的数据基座，采用MLA、MTP、MHC等架构设计，并进行从4K到32K、128K、256K的分阶段长上下文训练
50%待验证v0.30.0 简化了 KDA、AttnRes 与 MLA 相关的执行流程，并为部分模型加入 MXFP8 KV 缓存与异步 Engram 机制
50%待验证MLA架构采用512维latent加64维RoPE设计，KV Cache可缩小约一个数量级
50%待验证DeepSeek-V4 的稀疏 MLA（Multi-head Latent Attention）在 vLLM v0.28.0 中实现了端到端可用，支持普通解码、MTP和DSpark三种场景
50%待验证MLA在训练阶段将低秩结构融入模型权重，而社区实验则在推理阶段对已有模型进行后处理近似
50%待验证GQA和MLA等技术可显著压缩KV缓存大小，DeepSeek V3采用了MLA来降低长上下文场景的内存开销
50%待验证DeepSeek-V2提出MLA（Multi-head Latent Attention），通过低秩压缩将KV Cache压缩至MHA的5%左右
50%