概念Hybrid Language Model
混合语言模型
在架构中交替或组合使用全注意力层与线性注意力、状态空间模型等高效层的语言模型,旨在平衡性能与效率。
时间轴 (近 90 天)
10月28日
混合语言模型在架构中交替或组合使用全注意力层与线性注意力、状态空间模型(如Mamba)等高效层,全注意力层需为每个历史token保存键值向量,开销随序列长度线性增长;线性注意力层则以固定大小的递归状态代替KV缓存。
待验证50%
在架构中交替或组合使用全注意力层与线性注意力、状态空间模型等高效层的语言模型,旨在平衡性能与效率。
混合语言模型在架构中交替或组合使用全注意力层与线性注意力、状态空间模型(如Mamba)等高效层,全注意力层需为每个历史token保存键值向量,开销随序列长度线性增长;线性注意力层则以固定大小的递归状态代替KV缓存。