[控场AI]
概念Hybrid Language Model

混合语言模型

在架构中交替或组合使用全注意力层与线性注意力、状态空间模型等高效层的语言模型,旨在平衡性能与效率。

时间轴 (近 90 天)

10月28日

混合语言模型在架构中交替或组合使用全注意力层与线性注意力、状态空间模型(如Mamba)等高效层,全注意力层需为每个历史token保存键值向量,开销随序列长度线性增长;线性注意力层则以固定大小的递归状态代替KV缓存。

待验证50%

全部知识事实 (1)

来源文章