[
控场AI
]
知识动态
实体
播客
深度
开发者
关于
Get CLI
EN
概念
HLA / Hybrid Linear Attention
混合线性注意力
一种注意力架构,在部分层保留标准注意力、其余层使用线性注意力,用固定维度循环状态累积历史信息,兼顾局部精确检索与长程记忆,压缩表示维度远小于KV缓存
来源文章
ReaDy:用循环状态为混合线性注意力模型加速投机解码
10月15日