HyFlash

HyFlash是一种用于端侧投机解码的紧凑并行草稿模型，核心设计是引入前缀记忆先验，将长程上下文建模与细粒度草稿位置交互解耦。

HyFlash采用双路径设计：局部注意力路径负责捕捉近期上下文和草稿位置之间的交互；循环记忆路径将历史目标特征压缩为固定大小的状态。

据论文实验结果，HyFlash在草稿接受率上超越了全上下文注意力方案，同时KV存储需求大幅降低。

论文指出，HyFlash在浅层草稿模型和长上下文场景下，接受率增益更为明显。