ReaDy
一种利用混合线性注意力(HLA)模型循环状态进行位置特定上下文检索的投机解码方法,通过状态读取器为每个草稿位置检索补充上下文以提升草稿质量
时间轴 (近 90 天)
ReaDy 是首个利用混合线性注意力(HLA)循环状态进行位置特定上下文检索的投机解码方法。
ReaDy 的核心思路是让每个草稿位置通过可学习的 query 从目标模型已提交的循环状态中检索补充上下文。
ReaDy 采用低秩状态读取并将相关算子融合,以降低额外计算和 I/O 开销。
ReaDy 建立在 DSpark 的并行骨干与序列预测头之上,采用轻量级两阶段适配。
在数学、代码生成和对话等七个基准测试上,ReaDy 使用 Qwen3.8-27B 在单张 NVIDIA B200 GPU 上取得了平均 3.16 倍于自回归解码的加速。
与 DSpark 基线相比,ReaDy 在所有基准上均有提升,吞吐量平均提高 7.97%,接受长度平均提升 8.50%。
ReaDy 目前验证的模型规模与硬件条件相对集中,跨架构、跨规模的泛化能力仍需更多实验检验。
全部知识事实 (7)
ReaDy 是首个利用混合线性注意力(HLA)循环状态进行位置特定上下文检索的投机解码方法。
50%待验证ReaDy 的核心思路是让每个草稿位置通过可学习的 query 从目标模型已提交的循环状态中检索补充上下文。
50%待验证ReaDy 采用低秩状态读取并将相关算子融合,以降低额外计算和 I/O 开销。
50%待验证ReaDy 建立在 DSpark 的并行骨干与序列预测头之上,采用轻量级两阶段适配。
50%待验证在数学、代码生成和对话等七个基准测试上,ReaDy 使用 Qwen3.8-27B 在单张 NVIDIA B200 GPU 上取得了平均 3.16 倍于自回归解码的加速。
50%待验证与 DSpark 基线相比,ReaDy 在所有基准上均有提升,吞吐量平均提高 7.97%,接受长度平均提升 8.50%。
50%待验证ReaDy 目前验证的模型规模与硬件条件相对集中,跨架构、跨规模的泛化能力仍需更多实验检验。
50%