#推测解码
共 4 篇相关文章

·5 分钟
推测扩散双权衡框架:解锁大模型推理帕累托最优
深度解析Speculative Diffusion双权衡框架:扩散语言模型与推测解码结合,通过联合优化扩散努力与接受宽容度,扩展大模型推理速度-质量帕累托前沿,含理论证明与实验发现。
阅读全文 →

·4 分钟
SpecCompact:槽位并行推测加速LLM智能体上下文压缩
SpecCompact框架通过槽位并行语义推测加速LLM智能体上下文压缩,在AppWorld和τ³基准上实现2.04-5.63倍加速,用户研究中位加速达8.68倍,并揭示模型与任务相关的性能权衡。
阅读全文 →

·5 分钟
TextSeal2:无失真LLM水印,检测率提升显著
TextSeal2 是一种无失真 LLM 水印方案,通过 copula 密钥合并与无记忆性指数竞争,在推测解码下保持水印信号,相同多样性下检测率比 TextSeal 高出 8 到 22 个百分点,且不增加推理延迟。
阅读全文 →

·5 分钟
DLite:面向智能体的无历史推测解码,吞吐量提升70%
DLite提出无历史推测解码框架,通过复用目标模型隐藏状态做局部预测,解决智能体负载下草稿模型接受率下降80%的问题,实验接受长度达2-6,超越DSpark最高70%。
阅读全文 →