SpecCompact
一种用于加速LLM智能体上下文压缩的框架，借鉴推测解码思想，将压缩任务分解为语义槽位，由小型草稿模型并行生成候选内容、目标大模型验证修正。
时间轴 (近 90 天)
SpecCompact框架通过槽位并行语义推测加速LLM智能体的上下文压缩，在多个基准上实现了2.04至5.63倍的压缩加速。
SpecCompact将压缩任务分解为多个槽位，利用小型草稿模型并行生成候选内容，再由目标大模型进行验证和修正。
SpecCompact的工作流程分为两个阶段：草稿生成与验证修正，修复后的槽位前缀用于后续草稿生成，形成迭代优化循环。
SpecCompact借鉴推测解码思想，将推测单元从token扩展到语义槽位，验证标准从概率接受变为语义合理性判断，因此不保证与串行生成完全等价。
在AppWorld和τ³两个基准上，使用两种目标模型进行测试，SpecCompact相比Hermes风格摘要实现了2.04至5.63倍的压缩加速。
在Hermes环境下的用户研究中，SpecCompact的中位压缩加速达到8.68倍。
下游评估揭示模型和任务相关的性能权衡：在某些任务上，压缩后的信息保留质量可能有所下降。
SpecCompact对草稿模型仅需微调，无需改变目标模型，具备较好的落地可行性。
论文未详细讨论草稿模型在不同领域间的泛化能力，以及槽位划分策略对最终摘要质量的影响。
未来工作方向包括自适应槽位划分、结合强化学习优化草稿模型以及扩展到多模态历史压缩。
全部知识事实 (10)
SpecCompact框架通过槽位并行语义推测加速LLM智能体的上下文压缩，在多个基准上实现了2.04至5.63倍的压缩加速。
50%待验证SpecCompact将压缩任务分解为多个槽位，利用小型草稿模型并行生成候选内容，再由目标大模型进行验证和修正。
50%待验证SpecCompact的工作流程分为两个阶段：草稿生成与验证修正，修复后的槽位前缀用于后续草稿生成，形成迭代优化循环。
50%待验证SpecCompact借鉴推测解码思想，将推测单元从token扩展到语义槽位，验证标准从概率接受变为语义合理性判断，因此不保证与串行生成完全等价。
50%待验证在AppWorld和τ³两个基准上，使用两种目标模型进行测试，SpecCompact相比Hermes风格摘要实现了2.04至5.63倍的压缩加速。
50%待验证在Hermes环境下的用户研究中，SpecCompact的中位压缩加速达到8.68倍。
50%待验证下游评估揭示模型和任务相关的性能权衡：在某些任务上，压缩后的信息保留质量可能有所下降。
50%待验证SpecCompact对草稿模型仅需微调，无需改变目标模型，具备较好的落地可行性。
50%待验证论文未详细讨论草稿模型在不同领域间的泛化能力，以及槽位划分策略对最终摘要质量的影响。
50%待验证未来工作方向包括自适应槽位划分、结合强化学习优化草稿模型以及扩展到多模态历史压缩。
50%