#上下文压缩
共 3 篇相关文章

·4 分钟
SpecCompact:槽位并行推测加速LLM智能体上下文压缩
SpecCompact框架通过槽位并行语义推测加速LLM智能体上下文压缩,在AppWorld和τ³基准上实现2.04-5.63倍加速,用户研究中位加速达8.68倍,并揭示模型与任务相关的性能权衡。
阅读全文 →

·3 分钟
上下文压缩会削弱拒绝对齐吗?研究揭示语义保真不等于行为对齐
研究发现基于编码器的上下文压缩会系统性削弱语言模型的拒绝对齐,尽管语义重建保真度很高。机制分析显示压缩衰减了拒绝方向的激活,Memory Steering 可在无需重训练的情况下将拒绝率恢复到接近基线水平。
阅读全文 →

·4 分钟
billion-context:上下文压缩插件,省5倍token撑起数月级会话
开源项目 billion-context 是一款 TypeScript 编写的上下文压缩插件,宣称100K窗口即可省5倍token、支持数月级几十亿token单会话。本文解析其核心卖点、技术思路与使用注意事项。
阅读全文 →