TokenEconomizer
微软研究院与UC Berkeley联合开源的编码代理上下文优化插件,通过从历史会话中学习上下文筛选策略,在不改变代理逻辑的前提下智能压缩上下文以降低token成本
时间轴 (近 90 天)
微软研究院与UC Berkeley联合发布了TokenEconomizer开源插件。
TokenEconomizer在SWE-Bench上可将编码代理的token成本降低18.4%至30.9%。
TokenEconomizer是插件形态,不要求开发者重写agent逻辑,也不改变模型调用方式,而是在会话层面对上下文进行智能压缩与筛选。
TokenEconomizer会从过往会话中学习,识别哪些上下文片段对当前任务有价值,以便在新任务中不必将全部历史信息放入提示词。
TokenEconomizer的收益高度依赖任务类型与会话特征,不同任务对上下文的依赖程度差异很大。
TokenEconomizer采用的“从历史会话中学习”属于数据驱动的动态上下文选择方法,其效果高度依赖历史数据的规模与分布,若新任务与历史会话差异较大,收益可能明显衰减。
对于按token计费的API用户,20%至30%的token成本降幅可直接折算为账单金额的减少。
TokenEconomizer以开源形式发布,降低了采用门槛,团队可以自行审查其上下文处理逻辑并评估与自身代理框架的兼容性。
全部知识事实 (8)
TokenEconomizer以开源形式发布,降低了采用门槛,团队可以自行审查其上下文处理逻辑并评估与自身代理框架的兼容性。
50%待验证TokenEconomizer在SWE-Bench上可将编码代理的token成本降低18.4%至30.9%。
50%待验证TokenEconomizer是插件形态,不要求开发者重写agent逻辑,也不改变模型调用方式,而是在会话层面对上下文进行智能压缩与筛选。
50%待验证TokenEconomizer会从过往会话中学习,识别哪些上下文片段对当前任务有价值,以便在新任务中不必将全部历史信息放入提示词。
50%待验证TokenEconomizer的收益高度依赖任务类型与会话特征,不同任务对上下文的依赖程度差异很大。
50%待验证TokenEconomizer采用的“从历史会话中学习”属于数据驱动的动态上下文选择方法,其效果高度依赖历史数据的规模与分布,若新任务与历史会话差异较大,收益可能明显衰减。
50%待验证对于按token计费的API用户,20%至30%的token成本降幅可直接折算为账单金额的减少。
50%待验证微软研究院与UC Berkeley联合发布了TokenEconomizer开源插件。
50%