TokenPrune
开源零依赖Python包,通过确定性剪枝和表格压缩减少Agent工具输出中的冗余Token,无需调用第二模型,安装方式为pip install tokenprune
时间轴 (近 90 天)
TokenPrune是一个开源、零依赖的Python包,通过确定性剪枝和表格压缩在本地内存中减少工具输出中的冗余Token,不调用任何外部模型。
TokenPrune可通过 pip install tokenprune 安装。
TokenPrune的核心用法是使用 @prune_tool 装饰器包裹工具函数,自动分析返回字典的结构,剥离空值、压缩重复键值模式,并将列表型数据转换为紧凑表格形式。
根据作者公布的基准测试,TokenPrune在企业级API负载上实现70%–90%的Token削减。
TokenPrune的运行时开销低于0.5毫秒,外部API调用次数为0。
TokenPrune基于纯Python标准库的AST树摇(tree-shaking)实现。
TokenPrune项目开源在GitHub(GeekyMK/tokenprune)并发布到了PyPI。
TokenPrune的剪枝逻辑是确定性启发式规则,相同输入永远得到相同的剪枝结果。
当列表中的对象结构不一致时,TokenPrune的表格压缩可能失效或产生歧义。
TokenPrune的默认剪枝会优先剥离HATEOAS链接字段等元数据,若这些链接在溯源或后续调用中确有必要,需要开发者显式保留。
还有 1 条时间轴事件
全部知识事实 (11)
TokenPrune尚未经过大规模生产环境验证,70%–90%的削减数据来自作者自测,实际效果会因API负载类型而异。
50%待验证TokenPrune可通过 pip install tokenprune 安装。
50%待验证TokenPrune的核心用法是使用 @prune_tool 装饰器包裹工具函数,自动分析返回字典的结构,剥离空值、压缩重复键值模式,并将列表型数据转换为紧凑表格形式。
50%待验证根据作者公布的基准测试,TokenPrune在企业级API负载上实现70%–90%的Token削减。
50%待验证TokenPrune的运行时开销低于0.5毫秒,外部API调用次数为0。
50%待验证TokenPrune基于纯Python标准库的AST树摇(tree-shaking)实现。
50%待验证TokenPrune是一个开源、零依赖的Python包,通过确定性剪枝和表格压缩在本地内存中减少工具输出中的冗余Token,不调用任何外部模型。
50%待验证TokenPrune的剪枝逻辑是确定性启发式规则,相同输入永远得到相同的剪枝结果。
50%待验证当列表中的对象结构不一致时,TokenPrune的表格压缩可能失效或产生歧义。
50%待验证TokenPrune的默认剪枝会优先剥离HATEOAS链接字段等元数据,若这些链接在溯源或后续调用中确有必要,需要开发者显式保留。
50%待验证TokenPrune项目开源在GitHub(GeekyMK/tokenprune)并发布到了PyPI。
50%