AI智能体如何浪费你的钱？Token浪费的系统性结构

AI智能体在各类任务中可能消耗海量Token，但其中有多少是真正必要的？尽管先前研究已表明智能体可能产生意外高昂的Token成本，我们仍缺乏系统化的方法来识别和度量Token浪费。近日，一项研究提出了一个统一框架，用于跨异构智能体系统测量Token浪费，并揭示了浪费并非随机散落，而是具有系统级结构。

为什么我们需要专门的Token浪费度量框架

Token消耗高并不等同于浪费。有些Token用于必要的推理与执行，有些则纯属冗余。问题在于，仅看聚合Token用量无法区分二者。该研究指出，我们需要一种能够记录智能体完整轨迹、识别可移除片段、并在Token级别量化浪费的方法。

为此，研究者构建了一个统一框架：它记录并归一化完整的智能体轨迹，利用LLM-as-a-Judge（LLMaJ）识别可移除的文本片段，再将识别出的片段映射回原始轨迹进行Token级测量。这种“识别—映射—测量”的流程让Token浪费从模糊印象变成可量化指标。

框架如何工作：从轨迹记录到干预验证

框架的核心在于两步：先由LLMaJ判断哪些片段可以安全移除而不影响任务完成，再通过直接干预验证浪费的真实性。研究者会移除标记的片段，恢复智能体执行，并测量任务结果与后续动作的变化。这种干预式验证避免了“模型认为可移除”与“实际可移除”之间的偏差。

在线剪枝实验中，研究者移除了模型41-46%的推理内容，同时在两个不同的智能体基准上基本保持了任务性能。这一结果说明，相当一部分推理Token对最终结果并无实质贡献，移除它们不会显著损害智能体表现。

LLM-as-a-Judge（LLMaJ） 是一种利用大型语言模型作为评估者的技术范式。在本框架中，LLMaJ 并非直接评判任务完成质量，而是被赋予识别“可安全移除片段”的职责：给定完整的智能体轨迹，模型需判断哪些文本片段（如冗余推理、重复描述、无效尝试）可以被删除而不影响后续决策与最终任务结果。这种做法的优势在于，LLMaJ 能理解自然语言形式的轨迹语义，比基于规则或统计的启发式方法更灵活；但其风险在于模型判断可能与实际可移除性存在偏差，因此框架必须引入干预式验证——实际移除片段并重新执行智能体，以真实任务结果校准 LLMaJ 的标记。这一“识别—干预”闭环是保证浪费度量可信度的关键设计。

Token浪费的系统级结构：三个关键发现

利用该框架，研究者分析了多种设置下的智能体，发现Token浪费具有聚合用量无法揭示的系统级结构。

浪费更多取决于任务与智能体设置，而非模型本身

第一个发现是：浪费在不同任务和智能体设置之间的差异，大于不同模型之间的差异。这意味着，同一模型在不同任务或配置下可能表现出截然不同的浪费水平，而换模型未必能解决浪费问题。优化重点应放在任务设计和智能体配置上。

推理与可见执行的浪费模式不同

第二个发现是：推理过程和可见执行过程可能呈现不同的浪费模式。推理中的冗余与执行中的冗余不能一概而论，需要分别度量与优化。这提示我们，针对推理的剪枝策略未必适用于执行环节，反之亦然。

推理Token与可见执行Token 在智能体轨迹中属于不同层面。推理 Token 指模型内部思维链（chain-of-thought）或隐式推理步骤所产生的文本，通常不直接呈现给用户，但占据大量上下文；可见执行 Token 则包括工具调用参数、环境交互指令、最终回复等实际作用于外部世界的输出。两者的浪费机理不同：推理冗余常表现为重复自我确认、绕圈式论证或对已确定结论的反复推导；执行冗余则多表现为无效工具调用、参数试错或重复查询。由于二者在轨迹中的位置和功能不同，剪枝策略需要分别设计——对推理可尝试压缩思维链，对执行则需优化工具调用逻辑与缓存机制，不能简单套用同一套规则。

同一模型同一任务下，不同Harness引入不同低效来源

第三个发现是：即使模型和任务相同，不同的Harness（智能体运行框架）也会引入不同的低效来源。Harness的设计选择——如何组织提示、如何管理上下文、如何调用工具——直接影响Token浪费的程度与形态。这为工程实践提供了明确的优化抓手。

Harness（智能体运行框架） 指包裹在基础模型之外、负责驱动智能体行为的整套软件脚手架，通常包括提示模板组织、上下文窗口管理、工具调用接口、多轮对话状态维护、输出解析与重试逻辑等。同一模型在不同 Harness 下表现差异显著，因为 Harness 决定了模型每次被调用时“看到什么”以及“如何行动”。例如，一个在每轮都拼接完整历史记录的 Harness 会引入大量重复上下文 Token；一个缺乏工具调用结果缓存的 Harness 可能导致模型反复执行相同查询。因此，Harness 的设计选择本身就是 Token 浪费的结构性来源之一，优化 Harness 往往比更换模型更能直接降低无效消耗。

从度量到行动：Token浪费作为优化信号

该框架的价值在于将Token浪费转化为可操作的优化信号。研究者指出，这能帮助研究人员和实践者训练更高效的模型、设计更好的推理策略，并优化智能体Harness，以减少不必要的计算，而不仅仅是减少Token用量。

减少Token用量与减少浪费是两个不同目标。前者可能以牺牲任务性能为代价，后者则追求在保持性能的同时剔除冗余。该框架通过干预验证确保了移除的片段确实不影响任务结果，从而使优化有的放矢。

实践启示：如何减少智能体中的Token浪费

基于上述发现，实践者可以从三个层面入手。任务层面，识别高浪费任务类型并调整任务设计；推理策略层面，针对推理与执行分别制定剪枝或压缩策略；Harness层面，审视框架设计中的低效来源，例如冗余的上下文拼接或不必要的工具调用。

该研究也提醒我们，聚合Token用量是一个过于粗糙的指标。要真正理解成本，需要深入到轨迹级别，识别哪些片段可移除、哪些不可移除。随着智能体承担越来越复杂的任务，这种细粒度的浪费度量将变得越来越重要。

结语

AI智能体的Token浪费不是随机现象，而是由任务、设置、推理模式与Harness共同塑造的系统级结构。统一度量框架的出现，让浪费从隐形成本变成可优化对象。对于构建智能体应用的团队而言，关注Token浪费的结构性来源，可能比单纯追求更便宜的模型更能有效控制成本。