Caveman：本地代理压缩工具，AI Agent省33% Token成本

当Token成本成为AI Agent的隐形税负

随着Claude Code、Codex、Hermes等编码类AI Agent的普及，开发者们逐渐意识到一个残酷的现实：每一次与大模型的交互，都在无声地消耗着宝贵的Token预算。日志、工具输出、文件内容——这些上下文在多轮对话中不断累积，最终转化为高昂的API账单和更慢的响应速度。

近日在Product Hunt上线的开源工具 Caveman 正是瞄准了这一痛点。它的Slogan直白而带着几分黑色幽默——"why use many token when few do trick"（能用少量Token搞定，何必用一大堆），精准道出了这款Token压缩工具的核心哲学。

Caveman 在 Product Hunt 上的展示页面

上线首日，Caveman就获得了103个投票，排名当日产品榜第9位，被归类于开源、开发者工具、人工智能与GitHub四个标签之下，由开发者Julius Brussee打造。

Caveman的工作方式并不复杂，却颇具巧思。它通过一条命令包裹住现有的Claude Code、Codex、Hermes等Agent，充当一个**本地代理（local proxy）**的角色。

关键在于"透明"二字：在每一次向大模型供应商发起调用之前，Caveman会自动对日志、工具输出和文件内容进行压缩处理。这意味着开发者无需修改现有的工作流或Agent代码，只需在启动时套上这一层代理，就能享受到Token优化的红利。

这种零侵入的设计理念，是Caveman能够快速被采纳的重要原因——它不要求你更换工具，也不强迫你学习新的Agent框架，而是作为一个中间层默默地为你节流。

口说无凭，Caveman给出了一组固定（pinned）的54次运行基准测试结果：

这组数据颇具说服力。33.2%的Token削减意味着直接的API成本下降，而18/18的正确性通过率则回答了压缩方案最核心的质疑——压缩会不会损害模型的表现？ 至少在这套基准中，答案是否定的。压缩后的上下文依然保留了足够的信息量，让Agent能够正确完成任务。

如果说33.2%的压缩还算稳健，那么Caveman的另一项能力则显得相当大胆：它可以运行任何现有的Agent技能（skill），并通过将文本以图像形式加载的方式，实现约70%的Token节省。

这一思路利用了现代多模态大模型对图像输入的Token计费方式。在许多视觉语言模型中，一张图片所消耗的Token数量往往是固定的、有限的，而当中却可以承载大量的文本信息。换言之，把一段冗长的文本"截图"成图像喂给模型，可能比直接以文本形式传入更加"划算"。

这是一种巧妙但也需要谨慎评估的技巧。它的实际效果高度依赖于模型的OCR能力和对图像文本的理解精度。对于结构化程度高、信息密集的内容，这种方法能带来可观的节省；但对于需要精确逐字理解的场景，开发者仍需自行验证其可靠性。

有意思的是，Caveman并非凭空构建，而是建立在一个拥有97K+ GitHub Stars的开源生态之上。这一庞大的社区基础，既为其提供了成熟的技术底座，也意味着它天然具备较好的兼容性与可扩展性。

对于开源工具而言，依附于一个活跃、庞大的生态往往是成败的关键。它降低了工具的维护成本，也让潜在用户更容易信任并采纳。Caveman选择在既有生态中做"加法"，而非从零造轮子，这一策略无疑更为务实。

Caveman的出现，折射出AI应用开发中一个日益凸显的趋势：Token效率的优化，正在从边缘话题走向核心竞争力。

当越来越多的开发者依赖AI Agent进行日常编码时，Token消耗的规模效应开始显现。一个团队每天数千次的Agent调用，若能整体削减三分之一的输入Token，累积下来的成本节约与性能提升相当可观。同时，更精简的上下文也意味着更快的响应速度和更少的上下文窗口溢出风险。

当然，作为一款刚上线、评论数仅6条的新工具，Caveman目前的验证仍属早期。54次运行的基准虽然给出了正面信号，但样本规模有限，能否在更广泛、更复杂的真实场景中稳定复现，仍有待时间检验。尤其是文本转图像这一激进手法，其边界与风险值得开发者在实际采用前充分测试。

尽管如此，Caveman所代表的方向——在不牺牲正确性的前提下压缩上下文成本——无疑是当下AI Agent工程化道路上一个真实且有价值的命题。对于每天被Token账单困扰的开发者而言，它至少提供了一个值得一试的低门槛方案。