OpenVLHarness：多模态记忆如何重塑视觉智能体工具使用

视觉推理的瓶颈：内部思考不够用了

多模态大模型在视觉推理基准上的分数逐年攀升，但一个尴尬的现实是：很多任务靠“想”是解决不了的。OpenVLHarness 团队做了一项控制实验，覆盖 22 个基准，结论很直接——单纯增加基础模型的推理预算（inference budget），带来的提升相当有限。

这背后的原因不难理解。真实世界的视觉任务往往需要三类外部证据：扎实的感知结果、外部知识、以及通过异构工具获得的数值测量。这些证据必须被转换成模型能读懂的观测，并且在多步推理中持续保留。当前多数工具调用方案只解决了“调用”这一环，却没有解决“证据如何被记住和复用”的问题。

推理预算（inference budget） 在多模态大模型语境下，通常指模型在生成最终答案前可用于“内部思考”的 token 数量或计算步数，例如增加思维链长度、允许更多次自采样或延长推理时间。OpenVLHarness 的控制实验固定工具与数据，仅调节这一预算，发现收益很快饱和。这说明视觉任务中大量关键信息并不存在于模型参数或输入像素中，而必须通过外部感知、知识检索或数值计算获取；单纯延长内部推理链，只会让模型在缺乏证据的情况下反复自我确认，甚至放大幻觉。因此，推理预算应被视为一种有限资源，其边际效益取决于外部证据能否被有效引入和复用。

OpenVLHarness 的架构：能力层 + 持久多模态记忆

OpenVLHarness 把自身定位为一个“多模态推理 harness”，核心由两部分组成。

能力层：统一异构工具，并把输出渲染成可读证据

能力层将任务级工具接口与证据渲染（evidence rendering）结合在一起。它的价值在于抹平不同后端工具的差异，提供一致的访问方式，并把工具返回的结果（图像、结构化数据、网页引用等）转换为模型可读的观测格式。这一步看似工程细节，实际上决定了模型能否真正“看懂”工具输出，而不是被原始返回格式干扰。

证据渲染（evidence rendering） 是指将异构工具返回的原始输出（如 JSON、HTML、图像张量、数据库记录）转换为多模态模型可直接消费的观测格式，例如规范化后的图像、带标注的表格截图或精简的结构化文本。不同后端工具的返回 schema 差异很大，若直接拼接进提示，模型需要额外推理来解析格式，既消耗预算又易出错。证据渲染通过统一 schema、裁剪冗余字段、保留关键视觉元素，降低了模型“看懂”工具输出的门槛。它决定了工具调用能否真正转化为有效证据，而不仅是形式上的调用成功。

持久多模态记忆：让证据成为可寻址的工件

持久多模态记忆是这套方案区别于普通工具调用框架的关键。它在整个查询过程中保留对应的图像、结构化数据和网页引用，将它们作为可寻址的工件（addressable artifacts）存储。模型可以在后续推理步骤中随时回访这些证据，而不是依赖上下文窗口的临时记忆。

此外，一个编码接口允许模型对存储的数据执行生成的程序，从而完成需要组合多个工具结果的计算。这三套机制共同支撑起“获取—检查—组合”多模态证据的迭代过程。

可寻址工件（addressable artifacts） 指在推理过程中被赋予唯一标识、可按需检索和引用的结构化对象。与上下文窗口中的临时 token 不同，工件独立于对话历史存在，模型可通过标识符在任意后续步骤回访原始图像、表格或网页片段。这种设计缓解了两个常见问题：一是长上下文中的证据被后续 token 稀释或截断；二是同一证据被多次调用时需重复传输，推高 token 成本。工件化还使编码接口能直接对已存储对象执行程序，例如对多张图表做聚合计算，而无需模型在文本中复述中间结果。其实质是把“记忆”从上下文管理问题转化为存储与索引问题。

实验数据：平均提升 9.7–12.6 分，且成本更低

在 22 个基准、八种开源与专有骨干模型的评测中，OpenVLHarness 相比匹配的无工具基线平均提升 9.7–12.6 分。具体来看：Qwen3-VL-8B 提升 11.2 分，Kimi K3 提升 9.7 分，GPT-6 Astra 提升 9.9 分。

更值得关注的是效率维度。以 GPT-6 Luna 中等推理强度运行 OpenVLHarness，其表现超过基础模型、Codex 和 Visual Sketchpad 在最高推理强度下的成绩，领先 7.7–8.5 分，而模型 token 成本最多只相当于后者的 37%。这说明外部证据的组织方式，可以在不堆算力的前提下换来实现更扎实的推理质量。

为什么这项工作值得关注

现有视觉智能体研究大多聚焦于工具的种类扩展或调用策略优化。OpenVLHarness 提出的问题更底层：工具输出如何被模型稳定理解，证据如何在多步推理中不丢失。持久多模态记忆给出的答案是把证据工件化、可寻址化，这与单纯扩大上下文窗口是两条不同的技术路线。

对于构建真实世界视觉应用（如文档理解、图表分析、跨源信息核验）的团队而言，这套 harness 的思路提供了一个可借鉴的工程范式：先解决证据的可读性与可复用性，再谈工具的数量和复杂度。