MIRA:多模态图文深度研究Agent,实现可控报告生成

MIRA以生成契约串联四阶段工作流,实现可控且可追溯的多模态图文深度研究报告生成。
MIRA是一个面向可控报告生成的多模态图文深度研究Agent。针对现有系统推理时低估图像证据、生成时缺乏粒度与多模态控制的问题,MIRA通过MIRA-Harness将用户需求转化为“生成契约”,并串联证据收集、报告提交、反馈驱动修订和最终交付四个阶段。研究团队还构建MIRA-Data生成高质量多跳多模态研究轨迹,用于后训练基础模型适应工作流。基于Qwen3.6-35B-A3B,MIRA在7个多模态搜索与深度研究基准上取得开源Agent的SOTA性能,生成的报告与用户需求对齐,文本和视觉证据均可追溯。
深度研究Agent已能搜索开放网络并综合证据,但在多模态深度研究中,可控报告生成仍是短板。这类任务要求Agent处理图文交错的输入,通过多步网络搜索收集多模态证据,并按用户要求输出完整的图文报告。现有系统存在两个局限:推理时常常低估搜索轨迹中发现的图像;生成时倾向于固定形式的答案,对报告粒度、多模态组合和证据落地的控制有限。为此,研究者提出MIRA——一个面向可控报告的多模态图文深度研究Agent。

核心问题:图文证据的割裂与控制的缺失
当前深度研究Agent的工作流大多围绕文本证据构建,图像往往被视为辅助信息,甚至在推理过程中被忽略。这导致最终生成的报告缺乏视觉支撑,难以满足用户对图文并茂内容的需求。话说回来,报告生成环节通常采用端到端的方式,用户只能指定主题,却无法控制报告的详细程度、图文比例以及每个论断背后的证据来源。这种“黑箱式”生成限制了Agent在专业场景中的可用性。
MIRA的出发点正是将文本与视觉证据贯穿于研究和写作的全过程,并把用户需求转化为可执行的生成契约。
深度研究Agent(Deep Research Agent)是指能够自主执行多步网络搜索、跨来源整合信息并生成结构化研究报告的智能体系统。与传统的检索增强生成(RAG)不同,深度研究Agent强调“多跳”推理:它会根据中间发现动态调整后续搜索策略,而非一次性检索后直接作答。代表性工作包括OpenAI Deep Research、Perplexity等。这类系统的核心挑战在于搜索轨迹规划、证据可信度评估以及长报告的组织能力。当任务从纯文本扩展到图文交错场景时,Agent还需判断何时应检索图像、如何将视觉证据与文本论证对齐,这显著提高了推理与生成的复杂度。
MIRA-Harness:用生成契约串联四个阶段
MIRA的核心组件是MIRA-Harness,它将用户要求翻译成“生成契约”,并连接四个阶段:证据收集、报告提交、反馈驱动的修订以及最终交付。这一设计让报告生成不再是单向的提示-输出,而是一个可迭代、可控制的过程。
在证据收集阶段,Agent执行多步网络搜索,同时捕获文本和图像证据,并记录其来源,为后续的可追溯性打下基础。报告提交阶段,Agent依据生成契约产出初稿,契约中明确了粒度、多模态组合等约束。反馈驱动的修订阶段允许根据用户或自动评估的反馈调整报告,最终交付阶段则确保输出符合契约要求。
这种分阶段、契约驱动的方式,使Agent能够在保持自主性的同时,对报告的关键属性进行精细控制。
MIRA-Data与模型后训练:构建高质量多跳轨迹
为了让基础模型能够在这一工作流中运作,研究团队构建了MIRA-Data,用于生成高质量的多跳多模态研究轨迹。这些轨迹模拟了真实的研究过程:从初始问题出发,经过多次搜索和证据整合,最终形成报告。基于这些数据,团队对基础模型进行后训练,使其学会在MIRA-Harness定义的流程中行动。
后训练的关键在于让模型理解“生成契约”的约束,并学会在搜索过程中主动利用图像证据。这不同于传统的指令微调,而是将工作流的结构化知识注入模型。
多跳轨迹(multi-hop trajectory)指Agent从初始问题出发,经过多次搜索、证据筛选与整合,逐步逼近答案的完整行动序列。每一步都包含动作(如发起查询、打开页面、提取图像)和观察(检索到的文本或图像内容)。在训练中,这类轨迹既可作为监督微调的目标序列,也可用于偏好学习,让模型区分高质量与低质量的搜索路径。相比单跳问答数据,多跳轨迹能教会模型何时继续搜索、何时停止、如何在不同来源间建立关联,是训练深度研究Agent的关键数据形态。MIRA-Data的价值正在于将图像证据的获取与使用嵌入到这一轨迹中。
基准表现:开源Agent中的SOTA
使用Qwen3.6-35B-A3B作为基础模型,MIRA在7个代表性的多模态搜索和深度研究Agent基准上取得了开源Agent中的state-of-the-art性能。这些基准覆盖了多模态搜索和深度研究任务,能够全面评估Agent的证据收集、综合和报告生成能力。
更重要的是,MIRA生成的图文报告与用户需求对齐,并且文本和视觉证据均可追溯。这意味着用户不仅能看到结论,还能回溯每个结论所依据的原始资料,包括图像来源。
意义与局限
MIRA的价值在于将“可控性”引入多模态深度研究报告生成。通过生成契约和分阶段工作流,它让用户能够指定报告的粒度和多模态组成,同时保持证据的可追溯性。这对于需要严谨引用的研究场景尤为重要。
不过,当前结果基于Qwen3.6-35B-A3B这一特定基础模型,MIRA-Harness和MIRA-Data的通用性仍需在更多模型上验证。此外,生成契约的制定目前可能依赖人工或固定模板,如何让Agent自动理解并细化用户意图,仍是值得探索的方向。
总体而言,MIRA为多模态深度研究Agent提供了一个可控制的报告生成框架,其分阶段设计和证据追溯机制为后续研究提供了可借鉴的思路。
背景补充
生成契约(generation contract)是MIRA提出的核心抽象,可理解为一组在生成前显式约定、在生成中持续校验的输出约束。它通常包含报告粒度(如段落数、每节详略)、多模态组合比例(图文如何交错)、证据落地要求(每个论断需附来源链接或图像引用)等维度。与普通提示词不同,契约在工作流的多个阶段被反复引用:初稿提交时用于自检,修订阶段用于判断反馈是否被满足,最终交付时用于验收。这种机制把用户模糊的偏好转化为可执行、可验证的规范,从而在保持Agent自主性的同时实现细粒度控制,也为自动化评估提供了明确标准。
相关推荐

uGAP:统一100+非洲地理数据集的AI平台
uGAP是开普敦大学团队开发的非洲地理空间AI平台,统一120余个非洲数据集并提供Python SDK,支持数据发现、处理与模型训练一站式工作流,已用于气旋洪水制图等实战场景。

Cursor能控制你的电脑了:AI代理可驱动桌面应用测试
Cursor 新增桌面控制能力,AI 代理可驱动 iOS 模拟器等桌面应用测试自己构建的功能。本文分析这一更新对开发工作流的影响、技术实现可能路径及可靠性考量。

Vibecoding自研推理引擎:理想丰满,现实骨感
Reddit开发者分享Vibecoding自研推理引擎的真实经历:用WebGL2和GLSL在浏览器跑GGUF Q4模型,却陷入tokenizer调试地狱。本文分析浏览器端LLM推理的工程难点,以及为何直接clone llama.cpp是更理性的选择。