LogT:不堆RL复杂度,用高质量SFT数据让VLM学会用图思考

LogT 用全自动数据引擎生成逻辑链引导的 SFT 数据,以更少数据和算力超越 SFT+RL 方法。
LogT 论文指出,视觉语言模型“用图思考”的瓶颈不在强化学习算法复杂度,而在监督微调数据质量。作者提出全自动 SFT 数据引擎 LogT,显式生成逻辑链引导的推理轨迹,确保问题依赖视觉细节且工具使用轨迹接近人类逻辑。在 Qwen2.5-VL-7B 和 InternVL3.5-8B 上微调后,LogT-SFT 在七个基准上超越现有 SFT+RL 最优方法,数据量少 3.1 倍、GPU 小时少 120 倍以上;叠加简单 RL 配方后性能再提升 9.59 个百分点。这表明高质量示范数据可替代部分 RL 工程,但方法目前限于 Zoom-in 视觉搜索场景。
当视觉搜索遇上「用图思考」
让视觉语言模型(VLM)「用图思考」,是近两年多模态推理的一条重要分支:模型不再一次性看完图像就给出答案,而是像人一样调用外部的 Zoom-in 工具,对感兴趣的局部区域放大再观察,逐步完成细粒度视觉搜索。这听起来是一个典型的强化学习(RL)问题——让模型在试错中学会何时该放大、放大哪里。但一篇题为 LogT: Logically Think with Images for Visual Search 的研究提出了不同判断:真正卡住这条路的,未必是 RL 算法不够精巧,而是 SFT 数据质量不过关。

问题不在 RL,而在数据
现有的「用图思考」工作普遍采用监督微调(SFT)加强化学习的组合,并为工具调用设计专门的奖励或动作空间。这类做法能带来性能提升,但作者指出,同时实现「逻辑推理」与「准确、高效的工具使用」仍是显著挑战。
研究团队做了一个关键的视角切换:与其继续增加 RL 的复杂度,不如回头审视 SFT 数据的质量——因为模型首先要从示范数据中学会「什么样的推理链条是合理的」,RL 才有在正确方向上继续优化的空间。如果示范数据本身缺乏逻辑结构,再复杂的 RL 设计也只能在噪声中搜索。
SFT 与 RL 的分工:监督微调(SFT)用专家示范数据直接教会模型“输入→输出”的映射,本质是行为克隆;强化学习(RL)则让模型在环境中试错,依据奖励信号优化策略。在多步工具调用任务中,SFT 提供初始策略和推理格式,RL 负责在奖励引导下微调决策边界。若 SFT 示范本身逻辑混乱,RL 的探索空间会被噪声淹没,这正是 LogT 强调数据质量优先于算法复杂度的依据。
LogT:一个强调逻辑链的自动化数据引擎
基于这一判断,作者提出了 LogT(Logically Think with Images),一个全自动的 SFT 数据引擎。它的核心设计是显式地强制「逻辑链引导的推理」(logic-chain-guided reasoning),产出两样东西:
- 有挑战性、视觉根基扎实的问题:问题必须真正依赖图像细节才能回答,而不是靠语言先验猜出来;
- 结构化的工具使用轨迹:轨迹要具备接近人类的逻辑,即先看什么、为什么放大此处、放大后如何修正判断。
数据引擎全自动化的意义在于可扩展性。人工标注带工具调用的多步推理轨迹成本极高,而 LogT 把「逻辑结构」作为生成约束嵌入流程,使数据既便宜又保有推理质量。
视觉根基扎实(visually grounded):指问题答案必须依赖图像中的具体视觉证据才能得出,而非仅凭语言先验或常识猜测。例如,“图中左侧第二辆车的颜色是什么”需要模型实际放大查看,而“图中是否有车”可能靠场景先验回答。LogT 在生成问题时显式要求视觉证据链,确保工具调用轨迹中的每一步放大都有明确的视觉依据,从而避免模型学到“假推理”——看似在推理,实则依赖语言捷径。
实验:更少数据、更少算力,性能反超
作者在两个基座模型 Qwen2.5-VL-7B 和 InternVL3.5-8B 上用 LogT 数据集做微调,并在七个基准测试集上评估。结果中最值得关注的是效率对比:
- 基于 Qwen2.5-VL-7B 的 LogT-SFT 模型,优于使用 SFT 与 RL 联合训练的现有最优方法,而所用数据量少 3.1 倍,GPU 小时数少 120 倍以上;
- 在 LogT-SFT 之上再跑一套不针对工具做专门设计的简单 RL 配方,模型性能比此前采用复杂 RL 设置的方法高出 9.59 个百分点。
后一个结果尤其有说服力:它说明当 SFT 阶段已经把逻辑链条打扎实,RL 不再需要为工具使用做大量定制工程,通用配方就能继续推高性能上限。换句话说,复杂度被前置到了数据侧,而不是算法侧。
除了基准分数,作者报告模型在工具使用准确率与效率上同样更高,推理轨迹也更具结构性和逻辑一致性——这直接对应了 LogT 的设计初衷,也说明性能提升并非来自偶然的过拟合。
GPU 小时数:衡量训练总算力消耗的常用指标,等于使用的 GPU 数量乘以训练时长。LogT 报告其方法比现有最优方法少用 120 倍以上 GPU 小时,意味着在相同硬件下训练时间可缩短两个数量级,或可用极少量算力完成复现。这一对比凸显了数据效率提升带来的算力节约,对算力受限的研究团队具有直接参考价值。
对多模态推理研究的启示
LogT 的价值不止于一个更强的视觉搜索模型,它给出了一个方法论层面的提醒:在多模态智能体与工具调用成为热点的当下,社区容易把注意力集中在 RL 奖励设计和动作空间工程上,而低估了示范数据中「推理结构」的权重。
这一思路也有其边界。LogT 目前验证的是带 Zoom-in 工具的视觉搜索场景,逻辑链能否自动生成并泛化到更开放的工具集合(如代码执行、多工具协同)尚待检验;同时,数据引擎的自动生成质量依赖底层模型与筛选机制,其上限需要更多分析。不过至少在这个任务上,数据侧的一小步换来了算力侧的一大步,这对算力受限的研究者是一个相当实用的信号。
相关推荐

Gemini 4 Neon 曝光:或成 Opus 5.5 有力竞争者
Hacker News 讨论帖指出 Gemini 4 Neon 看起来像 Opus 5.5 的竞争者。本文解读这一社区信号背后的产品定位、顶级模型竞争格局变化,以及对开发者模型选型策略的实际意义。

Claude Fable 5.2 独立创作短片《Fable》引热议
Hacker News 上出现由 Claude Fable 5.2 独立完成剧本、画面与导演的短片《Fable》,本文分析全流程 AI 创作的意义、社区反应及对内容创作者的启示。

Anthropic IPO定价:AI巨头上市信号
Anthropic 进行 IPO 定价的消息引发关注。本文分析这一动作对 AI 行业估值、商业化路径和竞争格局的潜在影响,并指出公开市场对 AI 公司的期待与挑战。