内化视觉思维IVT：让视频推理既深度又高效

视觉思维链面临的效率瓶颈

多模态大语言模型（MLLM）近年来在空间、时间和具身环境的推理任务上取得了显著进展。MLLM是在大型语言模型（如GPT-4、LLaMA等）基础上，融合视觉编码器（如ViT、CLIP视觉塔）和跨模态对齐模块，使模型能够同时处理文本、图像、视频乃至音频等多种模态信息的统一架构。代表性工作包括GPT-4o、LLaVA、Qwen-VL、InternVL等，它们通常采用"视觉编码器 + 投影层 + 大语言模型"的三段式架构，其中投影层负责将视觉特征映射到语言模型的嵌入空间，实现跨模态的语义对齐。

在这些模型的诸多能力中，一项关键技术就是视觉思维链（Visual Chain-of-Thought, Visual CoT）。思维链（CoT）的概念最早由Google Brain的Jason Wei等人在2022年提出，核心思想是在提示中加入逐步推理的示例，引导大语言模型将复杂问题分解为中间步骤，从而显著提升数学推理、逻辑推理等任务的准确率。此后社区衍生出Zero-shot CoT（通过"Let's think step by step"触发）、Self-Consistency（多路径投票）、Tree-of-Thought（树状搜索）等变体。视觉CoT则将这一理念扩展到多模态领域——模型不仅生成文本中间步骤，还生成中间推理图像，例如标注关键区域、预测未来帧、或绘制空间关系示意图，以辅助最终判断。这为模型提供了一种直观的"视觉预见"机制，让模型在得出最终结论前，先在"脑海中"绘制出对场景的理解。

然而，这种能力的代价并不小。生成中间推理图像意味着在推理过程中要反复调用图像生成模块，带来了巨大的推理开销（inference overhead）。视觉CoT中的图像生成通常依赖扩散模型（如Stable Diffusion、SDXL）或自回归图像生成器（如Chameleon中的离散视觉token生成）。以扩散模型为例，生成一张512×512分辨率的图像通常需要20-50步去噪迭代，单张图像的生成延迟在消费级GPU上约为2-8秒。如果视觉CoT在一次推理中需要生成3-5张中间图像，累计延迟可达10-40秒。即使使用蒸馏加速模型（如LCM、SDXL-Turbo），延迟仍远超纯文本推理的量级。

对于需要实时响应的场景，尤其是**主动式视频推理（proactive video reasoning）**任务，这种延迟几乎不可接受。视频流本身就带有强烈的时间敏感性——以30fps的视频为例，10秒延迟意味着模型已经"错过"了300帧信息——任何额外的计算负担都会直接影响系统的可用性。

这就引出了一个核心问题：模型能否在训练阶段学会"视觉化思考"，而在推理阶段直接给出结论，无需真正生成中间图像？

内化视觉思维IVT的核心设计理念

为回答上述问题，研究者提出了**内化视觉思维（Internalized Visual Thinking, IVT）框架。这是一种后训练（post-training）**方案。后训练是指在模型完成大规模预训练之后，通过额外的训练阶段来注入特定能力或对齐人类偏好的技术。常见的后训练方法包括：监督微调（SFT）、基于人类反馈的强化学习（RLHF）、直接偏好优化（DPO）以及各种知识蒸馏方案。后训练的优势在于不需要从头训练模型，而是在已有的强大基座模型上"叠加"新能力，训练成本相对可控。IVT作为后训练框架，意味着它可以应用于任何已经具备基本多模态能力的预训练模型，具有较好的通用性和可扩展性。

IVT的核心理念可以概括为：把视觉思考的能力"内化"到模型参数中，而非在推理时显式外化为图像。

训练时思考，推理时直达

传统视觉CoT的工作模式是"边生成图像边推理"，图像既是思考的产物也是思考的载体。IVT则将这两个环节解耦：在训练过程中，模型通过联合优化文本预测与视觉思考目标，学会像拥有视觉CoT一样进行内部推理；但到了推理阶段，它可以直接输出文本结论，跳过昂贵的图像生成步骤。

这种设计的精妙之处在于，它保留了视觉CoT带来的推理质量提升，同时消除了最大的性能瓶颈。模型在"学习"时借助了视觉预见的脚手架，而在"应用"时则轻装上阵。

这一思路与知识蒸馏（Knowledge Distillation）有深层的思想联系。知识蒸馏由Hinton等人在2015年提出，核心思想是将大模型（教师模型）的知识"压缩"到小模型（学生模型）中。IVT可以被视为一种"自蒸馏"变体——模型在训练时扮演"教师"角色（借助显式视觉中间产物进行丰富推理），在推理时扮演"学生"角色（仅依赖内化后的参数直接输出）。这种思路也呼应了近年来"推理时计算"（inference-time compute）与"训练时计算"（training-time compute）之间权衡的讨论：OpenAI的o1模型走的是增加推理时计算的路线，而IVT则走的是将计算前移到训练阶段的路线，两者代表了优化推理性能的两个截然不同的方向。

联合优化机制如何运作

IVT作为后训练框架，关键在于"联合优化"。模型不再把视觉推理和文本生成视为两个独立任务，而是在同一优化目标下协同训练。视觉思考的信号被编码进模型的内部表征，使得文本预测能够隐式地"受益"于视觉层面的理解——即便这些视觉中间产物在最终推理时并不会被真正渲染出来。

IVT为何对视频推理场景至关重要

主动式视频推理是一类特别苛刻的应用场景。与被动地回答关于视频的问题不同，主动式推理要求模型能够持续跟踪视频流、预判事件走向、并在恰当时机主动作出反应。传统的视频理解任务（如VideoQA、视频描述生成）属于被动式范式：给定一段完整视频和一个问题，模型事后回答。而主动式视频推理要求模型以流式方式处理视频，在事件尚未完全展开时就进行预判和干预。典型场景包括：自动驾驶中的危险预警（需要在碰撞发生前数百毫秒作出判断）、手术辅助机器人的实时决策、智能安防中的异常行为检测等。这类任务的核心挑战在于模型必须在信息不完整的情况下进行"在线推理"（online inference），且对端到端延迟有严格约束——通常要求在100-500毫秒内给出响应。

设想一个具身智能体（embodied agent）在动态环境中导航，或是一个监控系统需要在异常发生的瞬间预警。具身智能体是指在物理或仿真环境中拥有感知和行动能力的AI系统，包括服务机器人、无人机、自动驾驶汽车等。与纯软件AI不同，具身智能体面临"感知-决策-执行"的闭环挑战：环境持续变化，决策必须实时做出，且错误决策可能导致物理层面的不可逆后果。当前主流的具身AI研究（如Google的RT-2、Figure 01人形机器人等）都在探索如何将大模型的推理能力高效部署到机器人控制回路中，而IVT所解决的"在保留推理深度的同时降低延迟"问题，恰恰是具身AI规模化落地的关键瓶颈之一。

如果每一步推理都要先生成一张中间图像，累积的延迟会让系统"反应迟钝"，失去主动性的意义。IVT通过将视觉思考内化，正好击中了这一痛点：既要有视觉预见的深度，又要有直接推理的速度。

IVT的技术意义与行业影响

从更宏观的视角看，IVT代表了多模态推理研究中的一种重要范式转变。过去几年，社区倾向于让模型的推理过程"显式化"——无论是文本CoT还是视觉CoT，都强调把思考过程外化出来，既便于解释，也被认为能提升性能。

但显式化推理与部署效率之间始终存在张力。IVT提出的"训练时外化、推理时内化"路线，为这一矛盾提供了一个优雅的折中方案。它启发我们思考：**推理能力的获得与推理过程的呈现，或许可以分离。**模型完全可以在训练中充分利用丰富的中间监督信号，而在实际服务时以最精简的方式运行。

对实际部署的启示

对于关注落地的工程团队而言，IVT这类方法的价值非常直接。它意味着可以在不牺牲推理质量的前提下，大幅降低视频类AI应用的推理成本和延迟，这对于边缘设备、实时系统和大规模服务场景都极具吸引力。

在实际工程部署中，推理成本是决定AI产品可行性的核心因素。云端GPU推理的成本约为每小时0.5-4美元（取决于GPU型号），而边缘设备（如NVIDIA Jetson系列、手机端NPU）的算力更为有限，通常仅支持INT8/INT4量化后的模型运行。视觉CoT需要额外运行图像生成模型，这在边缘设备上几乎不可行——一个轻量化的扩散模型也需要数GB显存和数秒推理时间。IVT通过消除推理阶段的图像生成需求，使得模型在边缘设备上的部署变得切实可行，这对智能摄像头、AR眼镜、车载计算平台等场景具有重要意义。

当然，作为一项后训练技术，IVT的实际效果还取决于训练数据的质量、视觉思考目标的设计以及内化程度的可控性。这些细节将决定它能否在真实任务中稳定复现出显式视觉CoT的推理增益。

小结

内化视觉思维（IVT）为多模态大模型的视频推理提供了一条兼顾质量与效率的新路径。它通过在训练阶段联合优化文本预测与视觉思考，让模型"学会"视觉化推理，却在推理阶段直接输出结果，从根本上规避了视觉CoT高昂的推理开销。对于时延敏感的主动式视频推理而言，这一思路尤为契合。随着多模态应用向实时化、具身化方向深入，如何在"深度思考"与"快速响应"之间取得平衡，将成为持续的研究焦点，而IVT正是这一方向上颇具价值的探索。

核心要点