视觉Token路由：让电脑使用代理只处理关键视觉信息

电脑使用代理（Computer-use agents, CUAs）在多项长周期基准测试中已经展现出超越人类的表现，但其高昂的计算成本限制了它们在长周期任务和实时场景（如电子游戏）中的应用。核心瓶颈在于，每张截图都被表示为数千个视觉Token，随着代理在长时间交互历史中进行推理，这些Token会不断累积形成超长上下文。研究表明，其中大部分视觉Token要么与代理的下一步动作语义无关，要么在连续截图之间时间冗余。

基于这一观察，研究者提出了视觉Token路由（Visual Token Routing, VTR）——一个联合训练框架，用于学习稀疏视觉表示，只保留动作预测所需的信息。VTR 将视觉语言模型与一个轻量级时空路由器联合训练，路由器检查当前和之前截图中的每个图像区域，决定其视觉Token是否进入语言模型。路由器使用自适应损失进行优化，在尽可能减少视觉Token数量的同时最小化性能损失。

核心问题：视觉Token的冗余与无关性

CUAs 的常规流程是：截图 → 视觉编码器提取特征 → 语言模型推理动作。问题在于，一张高分辨率截图可能产生数千个Token，而代理在长周期任务中需要回顾大量历史截图。这导致上下文长度急剧膨胀，推理成本随之飙升。

研究者观察到两个关键现象：语义无关性——大量图像区域（如背景、无关UI元素）与下一步动作无关；时间冗余性——连续截图之间变化很小，许多Token在时间维度上重复。这两个观察构成了VTR的设计基础：不是所有视觉Token都值得保留，代理只需要“看到”真正影响决策的部分。

视觉Token是视觉语言模型处理图像的基本单位。图像通常被分割成固定大小的图块（如14×14或16×16像素），每个图块经视觉编码器（如ViT）映射为一个特征向量，即一个Token。一张1024×1024的高清截图可产生数千个图块，对应数千个Token。在语言模型中，这些Token与文本Token拼接后共同参与自注意力计算，其计算开销随Token数呈平方级增长。因此，减少视觉Token数量是降低长上下文推理成本最直接的途径。

VTR 如何工作：时空路由器与联合训练

VTR 的核心是一个轻量级时空路由器。它同时考察当前截图和前一截图的对应图像区域，判断该区域的视觉Token是否应进入语言模型。路由器不是事后剪枝，而是与视觉语言模型联合训练，让模型学会在稀疏视觉输入下依然做出正确决策。

训练目标采用自适应损失：在保持任务性能的同时，尽可能压缩视觉Token数量。这意味着路由器不是简单丢弃Token，而是学习保留对动作预测真正重要的信息。整个训练仅需2000步，即可在OSWorld、CUA-World和视频游戏动作预测任务上达到与全分辨率模型相当的性能，而视觉Token用量减少2.5至5.8倍。

这种稀疏化带来的实际收益显著：推理成本降低最多3.3倍，预填充（prefill）速度提升最多2.9倍。对于需要实时响应的电子游戏场景，预填充加速意味着代理能更快做出反应，这是迈向实时电脑使用代理的关键一步。

预填充（prefill） 是大语言模型推理的第一个阶段：模型并行处理输入序列中的所有Token，计算并缓存键值（KV）对，为后续逐Token生成做准备。预填充的计算量与输入长度成正比，是长上下文场景下延迟的主要来源。对于需要快速响应的电脑使用代理，预填充速度直接决定代理的感知-行动循环频率。VTR 通过削减视觉Token数量缩短输入序列，从而显著加速预填充，这也是其实时应用价值的关键所在。

联合训练指路由器与视觉语言模型并非分阶段独立优化，而是在同一训练循环中端到端更新。路由器根据当前策略决定Token取舍，语言模型则基于被路由后的稀疏输入学习动作预测，二者的梯度通过自适应损失共同回传。这种设计避免了“先剪枝再微调”范式中路由策略与下游任务脱节的问题，使路由器能直接学习对动作预测最有信息量的区域选择策略。

对比实验：VTR 优于降分辨率和Token丢弃基线

一个直观的替代方案是降低输入图像分辨率，或使用其他Token丢弃策略。VTR 在实验中与这些基线进行了对比，在OSWorld上领先最多12.8个百分点。这说明智能地选择Token比简单压缩或均匀丢弃更有效——路由器学习的是“哪些Token对当前决策重要”，而非一刀切地降低信息密度。

这一结果也回应了一个常见疑问：为什么不直接用更小的视觉编码器？因为不同任务、不同时刻所需的视觉信息是动态变化的，固定压缩会丢失关键时刻的细节。VTR 的动态路由机制能够根据上下文自适应保留信息，这正是其优势所在。

对电脑使用代理领域的意义

VTR 的价值不仅在于降低计算成本，更在于它打开了两个此前受限的场景：长周期任务和实时领域。长周期任务中，代理需要处理大量历史截图，Token累积是主要瓶颈；实时场景如视频游戏，对推理延迟极为敏感。VTR 通过稀疏视觉表示，让这两个场景的代理部署变得更加可行。

代码和模型已公开，研究者提供了项目页面（https://pranjal2041.github.io/vtr）供复现和进一步探索。对于关注AI代理效率、多模态推理和长上下文处理的研究者与工程师而言，VTR 提供了一种“学会忽略”的思路：不是让模型看到一切，而是让它学会只看到重要的。

随着电脑使用代理从基准测试走向实际应用，这类效率优化工作将变得愈发关键。VTR 展示了联合训练路由器的潜力，也为后续研究指明了方向——视觉Token的稀疏化不是损失性能的妥协，而是可以通过学习实现的双赢。