视觉Token压缩64倍：Braco如何保留95%精度

视觉语言模型（VLM）的推理成本里，图像token一直是"隐形重税"——一张图动辄576个token，prefill阶段的算力开销居高不下。Braco这篇论文提出了一个反直觉的方案：不是裁剪，不是重采样，而是重新参数化。它把576个视觉token压缩到9个，64倍缩减，同时保留约95%的原始模型下游精度。

此前的困境：剪枝与重采样都有硬伤

在Braco之前，极端的视觉token压缩主要有两条路线，各自都有难以绕开的问题。

Token剪枝（pruning）思路直白：不重要的token直接扔掉。但论文指出，这类方法会丢弃关键的空间线索，导致视觉定位能力受损——模型"看不见"原本该看到的东西。

另一条路是学习式重采样器（learned resampler），比如Q-Former一类结构。它能压缩token数量，但代价是引入额外参数和注意力计算开销，对于大规模VLM来说，工程上的实用性被拖累了。

两条路线的共同矛盾在于：要么牺牲精度，要么增加成本。Braco试图跳出这个二选一的框架。

Q-Former与学习式重采样器：Q-Former是Salesforce在BLIP-2中提出的桥接模块，它用一组可学习的查询向量（query tokens）通过交叉注意力从视觉编码器的输出中抽取信息，从而把任意数量的图像特征压缩成固定数量的token。这类结构的共同特点是：压缩比可控、端到端可训练，但查询向量本身是新增参数，交叉注意力又要求视觉特征全部参与计算，因此压缩收益主要体现在后续LLM的prefill上，而非整个流水线。

视觉定位（visual grounding）：指模型将语言中的指代（如"左边的红色杯子"）对应到图像中具体区域的能力。它依赖token之间保留的空间位置关系，因此对token的删除或错位格外敏感。这解释了为什么剪枝类方法在VQA等粗粒度任务上表现尚可，却在指代、计数、密集OCR等任务上明显退化。

Braco的四步编码器：从576到9

核心设计是把标准576-token表示压缩到仅9个token，缩减幅度64倍。论文报告，在评估的token预算范围内，模型保持了91.2%到95.2%的Vanilla-normalized精度，上界达到95.2%。

这个结果的含义在于：即使维度损失如此剧烈，轻量的基变换（basis transformation）和正交重参数化（orthogonal re-parameterization）仍能保住模型绝大部分预测能力。模型不是"丢掉了信息"，而是把信息换了一种更紧凑的编码方式——这是"重新参数化"与"剪枝"的本质区别。

换来的算力收益相当可观：prefill FLOPs最多减少约86%，端到端推理速度提升约30%，同时不跌破95%精度阈值。

正交重参数化与基变换：参数化指的是用哪一组变量来描述同一份信息。正交变换（由正交矩阵定义的线性映射）的关键性质是不改变向量的内积与范数，即保持token之间的相对几何关系——这正是视觉定位所依赖的空间线索。因此，把576个token投影到9个正交基上，相当于换一套坐标系来表示同样的内容，而非删掉部分内容。这与剪枝（置零或丢弃）有本质区别：剪枝破坏的是信息本身，重参数化改变的是信息的表示形式。

Vanilla-normalized精度：一种相对评测口径，以未压缩的原始模型（vanilla model）在同一任务上的得分为基准做归一化，压缩模型得分除以基准得分即为该指标。它比绝对精度更能反映"压缩带来了多少损失"，也让不同任务、不同基座模型之间的结果具备可比性。

边界条件：哪些情况下Braco成立

论文对自己的适用范围给出了明确限定，这一点值得读者注意。

收益仅在4到25个token的窄预算区间内成立。超出这个范围，论文没有给出性能保证。此外，压缩器本身依然消耗可观的FLOPs——它并未完全消除开销，只是把开销转移并压缩了。

论文隔离测试了一个16-token压缩器配置：在匹配QueCC精度的情况下，模块延迟低16.6倍，压缩器FLOPs少78.8倍。这说明Braco的价值不止在"压得更狠"，也在"压得更省"。

Prefill与FLOPs：Prefill是自回归推理的第一阶段，模型一次性并行处理全部输入token并填充KV缓存，其计算量随输入长度呈超线性增长；后续的decode阶段则逐token生成，计算量小得多。视觉token恰恰全部落在prefill里，因此压缩视觉token对prefill FLOPs的削减最为直接。FLOPs（浮点运算次数）是衡量该阶段算力开销的常用代理指标，但它不等于实际延迟——访存、kernel启动、并行度都会影响最终速度，这也是论文同时报告端到端加速比的原因。

对VLM工程实践意味着什么

从部署角度看，Braco的定位是drop-in预处理器——不需要改模型架构，直接插进现有视觉语言流水线即可。对于prefill阶段算力吃紧的场景，86%的FLOPs削减和30%端到端加速是实打实的收益。

但工程决策不能只看最好情况。4-25 token的预算窗口意味着：如果你的任务需要更激进的压缩比，或者需要模型处理对空间细节极度敏感的场景（如密集OCR、精细空间推理），Braco是否仍然稳健，论文没有覆盖。压缩器自身的FLOPs开销也需要计入总账，尤其是在已经高度优化的推理栈里。

Braco重新划定了多模态推理的成本-性能前沿。它证明了一件事：极端压缩不必以牺牲视觉grounding为代价——前提是你选对了压缩的方式。