递归视觉Transformer新突破：单块复用逼近全深度编码器

视觉Transformer的高效化路径正在被重新审视。一项名为reViT（Recurrent Vision Transformer）的研究提出，将单个Transformer块反复递归应用，可以在同等推理FLOPs下达到全深度视觉编码器的精度，而且无需中间特征蒸馏——这一设计挑战了"深度必须堆叠不同参数"的常规假设。

核心问题：递归共享参数丢失了什么

递归结构的直觉优势很直接：一个块在多个深度上复用，存储参数大幅减少。但朴素方案会遇到一个根本障碍——不同深度需要不同的变换。浅层负责捕捉纹理和边缘，深层负责语义聚合，如果每个递归步骤都执行完全相同的前馈网络（FFN），模型就很难表达这种深度特化的层次结构。

reViT的解法不是给每一层配一套独立参数，而是引入一个共享专家库（shared expert bank），让每一次递归深度的FFN成为这个专家库的凸组合。换句话说，深度不变的是参数池，深度变化的是组合权重。

混合专家（MoE, Mixture of Experts） 是一类通过组合多个子网络（专家）来扩大模型容量、同时控制单次推理计算量的架构范式。每个专家通常是一个独立的FFN，门控网络根据输入动态决定各专家的激活或组合权重。传统MoE多以token为粒度分发（token-dispatch），即不同token走不同专家；也有在输出端做加权的变体（output-mixture）。reViT采用的权重空间合并（weight-space merging） 则是在参数层面把多个专家的权重按混合系数线性组合成一个等效FFN，再对全部token统一执行。这种方案的优势在于：合并后的权重是单个稠密矩阵，前向计算等价于一次普通FFN，既保留了多专家的表达多样性，又避免了token分发带来的不规则计算与显存开销。在匹配单FFN计算预算时，这种"先合并再计算"的路径往往比"分别计算再合并输出"更高效，因为它把混合复杂度从激活空间前移到了权重空间。

用连续深度坐标"编程"FFN

reViT最巧妙的设计在于它对深度的表示方式。它定义了一个连续归一化深度坐标，用来对专家库的混合权重进行编程。这个坐标不是离散的层索引，而是一个连续区间上的位置，从而自然产生了一条可重采样的FFN参数空间轨迹。

这种连续表达带来两个好处。其一是弹性深度训练（elastic-depth training）：同一个checkpoint可以通过重采样相同的归一化坐标区间，在多个测试深度上运行，而无需为每个深度单独训练模型。其二是为后续的部署优化留出了空间——固定深度部署时，递归块可以被物化为常规的稠密图。

研究团队对混合机制的实现方式做了受控对比，比较了三类MoE（混合专家）家族：token-dispatch（令牌分发）、output-mixture（输出混合）以及weight-space merging（权重空间合并）。结论明确——在匹配单个FFN预算的条件下，权重空间合并是表现最强的方案，领先于另外两种替代路径。

凸组合（convex combination） 指一组系数非负且总和为1的线性加权和。用凸组合来混合专家权重，意味着各次递归深度的FFN始终落在专家库权重张成空间的凸包内——这一约束带来两个实际好处：其一，混合结果不会因系数外推而产生数值不稳定，权重尺度被限制在专家权重所构成的范围内；其二，由于权重有界，递归多次迭代后也不易出现激活爆炸或梯度弥散。与之相对，若允许任意线性组合（系数可正可负或总和不为1），深层递归理论上可以放大权重范数，导致训练不稳。连续的归一化深度坐标配合凸组合，使reViT能在任意深度插值出合理的FFN，这正是弹性深度训练与重采样能够成立的数学基础。

两种训练范式下的验证结果

reViT在两种截然不同的训练机制下进行了评估，以检验其设计的通用性。

监督学习：ImageNet-1k从头训练

在ImageNet-1k监督训练场景中，从头训练的reViT-B/16达到了与DeiT III相当的精度，而存储参数减少了约70%。这个数字值得注意：参数量的缩减并非以精度为代价，而是在同等推理FLOPs下实现的。

蒸馏：从DINOv2教师迁移

在蒸馏范式中，reViT使用一个8专家模型，仅利用教师的输出特征进行蒸馏，就保留了接近完整的DINOv2教师线性探针精度。更重要的是，这种能力可以迁移到分类、分割和深度预测等多类下游任务上——说明模型学到的不是任务特化特征，而是具有泛化性的视觉表示。

蒸馏场景的表现尤其有说服力：只用了输出特征，没有用中间层特征，就取得了这样的迁移效果。这与开头"无需中间特征蒸馏"的声明形成了呼应。

DINOv2 是Meta提出的一种自监督视觉预训练方法，通过自蒸馏（self-distillation）在大规模无标注图像上训练ViT，学到的特征在多种下游任务上具有很强的线性可分性，即所谓线性探针（linear probe）精度。线性探针指冻结骨干网络、仅训练一个线性分类头来评估特征质量的标准协议，能排除微调对任务特化能力的干扰。reViT在蒸馏实验中以DINOv2为教师，仅对齐其输出特征而不使用中间层特征，相当于让学生模型直接学习教师的最终表示流形。这种做法比中间层蒸馏更轻量，但对学生模型的容量和优化路径要求更高。reViT能用8个专家做到接近完整的线性探针精度并跨分类、分割、深度预测迁移，说明递归共享参数的结构并未成为表示学习的瓶颈，反而通过深度编程保留了足够的表达灵活性。

部署视角：合并还是展开

reViT的设计在部署时提供了两种形态，各有取舍。

推理时，递归块意味着在线路由与合并。由于每次深度上的FFN是专家库的动态组合，推理过程需要实时计算混合权重。

如果追求固定深度部署的简洁性，可以将递归块物化为传统稠密图。这样做移除了在线路由和合并操作，每深度一个FFN的计算量保持不变，代价是部署存储会膨胀——本质上是把训练时的紧凑表示展开成推理时的稠密形式。

这是一个典型的"训练存储 vs 推理效率"权衡。reViT没有回避这个矛盾，而是把它明确摆在了设计空间里：训练和弹性使用时保持紧凑，固定部署时接受展开成本。

推理FLOPs 是衡量模型部署成本的核心指标之一，指单次前向传播所需的浮点运算次数，直接关联延迟与能耗；而存储参数量则决定模型权重占用的显存或磁盘大小。两者并不总是同向变化：MoE结构可以用较大参数量换取较小的单次激活计算量，而参数共享结构则相反，用较小参数量承载较大的等效深度计算。reViT的递归设计恰好处于这一权衡的敏感区——训练时参数紧凑但等效深度计算大，部署时若展开为稠密图则参数量膨胀但路由开销消失。评估这类架构时，必须明确区分"总参数量""激活参数量"与"推理FLOPs"三个指标，否则容易得出误导性结论。reViT报告中强调的"同等推理FLOPs下达到全深度精度，存储参数减少约70%"，正是同时锚定了这两个维度做出的对比。

这项工作的意义

reViT的价值不在于提出某个孤立的技巧，而在于把递归深度、专家混合与连续深度编程整合成一个自洽的框架。它证明了递归视觉编码器不必在精度上妥协，同时给出了权重空间合并在单FFN预算下优于其他MoE方案的可复现证据。对于关注模型压缩、参数高效视觉骨干以及弹性推理的研究者与工程师而言，这条"一块多用、深度可编程"的路线提供了一个值得跟进的方向。