一个7B模型搞定深度、全景分割、姿态与文本分割

一个模型，四种视觉任务

用同一个模型同时输出深度图、全景分割、人体姿态和文本引导分割，而不是为每个任务各部署一个专用模型——这种思路正在被越来越多的开发者和研究者尝试。

Reddit 上一位用户用 SenseNova-Vision-7B-MoT 做了一个直观的实验：通过 LibreYOLO 框架，在 4-bit 量化下跑在租来的 V100 上，对 COCO 验证集中的四张复杂场景照片，一次性请求四种截然不同的视觉输出。

实验展示的四种任务分别是：

• 深度估计（Depth）：输出每个像素到相机的距离，越亮表示越近
• 全景分割（Panoptic Segmentation）：将图像划分为带类别的区域（人、栅栏、河流、路面等），每个物体或人物获得独立区域
• 姿态估计（Pose）：每个人检测 17 个身体关键点并连成骨架
• 文本引导分割：输入一段描述，返回对应物体的掩码

模型本身只返回结构化数据——深度数组、掩码和关键点。所有颜色和排版都是用户基于这些数据自行渲染的。

技术路线：MoT 架构与 4-bit 量化

SenseNova-Vision-7B-MoT 中的 MoT 指 Mixture of Transformers，这种架构在单一模型内组合不同类型的专家模块，使其能够处理视觉-语言的多任务输入输出。

能在单张 V100 上以 4-bit 精度运行 7B 模型并同时处理四种视觉任务，说明量化技术和模型架构的配合已经相当成熟。这对算力有限的独立开发者来说是一个值得关注的信号：不需要为每个视觉任务单独部署和维护一个模型。

文本引导分割的部分设计得比较简单直接——用户用 COCO 的类别标签构造描述短语，格式为「the largest <object>」，模型返回该目标的掩码。这种方式虽然朴素，但验证了模型理解自然语言描述并定位目标的能力。

量化（Quantization） 是将模型权重和激活值从高精度格式（如 FP16 或 BF16，各占 16 位）转换为低位宽格式（如 INT8 或 NF4，各占 8 位或 4 位）的技术。其核心原理是找到一个缩放因子，将连续的浮点数值映射到离散的低位整数网格上，推理时再反量化回近似浮点值参与计算。4-bit 量化意味着每个参数仅用 4 位存储，一个 7B 模型的理论显存占用可从约 14 GB（FP16）压缩到约 3.5 GB。代价是精度损失，尤其对注意力层的 Key/Value 矩阵和归一化层较为敏感。实践中常采用分组量化（group-wise quantization）和异常值保留策略来缓解退化。V100 是 NVIDIA 2017 年发布的 Volta 架构数据中心 GPU，拥有 16 GB HBM2 显存和 32 GB/s 的 NVLink 带宽，但不支持 INT4 的硬件原生加速，因此 4-bit 推理依赖软件层面的反量化算子。尽管如此，16 GB 显存足以容纳量化后的 7B 模型及多任务推理时的中间激活。

Mixture of Transformers（MoT） 与更常见的 Mixture of Experts（MoE）在思路上同源但有本质区别。MoE 在单个 Transformer 层内设置多个前馈网络专家，通过门控网络为每个 token 动态选择激活哪几个专家，目标是扩大参数量而不等比增加计算量。MoT 则将这一思想提升到模块级别：模型内部包含多个异构的 Transformer 子模块，每个子模块针对特定模态或任务类型进行设计（例如一个擅长空间密集预测，另一个擅长语言理解），由路由机制根据输入类型和任务指令决定调用哪些子模块。这种设计的优势在于，深度估计、分割、姿态检测和文本引导分割这四类任务共享底层视觉编码器，但各自调用不同的任务专家，从而在单一模型内实现多任务统一，同时避免任务间的负迁移。

两个意料之外的表现

用户特别提到了两个超出预期的结果，这两个细节比整体演示更能说明模型的实际能力边界。

多人场景下的深度图边缘保持：在一群十二个孩子的复杂场景中，深度图依然保持了清晰的轮廓。多人重叠时深度估计容易出现边缘模糊或深度值混淆，这里没有出现明显退化。

公交车司机被姿态模型找到：姿态估计在挡风玻璃后面检测到了公交车司机。隔着玻璃、距离远、部分遮挡——这些条件对关键点检测并不友好，但模型成功定位了。

这两个案例指向同一个结论：这个 7B 模型在遮挡和复杂场景下的鲁棒性，比预期要好。

遮挡下的关键点检测 是姿态估计中的经典难题。当人体被玻璃、栏杆或其他物体部分遮挡时，可见关键点数量减少，模型需要在缺失视觉证据的条件下推断被遮挡部位的位置。公交车司机的案例中，挡风玻璃引入反光和色彩偏移，远距离导致人体在图像中仅占很小区域，部分遮挡则使下半身关键点不可见。传统单任务姿态模型在这种条件下容易出现关键点漂移或漏检。该模型能够定位司机，可能得益于多任务联合训练带来的特征共享：全景分割任务提供的区域级语义信息帮助模型确认"这里是一个人"，深度估计提供的空间层次信息帮助区分玻璃前后的物体，这些辅助信号共同增强了姿态头在困难条件下的鲁棒性。

多任务统一模型的实际意义

对开发者而言，一个模型覆盖多种视觉任务的价值不只是省资源。

部署简化。一个模型权重、一套推理管线，替代深度估计、分割、姿态检测三个独立模型的组合。维护成本和版本管理复杂度都显著下降。

任务间的一致性。同一张图上的深度、分割和姿态输出来自同一个模型的同一套内部表示，避免了多个独立模型输出之间可能存在的空间不一致问题。

灵活扩展。文本引导分割的存在意味着可以通过自然语言指令调用模型能力，而不需要为每个新任务重新训练分类头。

当然，这个实验本身规模有限——四张 COCO 验证集照片，没有定量指标对比，也没有与专用模型的精度比较。它更像一个可行性验证，而非全面的性能评估。但从实用角度看，一个 7B 模型在消费级 GPU 量化后能同时输出四类视觉结果，这个事实本身就值得关注。