FastVim+Mamba多尺度融合：前列腺癌Gleason分级新SOTA

前列腺癌的Gleason分级是风险分层的关键，但全切片图像（WSI）的自动化分级面临三大难题：不同分级间的形态差异细微、罕见模式导致的严重类别不平衡、以及诊断特征跨越多个空间尺度。近期一篇论文提出基于状态空间模型的多尺度分类器，在PANDA数据集上实现了macro F1 0.894和Gleason 5 F1 0.802，相比最佳单尺度模型分别提升12%和21%。

问题背景：单尺度基础模型的局限

病理基础模型（Foundation Models, FMs）能提取强大的patch级表征，但通常只在一个尺度上操作。这限制了空间上下文，对那些依赖更广上下文的分级类别影响尤为严重。例如，Gleason 5的诊断可能需要观察整个腺体结构，而单尺度模型只能看到局部纹理。

更棘手的是，融合多尺度和互补模型往往需要大量数据和计算资源。论文明确指出，在数据与算力有限的情况下，如何有效融合多尺度信息仍是一个未解决的问题。

Gleason 分级是前列腺癌病理诊断的核心标准，由 Donald Gleason 于 1960 年代提出。它将腺体结构从高分化（Gleason 1-2）到低分化（Gleason 4-5）分为五级，最终评分由最主要的生长模式与次要生长模式得分相加（如 3+4=7）。Gleason 5 代表最差的低分化模式，腺体结构几乎消失，细胞呈实性片状或单个分布，在 WSI 中占比很少。这种罕见性正是类别不平衡的根源：模型容易忽视少量但临床意义重大的高级别区域。此外，不同 Gleason 模式间的边界模糊，尤其 3 级与 4 级的区分依赖腺体融合、筛状结构等细节，对空间分辨率要求很高。理解这些病理学背景，有助于把握论文为何强调多尺度上下文对 Gleason 5 识别尤为关键。

方法：FastVim + 冻结基础模型的双源融合

作者设计了一个基于状态空间模型（State Space Models）的多尺度分类器，核心是融合两个互补的特征来源：

• 冻结的基础模型：提供高质量的patch表征，无需微调。
• 轻量级FastVim：在ImageNet上预训练，并从基础模型蒸馏，直接读取原始图像裁剪块。

在每个尺度上，一个Mamba模型以线性时间编码来自两个来源的特征，捕捉空间上下文；随后一个联合训练的分类头将编码后的表征融合为单一预测。这种设计的关键在于：FastVim轻量且快速，基础模型提供强语义，Mamba则高效处理长序列空间关系。

据论文描述，FastVim的引入让模型在推理时能绕过重型基础模型的部分计算，同时保留其知识。

状态空间模型（State Space Models, SSMs） 是一类序列建模框架，其核心思想是用隐状态随时间的演化来描述输入序列，数学上可表达为线性常微分方程。传统 SSM 在长序列上计算复杂度高，而 Mamba 通过输入依赖的选择性机制和硬件感知的并行扫描算法，将序列建模复杂度降至线性时间，同时保持对长程依赖的建模能力。在计算病理学中，WSI 被切分为成千上万个 patch，序列长度极长，Transformer 的二次复杂度成为瓶颈，而 Mamba 的线性复杂度恰好契合这一场景。FastVim 则是基于视觉 Mamba 架构的轻量级变体，专为高效图像分类设计，其预训练权重可从大型基础模型蒸馏获得，从而在保留语义知识的同时大幅缩减参数量与推理开销。

实验结果：多尺度融合的增益

在PANDA数据集上采用5折交叉验证，该方法达到macro F1 0.894，Gleason 5 F1 0.802。相比最佳单尺度模型，相对提升分别为12%和21%。Gleason 5的F1提升更显著，说明多尺度上下文对稀有高级别模式的识别帮助更大。

论文还进行了控制实验，覆盖5种基础模型、5种基分类器和3个尺度。结果显示，增益在不同编码器上均成立，且在更小尺度上观察到的提升更大。这意味着该方法对尺度变化具有鲁棒性，并非依赖某个特定基础模型。

多源交叉验证与启示

该研究来自学术预印本，目前未见独立复现。不过，其控制实验本身构成了一定程度的内部交叉验证：5种基础模型 × 5种分类器 × 3个尺度的组合，说明增益并非偶然。与现有单尺度方法相比，多尺度融合带来的提升在Gleason 5这类依赖全局结构的类别上尤为明显。

一个值得关注的细节是：FastVim从基础模型蒸馏而来，这意味着在部署时可能减少对大型基础模型的依赖，对计算资源有限的病理AI应用有实际意义。论文也承认，融合多尺度与互补模型在最小数据和算力下的挑战仍未完全解决，但该工作提供了一条可行路径。

局限与未来方向

论文未报告外部数据集验证，PANDA数据集上的结果需要更多独立队列确认。此外，蒸馏过程可能引入基础模型的偏差，FastVim的泛化能力有待进一步检验。多尺度融合的计算开销虽被Mamba的线性复杂度缓解，但在真实临床工作流中的推理速度尚未披露。

总体而言，这项研究展示了状态空间模型在计算病理学多尺度融合中的潜力，为资源受限环境下的Gleason分级提供了新思路。

背景补充

PANDA 数据集是 2020 年 Kaggle 竞赛“Prostate cANcer graDe Assessment”发布的公开基准，包含约 10,600 张前列腺活检 WSI，覆盖 Gleason 0-5 六个等级，是当前计算病理学中规模最大的 Gleason 分级数据集之一。其标注由多位泌尿病理学家共同完成，并提供了 ISUP 分级一致性评估。Macro F1 是对各类别 F1 分数取算术平均的指标，对少数类（如 Gleason 5）赋予与多数类相同的权重，因此能敏感反映模型在类别不平衡下的表现；而 Gleason 5 F1 则单独衡量最稀有、临床最危重类别的识别精度。这两项指标的组合，恰好突出了论文方法在解决类别不平衡与罕见模式识别上的核心价值。