[控场AI]
· 5 分钟阅读· 2,580 字

D²Mamba:可变形双态Mamba如何提升视网膜微动脉瘤分割

D²Mamba:可变形双态Mamba如何提升视网膜微动脉瘤分割

D²Mamba以可变形Mamba扫描与非因果状态空间对偶性提升视网膜微小病灶分割精度。

文章介绍了一项针对糖尿病视网膜病变病灶分割的新研究 D²Mamba。DR 病灶尺度差异极大,微动脉瘤仅数个像素,容易被下采样和注意力机制淹没。作者假设同时建模病灶空间组织方式、结合全局上下文与形状自适应扫描可改善小目标分割。模型将非因果状态空间对偶性与可变形 Mamba 扫描结合,使信息可双向流动、扫描路径随病灶形状自适应调整。在 DDR 数据集五折交叉验证中,D²Mamba 取得 33.87% mIoU,比最强基线高 2.99 个百分点;微动脉瘤 Dice 提升 10.06 个百分点,为各病灶类型中增益最大,直接验证了核心假设。消融实验确认两个组件协同作用,代码与权重已开源。文章也指出该研究仅在单一数据集验证,跨数据集泛化仍需检验。

视网膜病变的早期诊断高度依赖医学影像分割,但糖尿病视网膜病变(DR)的病灶形态差异极大,微动脉瘤(MAs)甚至只有几个像素大小。针对这一难题,一篇新论文提出D²Mamba模型,通过可变形Mamba扫描与状态空间对偶性,在微小病灶分割上取得显著突破。

D²Mamba论文示意图

小目标分割的困境与假设

糖尿病视网膜病变的病灶尺度跨度极大:出血斑、硬性渗出等区域相对明显,而微动脉瘤仅占据几个像素,在常规卷积或Transformer架构中极易被下采样和注意力稀释所淹没。论文作者提出一个核心假设:如果模型能够建模病灶区域的空间组织方式,同时结合全局上下文与形状自适应扫描,就能改善这类小而不规则病灶的分割效果。

这一假设直指现有分割模型的痛点。传统U-Net类结构依赖固定感受野,对形状多变的病灶适应性有限;Transformer虽然具备全局建模能力,但计算复杂度随分辨率增长,且对极微小目标的定位精度不足。Mamba类状态空间模型以线性复杂度实现长程依赖,恰好提供了新的解题思路。

Mamba与状态空间模型(SSM)

Mamba 是 2023 年提出的一类序列建模架构,其基础是结构化状态空间模型(S4 系列)。SSM 用一组线性常微分方程描述输入序列如何驱动隐状态演化,再解码为输出,形式为 (h_t = A h_{t-1} + B x_t)、(y_t = C h_t)。与 Transformer 的注意力机制相比,SSM 在序列长度上的计算和显存开销近似线性,因此在处理高分辨率图像或长序列时具有优势。Mamba 的关键改进是让参数 (A, B, C) 随输入动态变化(即“选择性”机制),使模型能根据内容决定保留或遗忘哪些信息。在视觉任务中,图像通常需先被展平为扫描序列,因此“扫描顺序”本身成为影响建模效果的重要设计变量。

D²Mamba的两个关键设计

D²Mamba的核心创新在于将非因果状态空间对偶性与可变形Mamba扫描相结合。非因果对偶性意味着模型在扫描序列时不局限于单向因果顺序,而是允许信息在空间维度上双向流动,这对医学图像中病灶与周围组织的相互参照尤为重要。

可变形Mamba扫描则让扫描路径不再固定为光栅顺序,而是根据病灶形状自适应调整。对于微动脉瘤这类点状目标,固定扫描容易将其与背景混合;可变形扫描能够围绕候选区域动态组织感受野,相当于让模型“主动凑近看”。这一设计在概念上借鉴了可变形卷积的思想,但将其嵌入状态空间序列建模框架中。

状态空间对偶性与非因果扫描

状态空间对偶性指同一组 SSM 参数可以等价地在“序列递推”与“卷积/矩阵”两种视角下计算,从而在不同粒度上高效实现。Mamba 的原始形式是因果的,即位置 (t) 只能看到 (t) 之前的信息,这适合语言建模,却不适合图像——图像像素之间没有天然的先后顺序。非因果对偶性通过允许前向与后向两条扫描路径并行、并在输出端融合,使每个位置都能聚合来自图像不同方向的信息,等效于在空间维度上建立双向依赖。这与双向 RNN 或视觉 Transformer 中的全局注意力在目标上相似,但计算复杂度仍保持线性。

实验结果:微小病灶提升最明显

论文在DDR数据集上采用五折交叉验证,与多个代表性分割基线在完全相同的训练协议下对比,并对每个组件进行了消融实验。整体性能上,D²Mamba取得33.87%的mIoU,比最强基线高出2.99个百分点。

更值得关注的是微动脉瘤子项:Dice系数提升了10.06个百分点,是所有病灶类型中增益最大的。这一结果直接验证了作者的假设——空间自适应的状态空间建模对微小病灶分割有实质性帮助。由于微动脉瘤是DR最早期的临床征象之一,其分割精度的提升对早期筛查具有实际意义。

消融实验进一步确认了非因果对偶性与可变形扫描各自的贡献,说明两者并非简单叠加,而是协同作用于空间组织建模。作者已开源代码与预训练权重,仓库地址为https://github.com/PUREPANEL1/D2Mamba。

mIoU与Dice指标

mIoU(平均交并比)与 Dice 系数是语义分割中最常用的两种重叠度指标。IoU 定义为预测区域与真实区域的交集除以并集,mIoU 是对各类别(含背景与否依协议而定)IoU 取平均;Dice 系数等于 (2|X \cap Y|/(|X|+|Y|)),与 IoU 单调相关但数值通常更高。对于微动脉瘤这类仅占几个像素的目标,指标对边界偏移极为敏感:预测框稍微偏移几个像素,IoU 就可能从 0.5 跌至接近 0,因此该类子项上的百分点提升往往比整体指标更能反映模型对微小结构的定位能力。阅读此类结果时需注意各病灶类别的样本量差异,少数类的小幅绝对提升也可能对应较大的相对改进。

对医学影像分割的启示

D²Mamba的价值不止于视网膜病灶。它提供了一种通用思路:当目标极小且形状多变时,让扫描路径本身成为可学习、可适应的变量,而非固定超参数。状态空间模型在保持线性复杂度的同时,通过可变形机制补足了局部精细定位能力,这对其他小目标医学分割任务(如细胞核、微钙化点)具有参考价值。

当然,该研究目前仅在单一数据集上完成五折验证,跨数据集泛化能力、不同成像设备下的稳定性仍需进一步检验。但33.87% mIoU与微动脉瘤Dice提升10.06个百分点的数据,已经为可变形状态空间模型在医学影像中的应用开了一个有说服力的头。

DDR数据集

DDR(Diabetic Retinopathy Dataset)是糖尿病视网膜病变分析中广泛使用的公开数据集,包含大量眼底彩照及像素级病灶标注,覆盖微动脉瘤、出血、硬性渗出、软性渗出等典型 DR 病灶类型,常用于病灶分割与 DR 分级研究。由于其标注精细、病灶尺度跨度大,DDR 成为检验小目标分割方法的常用基准。不过,单一数据集上的五折交叉验证主要反映同一数据分布内的稳定性,不同采集设备、不同种族人群和不同标注规范带来的域偏移仍需通过跨数据集实验评估,这也是该研究后续需要补足的方向。

#D²Mamba#视网膜病灶分割#微动脉瘤分割#Mamba#状态空间模型#医学影像分割#糖尿病视网膜病变
分享:

相关推荐