HAD-VLM：用扩散模型破解医疗视觉语言模型的数值离散化难题

医疗影像的定量测量长期依赖医生的手工标注，而视觉语言模型（VLM）的兴起让「用自然语言指令完成测量」成为可能。但这里存在一个根本性矛盾：测量结果是连续数值，而主流VLM的文本输出是离散token。把连续值硬塞进离散词表，精度损失几乎不可避免。一篇来自rss来源的研究提出了HAD-VLM，试图用混合自回归-扩散架构来缝合这道裂缝。

为什么离散token预测不了连续测量

现有医疗VLM的典型做法，是把测量值当作一串文本token来生成。比如室间隔厚度1.36 mm，模型会依次输出“1”“.”“3”“6”。问题在于，token分类损失并不直接优化数值误差，模型对1.36和1.37的区分能力被词表结构稀释。更麻烦的是，测量任务往往需要同时给出解剖端点坐标和长度，这些量在离散空间里缺乏连续性约束，容易出现坐标与长度自相矛盾的输出。

论文将此归为「连续测量目标与离散token预测之间的不匹配」。这个判断切中要害：不是模型不够大，而是输出表示的形式与任务本质错位。

视觉语言模型（VLM） 是一类同时处理图像与文本的多模态模型，通常由视觉编码器将图像映射为特征序列，再交由大语言模型以自回归方式生成文本。医疗VLM在此基础上用医学图文对做指令微调，使其能回答诊断问题或执行测量指令。其输出层是一个离散词表上的分类分布，每个token从固定词表中采样，因此天然适合生成文字，却不擅长表达高精度实数。

自回归生成指模型逐token预测下一个词，每一步都依赖已生成的前文。这种机制保证了语言流畅性与指令跟随能力，但每个数值都被拆成独立字符逐个预测，字符之间没有数值连续性的约束，模型也无法通过一次前向计算直接输出一个实数。

HAD-VLM的混合架构设计

HAD-VLM的核心思路是在共享主干中同时保留自回归文本生成和扩散式连续预测两条通路。视觉端采用visual prompt tuning，让视觉编码器适配超声图像的特殊纹理与噪声分布；测量端则用扩散过程生成一个五分量表示——卡尺端点坐标加上测量长度。

这种设计的巧妙之处在于分工：语言交互部分继续用自回归，保证提示条件的灵活性和医学问答能力不被破坏；数值部分交给扩散，在连续空间里直接优化。两者共享骨干，避免了两套模型各自为政带来的语义割裂。

坐标-长度一致性后处理

扩散输出的是原始估计，论文进一步提出坐标-长度一致性机制：端点坐标算出的距离应与预测长度相互校验，再配合集成预测做精修。这一步针对的正是离散方法常见的自相矛盾问题，用几何约束把数值拉回合理范围。

扩散模型是一类生成模型，通过逐步去噪从高斯噪声中恢复目标样本。与自回归逐token生成不同，扩散在连续空间中进行，输出的是实数向量，因此可以直接优化数值误差。在HAD-VLM中，扩散头被用来生成五维连续向量（四个端点坐标加一个长度），其训练目标是最小化预测值与真实测量之间的连续损失，而非token分类损失。

Visual prompt tuning 是一种参数高效的视觉适配方法：冻结大部分预训练视觉编码器，只在输入序列中插入少量可学习的提示向量，使模型以极小参数量适配新模态（如超声）的纹理与噪声分布。相比全量微调，它降低了过拟合风险，也便于在共享骨干中同时服务语言与测量两条通路。

实验结果：误差降低两到三成

在EchoNet-LVH上的四项超声心动图测量任务中，HAD-VLM的平均绝对误差分别为：IVSd 1.36 mm、LVIDd 2.77 mm、LVIDs 3.05 mm、LVPWd 1.16 mm。相对Vicuna自回归基线，误差降低21.4%–37.6%，并在全部四项任务上优于微调后的Qwen3-VL和直接MLP回归。

跨模态的验证同样值得关注：X射线椎体测量任务中，平均绝对误差从11.4像素降到6.7像素，接近减半。这说明连续预测通路的收益不局限于超声，而是对解剖测量类任务具有通用性。同时，医学问答性能在评测数据集上得以保留，回应了「引入扩散会不会牺牲语言能力」的疑虑。

平均绝对误差（MAE） 是衡量连续测量精度的常用指标，计算预测值与真实值绝对偏差的平均值，单位与测量量一致（如毫米或像素），数值越小表示精度越高。本文以MAE作为主要评价标准，因为它直接反映数值误差，而不像分类准确率那样依赖离散阈值。

EchoNet-LVH 是公开的超声心动图数据集，包含左心室肥厚相关标注，常用于评估心脏结构测量算法。文中四项任务分别对应室间隔厚度（IVSd）、舒张末期左心室内径（LVIDd）、收缩末期左心室内径（LVIDs）和左心室后壁厚度（LVPWd），均为临床评估左心室结构与功能的关键指标。

对医疗VLM的一点冷思考

这项工作的价值不止于几个误差数字。它提示了一个更普遍的问题：当VLM从「描述图像」走向「量化图像」，离散token的表示瓶颈会反复出现。扩散头是一种解法，但并非唯一解，回归头、连续嵌入、混合专家都是潜在方向。HAD-VLM的意义在于给出了一个可复现的架构范式，并证明连续预测与语言生成可以在同一骨干中共存。

需要留意的是，实验集中在心脏超声和椎体测量两类任务，样本规模与临床多样性仍有局限；坐标-长度一致性机制依赖卡尺端点这一特定标注形式，推广到自由形式的病灶测量时可能需要重新设计。把扩散预测引入VLM是方向性的一步，但距离临床级鲁棒性还有验证空间。

对关注医疗AI的开发者而言，这篇论文最实际的启示或许是：在构建定量VLM时，先问一句输出表示是否匹配任务本质，再决定堆多少参数。