VLM评测陷阱：高分背后的临床术语抹除与幻觉偏见

当高分不再意味着高质量

视觉语言模型（VLM）近年来在放射学报告生成（Radiology Report Generation, RRG）领域展现出惊人潜力——它们能够读取胸部X光片，自动生成看似专业的诊断报告。然而，一个令人不安的现象正在浮出水面：这些模型在标准评测指标上得分很高，却可能在悄无声息中抹除关键的临床术语，甚至引入带有偏见的幻觉内容。

视觉语言模型是一类同时处理视觉信息和文本信息的深度学习模型，典型架构包括视觉编码器（如Vision Transformer）与语言解码器（如GPT系列架构）的组合。在放射学报告生成任务中，模型需要接收医学影像作为输入，理解其中的解剖结构和病理特征，然后生成结构化的自然语言报告。这一任务的难度在于，它不仅需要精确的视觉感知能力，还需要丰富的医学知识和规范的临床表述能力。近年来，随着大规模预训练技术的发展，如BiomedCLIP、Med-PaLM等模型在该领域取得了显著进展，但其实际临床可靠性一直存疑。

从技术架构角度深入来看，VLM在RRG任务中的典型处理流程包含三个核心组件：视觉编码器、模态对齐模块和语言生成器。视觉编码器（如ViT-B/16或Swin Transformer）首先将X光图像转换为高维特征表示，捕捉影像中的纹理、边缘和区域特征；然后通过交叉注意力机制或线性投影层（如Q-Former结构）将视觉特征映射到语言模型的嵌入空间；最后由自回归语言模型逐词生成报告文本。这一流程中的关键挑战包括：细粒度病灶识别（如小于1cm的肺结节在低分辨率X光中可能仅占数个像素）、多标签共存情况的准确描述（如同时存在胸腔积液和肺不张时需要分别精确描述），以及报告结构的规范性。目前主流方法包括RGRG、MedVersa等专用医学模型，以及GPT-4V、LLaVA-Med等通用VLM的迁移应用方案。

值得注意的是，当前VLM的训练范式通常包含多个阶段，这些阶段的设计直接影响模型在RRG任务中的行为表现。第一阶段为视觉-语言对比预训练（如CLIP/BiomedCLIP），通过海量的图像-文本对学习跨模态对齐；第二阶段为视觉指令微调（Visual Instruction Tuning），使用结构化的问答对教会模型遵循指令生成文本；第三阶段为领域适配微调，通常使用如MIMIC-CXR、IU-Xray等放射学数据集进行监督学习。每个阶段都可能引入偏差——预训练阶段的数据分布决定了模型的"世界知识"基线，指令微调阶段可能强化模板化输出的倾向（因为训练数据中的参考报告本身就包含大量模板），而领域微调的数据量和多样性直接决定了模型能否覆盖长尾病例。一些前沿工作如CheXagent采用了专门的病灶定位预训练任务来增强视觉感知，RadFM则尝试通过多任务学习同时优化报告生成和疾病分类，但这些方法能否从根本上解决术语抹除问题仍有待验证。

这一发现来自一项针对胸部X光报告生成任务的研究（论文见 arXiv:2603.01625）。研究团队在实际使用VLM进行报告生成时注意到，主流评测指标存在系统性缺陷：它们会奖励那些重复的模板化文本、缺乏具体临床术语的报告，以及那些被判定为"正常"的报告。换句话说，模型学会了"如何在考试中得高分"，而不是"如何写出真正有用的临床报告"。

评测指标缺陷：奖励平庸，惩罚专业

这个问题的核心在于评测指标与临床价值之间的错位。目前RRG领域广泛使用的自然语言生成指标（如BLEU、ROUGE、CIDEr等）本质上是在衡量生成文本与参考文本之间的表面重叠度。

从技术原理上看，BLEU（Bilingual Evaluation Understudy）通过计算生成文本与参考文本之间的n-gram精确率来评分；ROUGE（Recall-Oriented Understudy for Gisting Evaluation）侧重于召回率，衡量参考文本中有多少n-gram被生成文本覆盖；CIDEr（Consensus-based Image Description Evaluation）则引入了TF-IDF加权，试图降低高频词的影响并提升稀有词的权重。然而，这些指标的根本局限在于它们本质上是统计性的文本匹配工具，无法理解语义层面的临床重要性——一个关键病灶术语的缺失和一个无关冠词的变动，在这些指标眼中可能具有相同的权重。

除了上述经典指标外，研究者还尝试了METEOR（通过词干匹配、同义词匹配和释义匹配来改进评估的灵活性）、BERTScore（利用预训练BERT模型的上下文嵌入计算token级别的余弦相似度）等更先进的方法。在医学NLP领域，还存在一些专门设计的评估工具：F1-CheXbert通过自动标签提取器将生成报告和参考报告转化为14种胸部疾病的二元标签，然后计算标签级别的F1分数；RadGraph-F1则通过构建临床实体（解剖结构、观察结果）和关系（位于、暗示）的知识图谱来评估语义结构的准确性。然而，F1-CheXbert仅覆盖预定义的14个疾病类别，对于罕见病变和细微描述差异（如"小量胸腔积液"vs"中量胸腔积液"）缺乏区分能力；RadGraph-F1虽然更细粒度，但其依赖的自动解析器本身也有约85%的准确率上限，可能引入额外噪声。这些专用指标虽然比通用NLG指标更贴近临床需求，但仍无法完全捕捉本研究关注的"术语抹除"和"偏见引入"问题。

以BLEU-4为例进行更深入的分析，其计算公式为修正的4-gram精确率的几何平均值乘以简短惩罚因子（Brevity Penalty）。当放射学报告中约60-70%的内容为标准化模板（如"The heart is normal in size. The lungs are clear bilaterally."）时，模型只需准确复制这些高频n-gram即可获得0.3-0.4的BLEU分数，而临床关键信息往往集中在剩余30%的个性化内容中。BERTScore等基于语义嵌入的新一代指标虽有改进，但其使用的通用BERT模型对医学术语的语义区分能力仍然有限——例如"浸润"（infiltration）与"渗出"（exudation）在通用语义空间中的向量距离可能很近，但在临床上它们指向完全不同的病理过程和治疗方案。这种语义粒度的不足使得即便是改进型指标也难以充分反映临床价值。

重复模板为何得高分

放射学报告中存在大量高频、固定的表述模式，例如"心影大小正常"、"肺野清晰"、"未见明显异常"等。这些语句在训练数据中出现频率极高，模型只要稳定输出这些"安全"的模板，就能在与参考报告的比对中获得可观的匹配分数。

罕见但关键的术语为何被抹除

真正体现临床价值的往往是那些罕见但关键的术语——某种特定的病灶描述、少见的解剖异常、细微的病理征象。由于这些词汇在数据中出现频率低，模型倾向于"回避"生成它们，因为生成错误的风险高、对整体指标分数的贡献却很小。研究者形象地指出，这导致生成报告看起来"重复而乏味"，最终毫无临床实用性。

从统计学习的角度深入分析，术语抹除本质上是训练过程中的频率偏差问题。在MIMIC-CXR（包含约37万张胸部X光影像及对应报告的大型公开数据集，由麻省理工学院与贝斯以色列女执事医疗中心联合发布，是目前RRG领域最大的公开基准数据集）等主流数据集中，约55%的报告结论为"无急性心肺异常"，而如"纵隔淋巴结肿大"、"支气管充气征"、"Kerley B线"等特异性描述的出现频率可能不足2%。在交叉熵损失函数下，模型对低频token的梯度信号天然较弱——每个训练batch中可能仅包含极少的正样本来强化这些罕见术语的生成概率。加之beam search等解码策略倾向于选择高概率路径（即累积对数概率最大的序列），共同导致罕见但关键的临床术语在生成过程中被系统性压制。这一问题在类别极度不平衡的医学数据集中尤为严重，本质上是长尾分布问题在序列生成任务中的具体表现。

针对长尾分布问题，机器学习领域已提出多种缓解策略，但它们在RRG任务中的效果参差不齐。Focal Loss通过动态降低易分类样本的损失权重来使训练聚焦于困难样本，但在序列生成任务中其应用并不直接——因为每个时间步的"困难"定义取决于上下文。类别重平衡采样（如过采样包含罕见术语的报告）可能导致模型过拟合这些少量样本。一些研究尝试在解码阶段进行干预，如使用术语约束解码（constrained decoding）强制模型在检测到相关视觉特征时生成特定术语，或使用检索增强生成（RAG）从数据库中召回相似病例的描述片段作为参考。还有工作探索了课程学习（curriculum learning）策略，先让模型学会生成常见报告，再逐步引入罕见病例。然而，这些方法都面临一个根本矛盾：如何在不增加幻觉风险的前提下提高罕见术语的生成概率——过度鼓励模型生成罕见描述可能导致假阳性率的上升，这在临床场景中同样是不可接受的。

这是一个典型的指标优化偏差（Goodhart's Law的体现）：当我们用一个不完善的代理指标去衡量目标时，模型会学会"钻空子"，优化指标本身而非我们真正关心的目标。Goodhart定律最初由英国经济学家Charles Goodhart在1975年提出，原文表述为"当一个度量指标成为目标时，它就不再是一个好的度量指标"。在机器学习领域，这一现象被称为"指标黑客"（metric hacking）或"奖励黑客"（reward hacking）。例如在强化学习中，智能体可能找到最大化奖励函数的捷径，而非真正完成预期任务。在RRG场景中，模型通过生成高频模板来最大化与参考文本的重叠度，本质上是一种对评测指标的"善意操纵"——它并非恶意作弊，而是优化目标本身就存在偏差。

沉默的抹除与幻觉偏见：两种隐性失败模式

该研究提出了两个值得高度警惕的VLM行为模式：

术语抹除（Terminology Erasure）：模型系统性地省略掉临床上有意义的词汇，使报告趋于同质化。这种抹除是"沉默"的——它不会在传统指标上留下任何负面痕迹，反而可能因为减少了"犯错机会"而提升分数。

幻觉偏见（Hallucinated Bias）：模型在报告中引入了原本不存在于影像中的、带有偏向性的术语。这比单纯的信息缺失更危险，因为它主动向报告中注入了错误信息，可能误导临床决策。

幻觉（Hallucination）是当前大语言模型面临的核心挑战之一。在通用场景中，幻觉可能表现为编造不存在的引用或事实；而在医疗场景中，幻觉的危害被极度放大。研究表明，VLM的幻觉可分为"对象幻觉"（生成图像中不存在的对象）和"属性幻觉"（错误描述已有对象的属性）。本研究揭示的"幻觉偏见"更为隐蔽——模型不是随机生成错误内容，而是系统性地引入特定方向的偏差，这可能与训练数据中的标注偏见、人群分布不均等因素有关，使得某些诊断结论被不当地强化或抑制。

深入探究幻觉偏见的产生机制，它涉及数据、模型和评估的全链路传播。在数据层面，不同医疗机构的标注习惯差异（如某些机构的放射科医生倾向于更积极地报告"疑似"发现以规避漏诊风险，而另一些则倾向于保守描述）会被模型学习并放大。在模型层面，注意力机制可能过度关注训练集中特定病变与特定人口统计特征的虚假关联——例如，如果训练数据中来自老年患者的影像更多伴随"心脏扩大"的标注，模型可能在处理任何年龄段患者的影像时都过度倾向于生成这一描述。更隐蔽的是，预训练阶段从通用文本语料（如PubMed文献、临床教材）中继承的知识偏见可能与具体患者影像的视觉证据产生冲突，导致模型在视觉特征不够显著时依赖先验知识"脑补"出符合统计规律但不符合个体情况的内容。这种偏见的系统性和方向性使其比随机错误更难以通过简单的置信度阈值来过滤。

从AI公平性（Fairness）的角度来看，幻觉偏见的危害在不同患者群体间可能呈现不均匀分布。已有研究表明，医学影像AI系统在不同种族、性别和年龄群体间可能存在显著的性能差异——例如，CheXpert数据集上训练的胸部X光分类模型在黑人患者亚群中的假阴性率显著高于白人患者。当这种分类偏差传导到报告生成环节时，可能表现为对特定群体的病变描述系统性不足（抹除）或对另一些群体的过度描述（幻觉偏见）。更严重的是，如果这些AI生成的报告被用于训练下一代模型或辅助临床决策，偏见可能形成正反馈循环而不断被放大。这一问题与更广泛的算法公平性讨论相呼应——2019年Science发表的研究揭示了美国医疗系统中广泛使用的商业风险预测算法对黑人患者的系统性歧视，而生成式AI在医疗中的应用可能通过更隐蔽的方式延续类似问题。

这两种行为共同构成了VLM在医疗场景应用的隐患：一个在纸面数据上表现优异的模型，实际上可能在做两件糟糕的事——该说的不说，不该说的乱说。

如何测量"模型没说的话"

针对上述问题，研究团队提出了一个新的评估框架，其核心思想被凝练在论文标题中——"Measuring What VLMs Don't Say"（测量VLM没有说出的内容）。

传统指标只关注模型"说了什么"以及说得与参考文本有多接近，而这个框架转向关注：

• 术语抹除的程度：模型遗漏了多少本应出现的临床关键词？
• 偏见术语的引入：模型添加了多少不应出现的、带偏见的内容？

通过量化这两个维度，研究者能够揭示那些被传统指标掩盖的模型缺陷。这为评估医疗AI系统提供了一个更贴近真实临床价值的视角：一份报告的价值不仅在于它写对了什么，更在于它是否遗漏了关键信息、是否编造了虚假内容。

该框架的技术实现依赖三个关键组件。首先是临床术语库的构建——研究者需要基于SNOMED-CT（系统化医学命名法-临床术语，由国际健康术语标准开发组织IHTSDO维护，包含超过35万个活跃概念，是全球最全面的临床术语标准）、RadLex（放射学词典，由北美放射学会RSNA开发，包含约75,000个放射学专用术语和概念）等国际标准化医学术语体系建立分级术语表，将术语按临床重要性区分为核心诊断术语（如"气胸"、"肺栓塞"）、描述性术语（如"边界模糊"、"密度增高"）和修饰性术语（如"轻度"、"可能"）。其次是术语对齐算法，通过精确字符串匹配与基于医学词嵌入的语义匹配的混合策略，识别参考报告中出现而生成报告中缺失的关键术语，同时处理同义词替换（如"心影增大"与"心脏扩大"）等情况。最后是偏见检测模块，通过对比大规模生成报告与参考报告中的术语频率分布差异，利用统计检验（如卡方检验或KL散度）识别系统性偏移方向，判断模型是否对特定类别的诊断存在过度生成或抑制倾向。

值得一提的是，医疗AI评估领域正在探索多种改进方向。RadGraph等工具通过构建放射学知识图谱来评估报告中实体和关系的准确性；F1-RadGraph指标能够衡量临床实体级别的精确率和召回率；CheXbert等标签提取工具可以将报告转化为结构化的疾病标签进行对比。此外，临床有效性评估（如请放射科医生进行盲审打分）虽然成本高昂，但仍被视为金标准。本研究提出的"测量未说出的内容"框架代表了一种互补视角——不仅评估生成内容的正确性，还系统性地追踪信息的完整性和偏差方向。

这一评估框架的提出也与近年来"可解释AI"（Explainable AI, XAI）和"负责任AI"（Responsible AI）运动密切相关。在传统的模型评估中，我们通常只关注一个聚合的数值指标；而负责任的评估要求我们进行多维度、分层次的性能剖析——按疾病类别、按严重程度、按患者亚群分别分析模型表现。这种"切片评估"（slice-based evaluation）的理念正在成为医疗AI评估的新范式，Google Health团队在2020年提出的"Model Cards"框架即是这一方向的代表性工作，它要求模型开发者公开报告模型在不同条件下的性能变化，而非仅提供一个单一的整体准确率。

对医疗AI落地的启示

这项研究的意义远超放射学报告生成这一具体任务，它对整个医疗AI乃至更广泛的生成式AI评估体系提出了深刻警示。

评测体系需要重构

在高风险领域部署AI时，我们不能简单依赖通用的NLG指标。这些指标为通用文本生成设计，无法捕捉领域专有知识的完整性和准确性。医疗、法律、金融等专业领域都需要建立能够反映真实价值的定制化评估框架。

警惕基准测试中的"刷分"式优化

当研究者和工程师一味追求刷新排行榜（benchmark）成绩时，很可能培养出擅长应试而非真正胜任的模型。这提醒整个行业：指标是手段，不是目的。一个模型在基准测试上的高分，绝不能直接等同于它在真实场景中的可靠性。

关注AI系统的"沉默失败"

最危险的AI失败往往不是那些显而易见的错误，而是这种"沉默的抹除"——系统在表面正常运行的同时，悄悄丢失了关键信息。在医疗诊断中，一个被遗漏的病灶描述可能意味着延误的诊断。识别并度量这类隐性失败，应当成为负责任AI开发的核心环节。

从更宏观的视角来看，这一问题折射出当前AI安全研究中"对齐"（alignment）概念在专业领域的延伸。通用AI对齐关注模型行为是否符合人类意图和价值观，而医疗AI对齐则需要更精细的定义——模型不仅需要生成流畅的文本，还需要与临床工作流程的实际需求对齐，包括信息的完整性、不确定性的诚实表达、以及对不同患者群体的公平对待。FDA（美国食品药品监督管理局）在其2021年发布的AI/ML医疗器械行动计划中也强调了"持续监测"的重要性——模型在部署后的实际表现可能与开发阶段的评测结果显著不同，需要建立闭环的性能追踪机制。

在监管层面，全球主要监管机构正在加速建立针对AI医疗器械的审批和监管框架。FDA将AI/ML驱动的医疗软件归类为SaMD（Software as a Medical Device，软件即医疗器械），并根据其对临床决策的影响程度划分风险等级：从I类（低风险，如健康记录软件）到III类（高风险，如影响癌症诊断的决策支持系统）。对于放射学报告生成系统，若其输出直接被用作诊断依据，很可能被归类为II类或III类器械，需要经过严格的临床验证。欧盟的MDR（医疗器械法规）和即将全面实施的AI Act则从另一个维度提出了透明度、可解释性和人类监督的要求。特别值得关注的是FDA在2021年提出的"预定变更控制计划"（Predetermined Change Control Plan）概念——承认AI系统会持续学习和演化，因此需要预先定义允许的变更范围和持续监测计划。这一监管理念与本研究的发现高度相关：如果评测指标本身存在盲区，那么仅基于这些指标的上市前验证是不够的，部署后的真实世界性能监测（Real-World Performance Monitoring）和不良事件报告机制才能发现"沉默失败"这类隐蔽问题。中国NMPA（国家药品监督管理局）也在2022年发布了《人工智能医疗器械注册审查指导原则》，明确要求提交算法性能的多维度验证数据，包括在不同亚群中的表现差异分析。

结语

这项研究撕开了VLM在医疗应用中光鲜数据背后的真相：高基准分数可能只是一层伪装。当模型学会用重复模板、省略罕见术语的方式"取悦"评测指标时，它离真正的临床价值反而越来越远。

对于任何希望将生成式AI引入高风险专业领域的团队而言，这个案例都是一记警钟——在信任模型输出之前，我们必须先审视：我们的评测标准，究竟在衡量什么？以及更重要的，它们没有衡量什么？