开源大模型能考上西班牙住院医师吗？MIR考试实测

医学考试分数常被当作语言模型临床可用的证据，但一个打算在自有硬件上运行开源模型的卫生系统，需要知道的远不止准确率。模型能否识别自己可能答错？医学微调是否提升了这种能力？正确回答背后是否有可靠的临床推理？它真的在用给定的图像吗？一项针对西班牙MIR住院医师考试的研究，用四个8亿至270亿参数的开源模型，按考试自身规则对八届共1552道题进行了评分，试图回答这些问题。

考试规则下的排名与“弃答”悖论

研究最直观的发现是：如果让三个较大模型回答每一道题，它们的成绩大致能排进前600至3000名考生，并有41至43个专科仍然向它们开放。这一结果本身已足够引人注目——开源模型在西班牙最严苛的医学选拔考试中，具备“考上”某一专科的现实可能性。

但更有意思的是弃答策略。按考试规则，答错会倒扣分，因此理论上考生应在不确定时选择不答。然而研究显示，弃答从来都不划算：即便是模型最没把握的答案，其正确率也高于25%的盈亏平衡点。换句话说，模型的“直觉”再差，也好过空白交卷。这暗示模型内部的不确定性信号与真实正确率之间存在系统性偏差——它低估了自己。

MIR考试计分规则：西班牙MIR（Médico Interno Residente）住院医师考试采用答对得3分、答错扣1分、不答不得分的计分方式。这意味着每道题的“盈亏平衡”正确率为25%——只要模型对某题的正确概率高于25%，作答的期望收益就为正。这一规则设计旨在惩罚盲猜，鼓励考生在不确定时主动弃答。研究正是利用这一规则来检验模型的不确定性信号是否校准：如果模型能准确感知自己的知识边界，就应在低置信时弃答。

医学微调：降低了过度自信，却没学会分辨对错

一个常被假设的因果关系是：医学领域微调会让模型更懂医学，因此也更懂自己什么时候不懂。研究结果对此泼了冷水。医学微调确实降低了模型的过度自信，但代价是准确率下降；更关键的是，它并没有改善置信度区分正确答案与错误答案的能力。

这意味着微调改变的是模型的“表态风格”，而非其“元认知”。模型在微调后更少拍胸脯，但它区分“这题我会”和“这题我蒙”的内部标尺并没有变得更准。对于打算部署开源模型的医疗机构，这是一个需要警惕的信号：微调带来的自信下降可能被误读为可靠性提升，实际上只是保守化。

元认知与置信度校准：在机器学习中，模型的“元认知”通常体现为置信度校准（calibration），即模型输出的置信度是否真实反映其答案正确的概率。一个校准良好的模型，在说“我有80%把握”时，实际正确率应接近80%。区分度（discrimination）则指置信度能否将正确与错误答案分开，常用AUROC衡量。医学微调可能改变模型的输出分布（如整体降低置信度），但不一定改善区分度。研究结果说明，微调后的模型只是“更谦虚”，而非“更自知”。

正确答对，不等于临床推理正确

研究中最具临床意味的发现，是正确回答的“成色”问题。在正确回答中，有13%至38%的案例，模型排除干扰项的理由在临床上是站不住脚的——而置信度完全没有反映这一点。

换句话说，模型答对了，但答对的路径是错的。它可能因为某个词的字面联想、训练数据中的表面共现，或某种与临床无关的启发式而排除了错误选项。在真实临床场景中，这种“对的答案、错的理由”极其危险：同样的推理方式换一道题、换一个病人，就可能得出错误结论。而模型对此毫无自知，置信度依然平稳。

图像形同虚设

研究还检验了模型是否真的在使用提供的上下文图像。结果干脆利落：移除图像或替换图像，准确率不变。

这说明在这些开源模型处理MIR题目的过程中，图像信息实际上被忽略了。对于以医学影像为重要诊断依据的临床场景，这是一个直接的可用性警告——模型可能“看着”图答题，但实际上在靠文本线索走捷径。多模态能力的存在，不等于多模态信息被有效利用。

多模态医学基准的陷阱：许多多模态基准在评估模型时，仅看最终答案准确率，而忽略模型是否真正依赖图像。常见的问题是“文本捷径”——题目文本中已包含足够线索，模型无需读图即可答对，导致多模态能力被高估。严谨的评估应包含图像消融实验（移除图像）和图像替换实验（换成无关图像），若准确率不变，则证明模型未使用视觉信息。该研究采用这一方法，揭示了开源模型在MIR题目上的“伪多模态”现象。

对开源医疗模型部署的启示

这项研究勾勒出的图景并不悲观，但足够清醒。开源模型在标准化医学考试上的表现已接近“能考上”的水平，但考试分数与临床可用性之间的鸿沟，恰恰藏在准确率数字之外：不确定性信号不可靠，弃答策略失效，微调不改善元认知，正确回答可能建立在错误的临床推理上，图像输入被实质忽略。

对于一个计划在自有硬件上运行开源模型的卫生系统，这些发现指向一个务实的结论：部署前的评估不能只看准确率，而要专门测试模型在不确定时的行为、推理链的临床合理性，以及多模态输入是否被真正使用。否则，一个“考得上住院医师”的模型，可能在病房里做出理由充分却方向错误的判断。