大模型如何破解医学试题难度密码？

医学考试中，有些题目看似简单却让考生频频失分，有些题目冗长复杂却更容易答对。这种“经验难度”背后的规律究竟是什么？一项新研究尝试用大语言模型（LLM）从真题数据中自动归纳难度规则，并检验这些规则能否反过来提升模型的难度判断能力。

研究设计：让模型从“经验难度”中学习

该研究并未止步于让LLM预测题目难度，而是先利用带有经验难度标签的试题，引导模型归纳出一套“难度评分规则”（rubric），再观察这套规则如何影响模型自身的判断。训练数据来自美国医师执照考试（USMLE）和医师助理全国认证考试（PANCE）的题目及其经验难度估计值。Claude Opus 5分别为绝对难度判断和两两比较难度判断归纳了独立的评分规则。

这种“标签引导的规则归纳”思路，本质上是在尝试把黑箱式的难度预测转化为可解释的、可检验的假设。

经验难度（empirical difficulty） 与基于题目特征的先验难度（a priori difficulty） 相对。前者通常通过考生实际作答数据计算得出，如题目答对率（p值）或基于IRT模型估计的难度参数；后者则由命题专家根据题目内容预先评定。经验难度的优势在于反映真实作答表现，但也受考生样本、猜测行为和题目曝光度等因素影响。研究中使用的USMLE和PANCE题目经验难度估计值，正是来源于大量考生作答记录的统计建模，因此可视为“事后”难度标签，而非命题者主观预期。

USMLE与PANCE 是美国医学教育体系中两类重要的标准化考试。USMLE（美国医师执照考试）分Step 1、Step 2 CK和Step 3三个阶段，主要面向医学生和住院医师；PANCE（医师助理全国认证考试）则面向医师助理（PA）考生。两者在考试内容蓝图上存在差异：USMLE更强调基础医学与临床知识的整合，PANCE更侧重初级保健场景下的临床决策。这种能力结构差异，正是研究中两项考试难度规则出现分化的制度背景。

难度不来自表面特征

一个反直觉的发现是：所有归纳出的规则都没有将题干长度、选项数量或配图等表面特征视为难度的主要来源。这在两项考试中高度一致。

真正反复出现的模式包括：线索汇聚（多个线索指向同一结论）、误导性线索，以及选项之间的竞争性。不过，这些模式的具体表现形式在两项考试中有所差异。

线索汇聚（cue convergence） 是医学考试命题中常见的设计策略：题干中布置多个相互印证的临床线索（如症状、体征、实验室检查、影像学表现），考生需要将这些线索汇聚到同一诊断或处置结论上。线索越多且越一致，题目往往越容易；反之，线索稀疏或指向分散时难度上升。误导性线索（misleading cues） 则指题干中包含与正确答案方向不一致的信息，诱使考生得出错误结论，属于典型的“干扰项设计”。选项竞争性（option competitiveness） 描述的是各选项在语义和临床上彼此接近的程度：当多个选项都看似合理、仅在细微处存在关键差异时，考生需要在选项间进行精细辨别，难度随之增加。这三类模式都属于题目的“认知结构”特征，而非题干长度、选项数量等可计数的表面属性，这也解释了为何LLM归纳出的规则一致地排除了后者。

两项考试的难度侧重点不同

据该研究分析，PANCE的规则中“需要调取题干无法直接推导的知识”这一因素尤为突出；而USMLE的规则更强调对多个临床线索的整合能力。

这种差异提示，不同考试所考察的能力结构不同，难度来源也随之分化。单一维度的难度模型很难同时适配两类考试。

规则引导有效吗？结果喜忧参半

研究者在留出试题上对比了商业模型与开放权重模型在“无引导”和“规则引导”两种条件下的表现。

在绝对难度判断中，规则引导促使模型更充分地使用难度量表，总体上改善了粗粒度的一致性，但并未稳定提升排序准确性。在两两比较中，效果因模型和考试而异，且判断对呈现顺序变得更加敏感。

换言之，规则引导改变了模型使用难度尺度的方式，却没有可靠地提升判断水平。

绝对难度判断 要求模型在给定难度量表上为单道题目赋予一个难度等级或分数；两两比较难度判断 则要求模型在两道题目中判断哪一道更难。二者在心理测量学上对应不同的测量范式：绝对判断直接产出量表值，但容易受模型对量表刻度理解不一致的影响；两两比较只产出相对顺序，通常被认为更稳健，但判断结果可能受题目呈现顺序影响（即顺序效应）。研究中观察到的“规则引导后模型对呈现顺序更敏感”，提示规则文本可能改变了模型对题目信息的注意分配，使其在比较时更依赖先出现的题目锚定判断。此外，粗粒度一致性 指模型判断与经验难度在较宽的分档（如易/中/难）上是否一致，而排序准确性 则关注模型能否精确复现题目的难度次序——前者改善而后者未提升，说明规则引导主要改变了模型对难度尺度的使用方式，而非其判别能力本身。

价值在于生成可检验的假设

作者由此提出，标签引导的规则归纳，其价值可能更多在于从经验难度数据中生成可解释、可检验的假设，而非可靠地改进难度判断本身。

对于医学考试命题和测评研究而言，这提供了一条从数据中挖掘难度机理的新路径，但距离用LLM替代人工难度评估仍有距离。