医学微调不降反变：AI患者问答风险新评估框架

医学大模型正从研究演示走向生产部署，但评估仍以事实正确性为核心。事实正确是必要条件，却非充分条件——一个回答可以事实无误，却因给出危险指令而伤害患者。为此，研究者提出一种风险敏感评估框架，通过六类风险语言（治疗指令、禁忌症、剂量表达、紧急分诊提示、高警示药物提及、过度自信断言）及其严重程度打分，并基于已发表的临床危害分类学锚定。严重程度由三个LLM评委组成的集成分类。该框架应用于六个7-9B指令微调模型（三个通用：Mistral-7B、Phi-3.5-mini、Llama-3.1-8B；三个医学适配：BioMistral-7B、OpenBioLLM-Llama3-8B、Med42-Llama3-8B），在K-QA基准的200个真实患者问题上测试。

核心发现：事实幻觉与风险语言相互独立

风险语言集成得分与事实幻觉率在统计上独立（合并Spearman ρ = -0.065, n = 300, 95% CI [-0.18, +0.05]；距离相关 = 0.10，独立性检验 p = 0.24）。这意味着，一个模型可能事实准确率很高，却频繁输出高风险指令；反之亦然。仅靠事实性评估无法捕捉患者安全风险。

Spearman相关系数是一种非参数统计量，用于衡量两个变量之间的单调关系（不要求线性），取值在-1到+1之间。ρ接近0表示无单调关联。**距离相关（distance correlation）**则能检测线性和非线性的依赖关系，取值0到1，0表示独立。两者结合使用可避免仅依赖线性假设而遗漏非线性关联。文中同时报告这两个指标，是为了更稳健地论证风险语言得分与事实幻觉率之间缺乏实质关联。

医学微调：重塑风险而非减少风险

医学微调并未降低总体风险，而是改变了风险构成：

• 持续预训练适配（BioMistral、OpenBioLLM） 一致地抑制高警示药物提及，同时放大过度自信断言。
• 临床指令微调（Med42） 仅抑制剂量表达，未放大过度自信。

这一发现挑战了“医学微调必然更安全”的直觉。不同微调策略对风险类别的影响存在异质性，需针对性评估。

**持续预训练（continued pre-training）**指在通用基座模型上继续用领域语料（如医学文献、临床指南）进行自监督训练，以注入领域知识，但不针对具体指令进行对齐。**指令微调（instruction tuning）**则是在预训练之后，用“指令-回答”配对数据训练模型遵循指令、完成特定任务。文中BioMistral和OpenBioLLM采用持续预训练适配，Med42则采用临床指令微调，这解释了两类模型在风险类别构成上的异质性表现。

评估可靠性：语言锚定类别可靠，临床判断类别存疑

按类别计算的Krippendorff α显示：四个语言锚定类别（治疗指令、禁忌症、剂量表达、高警示药物提及）的α在0.53-0.71之间，为一般到良好；而两个依赖临床判断的类别（紧急分诊提示、过度自信断言）α仅0.19和0.31，可靠性低。这表明自动安全评估在语言明确的风险上较可靠，在需临床推理的风险上尚不可靠。

Krippendorff α是一种衡量多个编码者（或评委）之间一致性的统计量，适用于任意数量的评委和数据类型。其取值通常为0到1，一般认为α≥0.80为可靠，0.67-0.80为可接受但需谨慎，低于0.67则一致性不足。文中语言锚定类别α在0.53-0.71之间，处于“一般”水平；而临床判断类别α仅0.19和0.31，远低于常用阈值，表明这些类别的自动识别结果不可靠。

框架与代码开源

研究者发布了评分标准、评委提示和评估代码，为社区提供可复现的风险评估工具。该框架有望补充现有事实性基准，推动患者面向AI的安全部署。