MedMCQA
MedMCQA 是一个大规模医学选择题问答基准数据集,来源于医学入学考试,用于评估模型的医学知识。
时间轴 (近 90 天)
研究在MedMCQA数据集上从零复现了该配方,并在三个冻结模型上做了验证。
在3,842道留出问题上(随机猜测准确率为25.0%),使用原始末位词元向量的两个小型编码器准确率分别为33.1%和33.0%。
引入一词总结提示并降低头学习率后,两个小型编码器的准确率提升至41.7%和42.5%,Qwen3-8B达到46.0%±0.2(三个随机种子)。
Flan-PaLM和Med-PaLM 2在MedMCQA上按不同协议分别报告57.6%和72.3%的准确率,与本文46.0%的最好成绩评估协议不一致,直接对比需谨慎。
MedMCQA是源自印度医学入学考试的大规模多项选择题数据集,每题通常提供四个选项,随机猜测准确率为25%。
医学基准(如 MedQA、MedMCQA、PubMedQA 等)多采用选择题形式,选项本身构成对答案空间的强约束,模型可借助选项排除、模式匹配或表面线索作答,高分可能反映应试能力而非问诊胜任力。
全部知识事实 (6)
研究在MedMCQA数据集上从零复现了该配方,并在三个冻结模型上做了验证。
50%待验证在3,842道留出问题上(随机猜测准确率为25.0%),使用原始末位词元向量的两个小型编码器准确率分别为33.1%和33.0%。
50%待验证引入一词总结提示并降低头学习率后,两个小型编码器的准确率提升至41.7%和42.5%,Qwen3-8B达到46.0%±0.2(三个随机种子)。
50%待验证Flan-PaLM和Med-PaLM 2在MedMCQA上按不同协议分别报告57.6%和72.3%的准确率,与本文46.0%的最好成绩评估协议不一致,直接对比需谨慎。
50%待验证MedMCQA是源自印度医学入学考试的大规模多项选择题数据集,每题通常提供四个选项,随机猜测准确率为25%。
50%待验证医学基准(如 MedQA、MedMCQA、PubMedQA 等)多采用选择题形式,选项本身构成对答案空间的强约束,模型可借助选项排除、模式匹配或表面线索作答,高分可能反映应试能力而非问诊胜任力。
50%