[控场AI]
基准

MedMCQA

MedMCQA 是一个大规模医学选择题问答基准数据集,来源于医学入学考试,用于评估模型的医学知识。

时间轴 (近 90 天)

11月19日

研究在MedMCQA数据集上从零复现了该配方,并在三个冻结模型上做了验证。

待验证50%
11月19日

在3,842道留出问题上(随机猜测准确率为25.0%),使用原始末位词元向量的两个小型编码器准确率分别为33.1%和33.0%。

待验证50%
11月19日

引入一词总结提示并降低头学习率后,两个小型编码器的准确率提升至41.7%和42.5%,Qwen3-8B达到46.0%±0.2(三个随机种子)。

待验证50%
11月19日

Flan-PaLM和Med-PaLM 2在MedMCQA上按不同协议分别报告57.6%和72.3%的准确率,与本文46.0%的最好成绩评估协议不一致,直接对比需谨慎。

待验证50%
11月19日

MedMCQA是源自印度医学入学考试的大规模多项选择题数据集,每题通常提供四个选项,随机猜测准确率为25%。

待验证50%
11月17日

医学基准(如 MedQA、MedMCQA、PubMedQA 等)多采用选择题形式,选项本身构成对答案空间的强约束,模型可借助选项排除、模式匹配或表面线索作答,高分可能反映应试能力而非问诊胜任力。

待验证50%

全部知识事实 (6)

来源文章