基准
MedQA
用于临床医疗问答的AI评测基准,引入执照医师参与标注与审核,考察模型在医疗知识与临床决策场景下的表现
时间轴 (近 90 天)
11月17日
医学基准(如 MedQA、MedMCQA、PubMedQA 等)多采用选择题形式,选项本身构成对答案空间的强约束,模型可借助选项排除、模式匹配或表面线索作答,高分可能反映应试能力而非问诊胜任力。
待验证50%
10月16日
健康基准测试通常指用标准化医学问答数据集(如MedQA、PubMedQA等)评估模型医学知识水平,指标以准确率为主;这类测试默认模型应尽量给出答案,但Tabibu的安全层会主动拒绝诊断等,导致大量本可答对的问题被安全回退拦截。
待验证50%
9月24日
COMED在MedQA医学问答基准上的提升最高达到+10.7个百分点
待验证50%
9月24日
MedQA是基于美国执业医师资格考试(USMLE)题库构建的多选题问答基准
待验证50%
9月23日
MedQA和MultiMedBench均引入执照医师参与标注与审核,是expert-informed设计模式在医疗AI评测领域的先例
待验证50%
全部知识事实 (5)
待验证
医学基准(如 MedQA、MedMCQA、PubMedQA 等)多采用选择题形式,选项本身构成对答案空间的强约束,模型可借助选项排除、模式匹配或表面线索作答,高分可能反映应试能力而非问诊胜任力。
50%待验证健康基准测试通常指用标准化医学问答数据集(如MedQA、PubMedQA等)评估模型医学知识水平,指标以准确率为主;这类测试默认模型应尽量给出答案,但Tabibu的安全层会主动拒绝诊断等,导致大量本可答对的问题被安全回退拦截。
50%待验证COMED在MedQA医学问答基准上的提升最高达到+10.7个百分点
50%待验证MedQA是基于美国执业医师资格考试(USMLE)题库构建的多选题问答基准
50%待验证MedQA和MultiMedBench均引入执照医师参与标注与审核,是expert-informed设计模式在医疗AI评测领域的先例
50%