MedPhysBench
评估语言模型在医疗物理计算与错误检测任务中可靠性的基准，覆盖放射治疗、诊断成像、核医学与辐射防护四大领域
时间轴 (近 90 天)
MedPhysBench 是一个用于系统评估语言模型在医疗物理计算与纠错任务中可靠性的基准，覆盖放射治疗、诊断成像、核医学与辐射防护四大领域。
MedPhysBench 包含十个种子化生成器用于产出计算题目，参考答案由实现相关协议的代码生成，评分器负责单位换算并应用容差区间。
MedPhysBench 的纠错任务会向模型展示同事的完整工作表或仅展示最终结果，其中一半正确、一半植入单个错误，以此测试模型发现错误的能力。
在包含 1,200 题的留出测试集上，12 个模型的计算得分区间为 33.3% 至 100.0%。
在纠错任务中，五个模型能检出至少 96.7% 的植入错误，误报率不超过 4%。
在 20 个公开的“遗漏平方反比修正”定向测试案例中，三个表现最好的模型在每个工作表中都抓住了该错误；而三个较弱模型接受了 20 个植入错误工作表中的 16 至 18 个。
研究者开源了 MedPhysBench 的代码、逐题结果与定向测试回答。
全部知识事实 (7)
MedPhysBench 是一个用于系统评估语言模型在医疗物理计算与纠错任务中可靠性的基准，覆盖放射治疗、诊断成像、核医学与辐射防护四大领域。
50%待验证MedPhysBench 包含十个种子化生成器用于产出计算题目，参考答案由实现相关协议的代码生成，评分器负责单位换算并应用容差区间。
50%待验证MedPhysBench 的纠错任务会向模型展示同事的完整工作表或仅展示最终结果，其中一半正确、一半植入单个错误，以此测试模型发现错误的能力。
50%待验证在包含 1,200 题的留出测试集上，12 个模型的计算得分区间为 33.3% 至 100.0%。
50%待验证在纠错任务中，五个模型能检出至少 96.7% 的植入错误，误报率不超过 4%。
50%待验证在 20 个公开的“遗漏平方反比修正”定向测试案例中，三个表现最好的模型在每个工作表中都抓住了该错误；而三个较弱模型接受了 20 个植入错误工作表中的 16 至 18 个。
50%待验证研究者开源了 MedPhysBench 的代码、逐题结果与定向测试回答。
50%