基准MedAbstain
MedAbstain
面向弃答行为的医学问答评估基准,侧重评估模型对超出知识边界问题的不知道表达
时间轴 (近 90 天)
11月9日
评估使用了两个基准:MedAbstain 和 ClinDet-Bench。
待验证50%
11月9日
在MedAbstain基准上,基座模型的适当弃答率中位数仅为8.3%,微调后进一步降至中位数4.2%。
待验证50%
11月9日
在部署生物医学大模型时,建议在微调前后用类似MedAbstain的基准检验模型的弃答率变化,以避免安全护栏被侵蚀。
待验证50%