[控场AI]
基准MedAbstain

MedAbstain

面向弃答行为的医学问答评估基准,侧重评估模型对超出知识边界问题的不知道表达

时间轴 (近 90 天)

11月9日

评估使用了两个基准:MedAbstain 和 ClinDet-Bench。

待验证50%
11月9日

在MedAbstain基准上,基座模型的适当弃答率中位数仅为8.3%,微调后进一步降至中位数4.2%。

待验证50%
11月9日

在部署生物医学大模型时,建议在微调前后用类似MedAbstain的基准检验模型的弃答率变化,以避免安全护栏被侵蚀。

待验证50%

全部知识事实 (3)

来源文章