DischargeBench
专为医疗出院教育场景设计的LLM评测框架,采用人格锚定模拟机制,通过虚拟病人角色和教育监督智能体,从对话质量、主题覆盖、理解度和事实一致性四个维度评估模型表现
时间轴 (近 90 天)
DischargeBench 是一项发表于arXiv(arXiv:2609.20827)的研究提出的评测框架,用于评估LLM在出院教育中的表现
DischargeBench的核心主张是面向出院教育的LLM评估应以'病人理解'为中心,而非仅衡量文本质量或答案准确率
DischargeBench采用人格锚定(persona-grounded)的模拟机制,涉及候选LLM教育者、虚拟病人和教育监督智能体三个角色
教育监督智能体负责调控虚拟病人的真实感,同时不干预教育者本身,以保护评测信号的纯净度
DischargeBench从四个维度进行打分:对话质量、主题清单、理解度和事实一致性,评分由对齐了医生标注的LLM-as-a-Judge完成
研究发现无论是闭源还是开源的LLM,聚合分数会掩盖跨ICD章节和跨病人人格的临床相关差异
困难人格(difficult personas)会暴露模型的三类问题:覆盖失败、理解鸿沟和源-答一致性下降
DischargeBench依赖LLM-as-a-Judge的评审可靠性,其与医生真实判断的对齐程度仍需持续验证
全部知识事实 (8)
DischargeBench依赖LLM-as-a-Judge的评审可靠性,其与医生真实判断的对齐程度仍需持续验证
50%待验证DischargeBench的核心主张是面向出院教育的LLM评估应以'病人理解'为中心,而非仅衡量文本质量或答案准确率
50%待验证DischargeBench采用人格锚定(persona-grounded)的模拟机制,涉及候选LLM教育者、虚拟病人和教育监督智能体三个角色
50%待验证教育监督智能体负责调控虚拟病人的真实感,同时不干预教育者本身,以保护评测信号的纯净度
50%待验证DischargeBench从四个维度进行打分:对话质量、主题清单、理解度和事实一致性,评分由对齐了医生标注的LLM-as-a-Judge完成
50%待验证研究发现无论是闭源还是开源的LLM,聚合分数会掩盖跨ICD章节和跨病人人格的临床相关差异
50%待验证困难人格(difficult personas)会暴露模型的三类问题:覆盖失败、理解鸿沟和源-答一致性下降
50%待验证DischargeBench 是一项发表于arXiv(arXiv:2609.20827)的研究提出的评测框架,用于评估LLM在出院教育中的表现
50%