MindEval2
面向心理健康AI的临床级评估框架,由MHQR评估量表和MindSim患者模拟两组件组成,支持纵向评估
时间轴 (近 90 天)
MindEval2 是由两部分组成的心理健康AI评估框架:用于评估的心理健康质量量表(MHQR)和用于患者模拟的 MindSim。
MHQR 由研究团队与博士级心理学家合作设计,将回复质量分解为显式、可操作的临床评分条目。
MindSim 是一个 LLM 驱动的模拟框架,通过结合精心设计的患者画像与工具,产生更多样、更具挑战性的患者互动。
MindSim 包含一个在每次交互之间更新的记忆组件,使 MindEval2 能够建模心理健康问题的纵向维度。
研究团队在 MindEval2 上评估了 18 个专有模型和开源权重模型。
在 MindEval2 的评估中,前沿模型在表层质量和边界问题上已有明显改善,但引导校准(guidance calibration)在所有模型中都是最主要的失败模式,构成了大部分质量差距。
全部知识事实 (6)
MindEval2 是由两部分组成的心理健康AI评估框架:用于评估的心理健康质量量表(MHQR)和用于患者模拟的 MindSim。
50%待验证MHQR 由研究团队与博士级心理学家合作设计,将回复质量分解为显式、可操作的临床评分条目。
50%待验证MindSim 是一个 LLM 驱动的模拟框架,通过结合精心设计的患者画像与工具,产生更多样、更具挑战性的患者互动。
50%待验证MindSim 包含一个在每次交互之间更新的记忆组件,使 MindEval2 能够建模心理健康问题的纵向维度。
50%待验证在 MindEval2 的评估中,前沿模型在表层质量和边界问题上已有明显改善,但引导校准(guidance calibration)在所有模型中都是最主要的失败模式,构成了大部分质量差距。
50%待验证研究团队在 MindEval2 上评估了 18 个专有模型和开源权重模型。
50%