基准Certified Human-Robot Intelligence
CEHRI
一个包含60道题的领域考试基准,涵盖事实性问题、算术运算和隐含目标推理三类任务,用于评测语言模型的纠错能力与通用能力保持情况
时间轴 (近 90 天)
9月16日
在 CEHRI 60 题领域考试上,CRN v2 纠正了基座模型 53.3% 的错误,在改写变体上纠正 43.3%
待验证50%
一个包含60道题的领域考试基准,涵盖事实性问题、算术运算和隐含目标推理三类任务,用于评测语言模型的纠错能力与通用能力保持情况
在 CEHRI 60 题领域考试上,CRN v2 纠正了基座模型 53.3% 的错误,在改写变体上纠正 43.3%