[控场AI]
基准

SciQuality

SciQuality 是一个面向科学对话质量的评测基准,基于留出科学论文构建多轮研究对话,从方法论可靠性、论证充分性、逻辑一致性、事实正确性、新颖性和响应性六个维度进行成对评估。

时间轴 (近 90 天)

10月21日

研究团队构建了 SciQuality 评测集,基于 300 篇留出科学论文构造多轮研究对话,并从六个维度进行成对评估。

待验证50%
10月21日

SciQuality 的六个评估维度包括:方法论可靠性、论证充分性、逻辑一致性、事实正确性、新颖性和响应性。

待验证50%
10月21日

在响应长度匹配的条件下,CollabSciReM 在 SciQuality 评测中取得 65.3% 的胜率。

待验证50%
10月21日

SciQuality 作为新提出的评测集尚缺乏第三方独立复现。

待验证50%
10月21日

SciQuality 的六维评价框架可作为构建科研辅助工具的产品团队进行内部质量评估的参考模板。

待验证50%

全部知识事实 (5)

来源文章