概念Reviewer Consistency
评审一致性
指同一篇论文在多位评审人独立打分时,评分与意见趋于接近的程度,是衡量学术会议评审质量的重要指标,常用标准差、Krippendorff's alpha等评分者间信度系数衡量
时间轴 (近 90 天)
10月18日
在非盲审条件下(第二、三轮评审可见之前的分数和评论),1440次评审中有1022次判断一致。
待验证50%
10月18日
在盲审条件下(隐藏之前的分数和评论),同一组数据的一致次数降至749次。
待验证50%
指同一篇论文在多位评审人独立打分时,评分与意见趋于接近的程度,是衡量学术会议评审质量的重要指标,常用标准差、Krippendorff's alpha等评分者间信度系数衡量
在非盲审条件下(第二、三轮评审可见之前的分数和评论),1440次评审中有1022次判断一致。
在盲审条件下(隐藏之前的分数和评论),同一组数据的一致次数降至749次。