同行评审
学术界用于评估研究论文质量的机制,由同领域专家对投稿论文进行审阅并给出评分与意见,在AI领域面临评审周期长、评审质量参差不齐、申诉机制不完善等挑战
时间轴 (近 90 天)
附录内容通常不在审稿人的强制审阅范围之内,导致大量技术细节游离于同行评审之外
传统科研激励下,科研人员职业发展高度依赖论文发表数量和引用量,导致资源流向容易出成果的安全课题
学术界通常依靠期刊或会议的调查委员会处理学术不端行为指控
AI行业尚未形成类似学术界同行评审或开源社区代码审计那样成熟的争议仲裁机制
同行评审是由同领域独立专家匿名审查论文的方法论、数据与结论,经修改与复核后才能正式发表的科学筛选机制
科学结论需要经过同行评审、独立复现与长期检验,单一团队的单次发现在获得广泛确认前只能视为有待验证的线索
同一篇论文在不同评审组合下可能得到截然不同的评分,即同行评审存在固有随机性
评审彩票化(Review Lottery)指论文能否被接收在很大程度上取决于随机分配到的审稿人,而非论文本身的质量
已发表论文经历了从想法萌芽到实验验证、同行评审、多轮修改的严苛筛选过程,只有一小部分创意能够进入公开发表
审稿人数量的增长追不上投稿量的增长,导致同行评审质量下滑
还有 2 条时间轴事件
全部知识事实 (14)
同行评审是科学出版的核心质量控制机制,研究论文发表前需经同领域独立专家匿名审查,而许多健康科技公司所称的"临床验证"往往是内部小规模测试,未经独立复现或同行评审
90%待验证同行评审起源于17世纪的英国皇家学会
85%待验证评审彩票化(Review Lottery)指论文能否被接收在很大程度上取决于随机分配到的审稿人,而非论文本身的质量
70%待验证NLP会议通常采用双盲评审,每篇论文一般由3-4位审稿人独立评审
70%待验证附录内容通常不在审稿人的强制审阅范围之内,导致大量技术细节游离于同行评审之外
50%待验证传统科研激励下,科研人员职业发展高度依赖论文发表数量和引用量,导致资源流向容易出成果的安全课题
50%待验证AI行业尚未形成类似学术界同行评审或开源社区代码审计那样成熟的争议仲裁机制
50%待验证学术界通常依靠期刊或会议的调查委员会处理学术不端行为指控
50%待验证同行评审是由同领域独立专家匿名审查论文的方法论、数据与结论,经修改与复核后才能正式发表的科学筛选机制
50%待验证科学结论需要经过同行评审、独立复现与长期检验,单一团队的单次发现在获得广泛确认前只能视为有待验证的线索
50%待验证同一篇论文在不同评审组合下可能得到截然不同的评分,即同行评审存在固有随机性
50%待验证已发表论文经历了从想法萌芽到实验验证、同行评审、多轮修改的严苛筛选过程,只有一小部分创意能够进入公开发表
50%待验证审稿人数量的增长追不上投稿量的增长,导致同行评审质量下滑
50%待验证AI无法判断研究的意义,分不清哪些猜想是前沿核心,哪些是过时的重复结论
50%