概念情境互换审计
context-swap audit
一种用于验证评分系统稳定性的审计方法,通过保持文档内容不变、仅改变提示词中随机ID字符串的可见性,来检测人类贡献度评分是否受到无关统计特征的干扰。
时间轴 (近 90 天)
10月15日
研究者设计了 context-swap audit(情境互换审计):保持文档内容完全不变,只对评估者显示或隐藏提示词中的随机ID字符串,同一篇未经修改的文本其人类贡献评分在量表上波动了三分之一到一半,且在所有测试文档中评分都出现上升。
待验证50%
一种用于验证评分系统稳定性的审计方法,通过保持文档内容不变、仅改变提示词中随机ID字符串的可见性,来检测人类贡献度评分是否受到无关统计特征的干扰。
研究者设计了 context-swap audit(情境互换审计):保持文档内容完全不变,只对评估者显示或隐藏提示词中的随机ID字符串,同一篇未经修改的文本其人类贡献评分在量表上波动了三分之一到一半,且在所有测试文档中评分都出现上升。