[控场AI]
概念corpus-sampling disagreement

语料采样分歧

机器学习中描述从同一总体独立采集两份不同语料后,分别训练出的预测模型在输出上产生差异程度的统计量,用于评估模型对数据采样随机性的敏感度

时间轴 (近 90 天)

10月12日

该研究针对掩码文本重建任务量化了语料采样分歧,即在相同总体上独立采集两份语料后各自训练出的预测器输出的差异

待验证50%
10月12日

按经典统计学的 1/n 缩放规律,样本量翻两番应让分歧下降约 75%,但实际分歧仅下降了 5% 到 40%

待验证50%
10月12日

分歧缓慢下降的原因被追溯到罕见上下文的平滑处理,增加数据量无法有效降低稀疏区域的采样波动

待验证50%
10月12日

在语言任务的长尾分布下,增加数据带来的不确定性减少收益可能远低于 1/n 直觉的预期

待验证50%

全部知识事实 (4)

来源文章