概念shortcut learning / Shortcut Learning
捷径学习
深度学习中普遍存在的现象,指模型利用训练数据中与标签统计相关但语义无关的表面特征做出预测,在分布内表现良好但在分布外场景下泛化失败
时间轴 (近 90 天)
10月16日
合成数据中,通过替换标识符、名称、章节顺序和表层措辞可制造看似不同但保留相同底层短语模板的样本,这会为模型提供捷径;精确重复检测无法发现这种重叠,需使用n-gram重叠度、嵌入相似度或模板家族追踪等更细粒度的手段。
待验证50%
深度学习中普遍存在的现象,指模型利用训练数据中与标签统计相关但语义无关的表面特征做出预测,在分布内表现良好但在分布外场景下泛化失败
合成数据中,通过替换标识符、名称、章节顺序和表层措辞可制造看似不同但保留相同底层短语模板的样本,这会为模型提供捷径;精确重复检测无法发现这种重叠,需使用n-gram重叠度、嵌入相似度或模板家族追踪等更细粒度的手段。