概念漂移
机器学习监控中的概念,指输入特征与输出标签之间的映射关系本身发生变化,可能需要重新设计特征甚至更换建模思路来应对
核心事实
时间轴 (近 90 天)
概念漂移指输入与正确输出之间的映射关系本身发生变化,例如退货政策调整后,同样的提问需要不同答案。
数据漂移通常可通过监控输入分布与训练分布的统计距离(如PSI、KL散度)来发现,概念漂移则必须借助带标签的线上评估才能捕捉。
数据漂移指输入特征P(X)的分布发生变化,而特征与标签之间的关系P(Y|X)保持不变;概念漂移则是P(Y|X)本身发生改变。
规则漂移指环境底层决策规则随时间发生非显式变化的现象,与概念漂移类似,要求学习系统检测分布变化并触发模型更新。
概念漂移指输入与标签之间的真实关系发生了变化。
概念漂移指输入与正确输出之间的映射关系本身发生改变,例如业务规则更新后原本正确的回答不再成立。
模型漂移(Model Drift)是AI交易系统必须持续应对的核心问题,指模型在生产环境中表现随时间下降的现象,通常分为数据漂移和概念漂移两类。
概念漂移指设施内人员构成和活动模式随时间变化,训练时表现良好的模型可能在部署数周后性能显著下降,需要持续再校准。
State-drift不同于数据漂移或概念漂移,后者关注模型输入分布或输入-输出映射的变化,可通过可观测性工具检测;而state-drift关乎存储信念的过期,即使输入完全在分布内也可能失效。
概念漂移指输入数据与目标变量之间的统计关系随时间发生变化,导致原本训练好的模型逐渐失效;通常分为突变型、渐进型和周期性三类。
还有 11 条时间轴事件
全部知识事实 (20)
概念漂移是指输入数据与目标标签之间的映射关系随时间发生变化,不同于仅输入分布改变的数据漂移。
75%已验证数据漂移或概念漂移指真实世界数据分布发生变化而模型仍基于旧数据训练时性能会显著下降,业界采用持续学习和主动学习策略应对
65%已验证模型漂移通常分为数据漂移和概念漂移两类,数据漂移指输入数据统计分布随时间变化,概念漂移指输入与输出关系本身发生变化
65%待验证概念漂移指输入与正确输出之间的映射关系本身发生变化,例如退货政策调整后,同样的提问需要不同答案。
50%待验证数据漂移通常可通过监控输入分布与训练分布的统计距离(如PSI、KL散度)来发现,概念漂移则必须借助带标签的线上评估才能捕捉。
50%待验证数据漂移指输入特征P(X)的分布发生变化,而特征与标签之间的关系P(Y|X)保持不变;概念漂移则是P(Y|X)本身发生改变。
50%待验证规则漂移指环境底层决策规则随时间发生非显式变化的现象,与概念漂移类似,要求学习系统检测分布变化并触发模型更新。
50%待验证概念漂移指输入与标签之间的真实关系发生了变化。
50%待验证概念漂移指输入与正确输出之间的映射关系本身发生改变,例如业务规则更新后原本正确的回答不再成立。
50%待验证模型漂移(Model Drift)是AI交易系统必须持续应对的核心问题,指模型在生产环境中表现随时间下降的现象,通常分为数据漂移和概念漂移两类。
50%待验证概念漂移指设施内人员构成和活动模式随时间变化,训练时表现良好的模型可能在部署数周后性能显著下降,需要持续再校准。
50%待验证State-drift不同于数据漂移或概念漂移,后者关注模型输入分布或输入-输出映射的变化,可通过可观测性工具检测;而state-drift关乎存储信念的过期,即使输入完全在分布内也可能失效。
50%待验证应对概念漂移的手段包括在线学习、滑动窗口重训练和漂移检测算法(如ADWIN、DDM)。
50%待验证概念漂移指输入数据与目标变量之间的统计关系随时间发生变化,导致原本训练好的模型逐渐失效;通常分为突变型、渐进型和周期性三类。
50%待验证分布偏移包括协变量偏移(输入分布改变但条件分布不变)、标签偏移(标签边缘分布改变)和概念漂移(条件分布随时间变化)三种常见类型。
50%待验证数据漂移和概念漂移会导致模型性能退化,但在服务层健康指标(延迟、吞吐、错误率)上可能没有异常,需通过统计检测手段(如KL散度、PSI、KS检验)主动发现
50%待验证数据分布漂移分为协变量漂移、先验概率漂移和概念漂移三种类型,其中概念漂移最为隐蔽和危险
50%待验证数据集偏移主要包括三种子类型:协变量偏移(输入特征分布变化但条件标签分布不变)、先验概率偏移(标签边缘分布变化)、概念漂移(输入与输出映射关系变化)
50%待验证股价序列是典型的非平稳数据,模型训练时数据分布与预测时数据分布的实质性变化在统计学中称为「概念漂移」
50%待验证金融欺诈是对抗性博弈场景,欺诈模式持续漂移导致概念漂移(Concept Drift)
50%