模型漂移
机器学习中描述模型行为随时间发生变化的现象,分为自然发生的数据分布偏移和人为主动引入的行为变化两类,后者影响范围和可预测性更难评估。
核心事实
时间轴 (近 90 天)
监控漂移的常用做法包括统计输入特征的分布变化(如PSI指标)、跟踪线上预测结果的分布,以及定期抽样人工复核。
模型漂移指模型上线后由于真实世界数据分布变化导致预测性能随时间下降的现象,应对手段包括持续监控、性能告警阈值和定期或触发式再训练。
协变量漂移指特征分布 P(X) 在来源与目标之间不一致,模型漂移涉及条件分布 P(Y|X) 的偏移
协变量漂移和模型漂移可能引发负迁移,导致额外数据拖累模型表现
影响用户感知模型退化的因素包括上下文窗口填充、系统提示词变更、采样温度调整和模型漂移
目前学界和工业界缺乏针对生产环境模型的标准化持续监测基准
针对模型漂移的测试需要建立持续的统计监控流水线,定期对比生产数据与训练数据的分布特征并设置性能指标告警阈值
模型漂移导致的性能下降不会让系统抛出报错,因此传统监控手段(如异常日志、崩溃率)对其完全失效
作者记录一次无声的安全更新使管线准确率从96%骤降到71%,需要120个工程师工时诊断修复
全部知识事实 (12)
AI系统引入了全新的安全风险维度,包括模型幻觉导致的错误决策、提示注入攻击(Prompt Injection)、训练数据投毒、以及AI代理权限滥用等
80%已验证模型漂移通常分为数据漂移和概念漂移两类,数据漂移指输入数据统计分布随时间变化,概念漂移指输入与输出关系本身发生变化
65%待验证AI产品效果可能在未做任何改动的情况下变差,原因包括RAG知识库数据未同步更新或供应商默默更新了模型版本
60%待验证监控漂移的常用做法包括统计输入特征的分布变化(如PSI指标)、跟踪线上预测结果的分布,以及定期抽样人工复核。
50%待验证模型漂移指模型上线后由于真实世界数据分布变化导致预测性能随时间下降的现象,应对手段包括持续监控、性能告警阈值和定期或触发式再训练。
50%待验证协变量漂移指特征分布 P(X) 在来源与目标之间不一致,模型漂移涉及条件分布 P(Y|X) 的偏移
50%待验证协变量漂移和模型漂移可能引发负迁移,导致额外数据拖累模型表现
50%待验证目前学界和工业界缺乏针对生产环境模型的标准化持续监测基准
50%待验证影响用户感知模型退化的因素包括上下文窗口填充、系统提示词变更、采样温度调整和模型漂移
50%待验证模型漂移导致的性能下降不会让系统抛出报错,因此传统监控手段(如异常日志、崩溃率)对其完全失效
50%待验证针对模型漂移的测试需要建立持续的统计监控流水线,定期对比生产数据与训练数据的分布特征并设置性能指标告警阈值
50%待验证作者记录一次无声的安全更新使管线准确率从96%骤降到71%,需要120个工程师工时诊断修复
50%