漂移检测
检测托管模型API输出随时间变化的工程实践，通过对固定提示词集多次运行、对输出做哈希并比较基线，统计性地发现模型行为漂移
时间轴 (近 90 天)
智能体需要监控自身表现，并在检测到性能下降时主动丢弃过时知识。
在漂移金丝雀中，Jaccard 相似度低于 0.90 或长度变化超过 15% 可作为标记漂移的启发式阈值，但阈值需按噪声地板调整，并非定律。
输出解读决策表指出：多 prompt 的 n_ok 低于 K 时应先修访问（认证、配额或网络问题），这不是漂移；约束型 prompt 的 Jaccard 低于 0.90 时可能为快照替换，应 pin 日期快照并重跑评估。
一个会误报的漂移检测器比没有检测器更糟糕，因为每次误报都会训练运维人员忽略信号。
漂移检测应基于智能体自身在可比语料（同一批任务、同一语料版本）上的基线来衡量，语料版本变更应建立新基线而非视为漂移信号。
真正的LLM可复现性应通过行为契约来表达，即在给定语料集上输出哈希的下游指标（通过率、关键词命中率、结构化JSON可解析性）应保持统计意义上的稳定，而非逐字节一致。
漂移检测的统计前提是比较的两组观测必须来自同一分布的可比样本，跨版本直接对比原始计数会产生假阳性。
自动化的漂移检测机制能暴露问题，但不能强制人行动，因此新鲜度文件应公开以用外部压力弥补人的惰性
全部知识事实 (8)
智能体需要监控自身表现，并在检测到性能下降时主动丢弃过时知识。
50%待验证在漂移金丝雀中，Jaccard 相似度低于 0.90 或长度变化超过 15% 可作为标记漂移的启发式阈值，但阈值需按噪声地板调整，并非定律。
50%待验证输出解读决策表指出：多 prompt 的 n_ok 低于 K 时应先修访问（认证、配额或网络问题），这不是漂移；约束型 prompt 的 Jaccard 低于 0.90 时可能为快照替换，应 pin 日期快照并重跑评估。
50%待验证一个会误报的漂移检测器比没有检测器更糟糕，因为每次误报都会训练运维人员忽略信号。
50%待验证漂移检测应基于智能体自身在可比语料（同一批任务、同一语料版本）上的基线来衡量，语料版本变更应建立新基线而非视为漂移信号。
50%待验证真正的LLM可复现性应通过行为契约来表达，即在给定语料集上输出哈希的下游指标（通过率、关键词命中率、结构化JSON可解析性）应保持统计意义上的稳定，而非逐字节一致。
50%待验证漂移检测的统计前提是比较的两组观测必须来自同一分布的可比样本，跨版本直接对比原始计数会产生假阳性。
50%待验证自动化的漂移检测机制能暴露问题，但不能强制人行动，因此新鲜度文件应公开以用外部压力弥补人的惰性
50%