待验证50% 置信事实精确时间
PAWS的回放研究揭示高准确率可能掩盖模型对罕见利益相关方行为的检测失败
1
来源数
50%
置信度
长期有效
时效性
2026/9/25
首次发现
来源
涉及实体
相关事实
待验证数据漂移和概念漂移会导致模型性能退化，但在服务层健康指标（延迟、吞吐、错误率）上可能没有异常，需通过统计检测手段（如KL散度、PSI、KS检验）主动发现74% 相似待验证论文提出可证伪的预测：授权度量（warrant metrics）能够揭示现有评估方法遗漏的实质性失败72% 相似待验证当随机化实验不可行时，因果推断方法变得关键，包括双重差分法（DID）、断点回归（RDD）、工具变量法（IV）和倾向评分匹配（PSM）72% 相似待验证传统置信度校准方法多依赖模型生成的输出文本或基于序列的概率统计，在多轮智能体交互中难以捕捉复杂失败模式72% 相似待验证更密集的相关性判断可降低模型检索到的正确结果被误判为无关的概率，从而提高评测可信度71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/949015API
curl https://kongchang.com/api/v1/knowledge/claims/949015MCP
get_claim(id=949015)