待验证50% 置信决策规则精确时间
测试漂移会导致分数无法比较，因此必须锁定任务集版本、提示版本，并记录模型ID而非‘最新版’。
1
来源数
50%
置信度
长期有效
时效性
2026/10/15
首次发现
来源
别再自欺欺人：Agent基准测试的六大陷阱与诚实之道
rss2026/10/15
涉及实体
相关事实
待验证调试生产 Agent 失败时应记录每次调用的模型版本和温度参数，因为模型提供方会静默更新模型，没有版本日志就无法关联模型变更与失败。71% 相似待验证针对新模型版本的提示词维护流程包括：阅读发布说明、不修改提示词直接运行寻找回归、一次只改一个变量、在确认新提示词表现更好前保留旧版本。69% 相似待验证缓解提示漂移需要固定 LLM 版本和参数、记录每一步完整 prompt 和响应、运行回归测试；但模型供应商的静默更新和工具返回格式的变化同样会导致漂移，因此 prompt、模型版本、参数和工具 schema 应作为一组不可变配置一起版本化。67% 相似待验证当工具schema变更而对应Prompt中的指令描述没有同步更新时，模型可能生成格式错误的工具调用请求，导致运行时异常67% 相似待验证不同代际或基础版本的模型参数不可互换，对比结果时必须锁定完整版本号。67% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1037047API
curl https://kongchang.com/api/v1/knowledge/claims/1037047MCP
get_claim(id=1037047)