待验证50% 置信事实精确时间
LLM作为裁判评分时，即使将温度设为0，相同的对话轨迹和裁判模型运行五次仍有一次得到不同判决，这种非确定性对于想要接入CI的测试套件是不可接受的。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/15
首次发现
有效期至：2027/1/13
来源
我构建了一个评估工具，专门捕捉AI代理忽略红牌警告的行为
rss2026/10/15
涉及实体
相关事实
待验证LLM 评判器的结果受 temperature、prompt 措辞、模型版本迭代等因素影响，导致同一批测试用例在不同时间运行可能产生不同结论80% 相似待验证在 MT-Bench-PT 的六道安全题中，有两道题上 LLM 裁判无论被评回答是什么都一律拒绝打分，静默削减了该类别下的有效样本量 N。75% 相似待验证LLM判官方案在温度参数非零时，对同一条可疑文本可能给出不一致的结论，攻击者可以靠反复重试等待放行。73% 相似待验证依赖 LLM Judge 的评估方案在 CI/CD 场景下存在障碍，因为不确定的评判结果会导致流水线时而通过时而失败72% 相似待验证即便温度参数设为0，不同的系统提示词、对话上下文和模型版本更新都会导致LLM输出差异，使品牌可见度测量面临可复现性挑战72% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1036222API
curl https://kongchang.com/api/v1/knowledge/claims/1036222MCP
get_claim(id=1036222)