待验证50% 置信事实精确时间

LLM 评判器的结果受 temperature、prompt 措辞、模型版本迭代等因素影响，导致同一批测试用例在不同时间运行可能产生不同结论

1

来源数

50%

置信度

长期有效

时效性

2026/9/21

首次发现

来源

jevals：用类型化Jev决策替代LLM评判器的新思路

涉及实体

LLM as Judgeconcept

相关事实

待验证LLM生成的摘要是概率性的，同样输入在不同温度参数下可能产生不同结果，带来可复现性隐患78% 相似待验证LLM在不同温度参数、上下文长度、随机种子下可能对同一攻击payload给出截然不同的响应，因此LLM安全测试的通过标准本质上是统计性的77% 相似待验证测试设计、提示词方式、模型版本的差异可能导致截然不同的评估结论75% 相似待验证LLM评判者的选择对最终研究结论有重大影响，使用质量不够高的LLM作为评判者可能高估上下文-记忆冲突的强度74% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/937710

API

curl https://kongchang.com/api/v1/knowledge/claims/937710

MCP

get_claim(id=937710)