待验证50% 置信事实精确时间
换法官模型让recall移动0.31、faithfulness移动0.26，分别是各自门槛的三倍和接近两倍，说明法官模型的影响大于k参数。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/19
首次发现
有效期至：2027/1/17
来源
涉及实体
相关事实
待验证Faithfulness指标中，法官对同一段答案拆出的claim数量会变化（例如一条答案三次分别被拆成5、10、11条），导致分母变动从而分数波动；Precision和recall由yes/no判断构成，148条chunk判断中有5条在三次之间翻转，22条reference-statement判断中有3条翻转；由于18条参考答案中14条只有一句话，recall在那些题上非0即1。69% 相似待验证当模型援引的法律依据被替换为无关权威来源后，裁决发生改变的比率在CaseHOLD上仅为0.0%–21.7%，在ECHR和SCOTUS上为30.0%–76.7%，在ContractNLI上为43.3%–50.0%。67% 相似待验证即使将法官的temperature设为0，三次评判相同的答案和chunks，precision的18题均值波动了0.085，faithfulness波动0.042，recall波动0.046，只有relevancy相对稳定在0.003。64% 相似待验证在LLM-as-a-judge评估中，裁判的判断高度依赖提示词措辞，不同的评估标准描述可导致通过率从100%骤降至0%63% 相似待验证重写一个提示词中的某条标准会导致同一提示词里其他标准的通过率波动5-10个百分点62% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1065194API
curl https://kongchang.com/api/v1/knowledge/claims/1065194MCP
get_claim(id=1065194)