待验证50% 置信事实精确时间
LLM judge的评估标准会随着模型版本更新、业务规则调整、用户行为变化而漂移,而漂移本身不会主动报错。
1
来源数
50%
置信度
长期有效
时效性
2026/10/22
首次发现
来源
涉及实体
相关事实
已验证LLM-as-a-judge模式即用一个能力更强的模型来评判另一个模型的输出质量,降低评测成本但引入评判模型自身的偏见问题75% 相似待验证使用LLM-as-Judge时,裁判与生成Agent最好使用不同模型或不同system prompt,以避免共享偏见导致互相背书73% 相似待验证LLM-as-judge方案存在裁判模型自身波动、偏见和不一致性的缺陷,会给评估结果引入新的噪声73% 相似待验证评分函数往往需要精心设计,甚至借助另一个 LLM 来打分,即 LLM-as-judge 模式73% 相似已验证LLM as Judge是利用一个独立裁判LLM评判主模型输出质量的技术,评判维度包括安全性、相关性、事实一致性71% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1087415API
curl https://kongchang.com/api/v1/knowledge/claims/1087415MCP
get_claim(id=1087415)