待验证50% 置信决策规则精确时间
LLM裁判应来自与基准模型和候选模型都不同的提供商，以避免自我偏好偏差；该团队用Claude Sonnet评判Gemini对阵DeepSeek
1
来源数
50%
置信度
长期有效
时效性
2026/8/29
首次发现
来源
涉及实体
相关事实
已验证LLM-as-a-judge模式即用一个能力更强的模型来评判另一个模型的输出质量，降低评测成本但引入评判模型自身的偏见问题69% 相似待验证LLM-as-Judge方法由Zheng et al.在MT-Bench论文中系统验证，使用独立语言模型对目标模型输出进行多维度打分，但存在位置偏见和自我中心偏见67% 相似待验证LLM裁判仅作辅助，不可单独作为最终评判依据，缓解策略包括多模型交叉打分、结构化评分Rubric、定期与人工标注对齐65% 相似待验证该研究使用「LLM作为裁判」的评估方式，只要本地模型胜出或与专有模型打平就计为一次胜利64% 相似待验证该方案采用LLM做意图理解、脚本做确定性执行的分层架构，以规避完全依赖LLM推理执行操作的幻觉风险63% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/820814API
curl https://kongchang.com/api/v1/knowledge/claims/820814MCP
get_claim(id=820814)