已验证65% 置信事实精确时间
LLM as Judge是利用一个独立裁判LLM评判主模型输出质量的技术,评判维度包括安全性、相关性、事实一致性
3
来源数
65%
置信度
长期有效
时效性
2026/7/10
首次发现
来源
AI Agent落地生产前必做的五件事(附银行POC案例)
bilibili量子菠萝_2026/6/19
相关事实
已验证LLM-as-a-judge模式即用一个能力更强的模型来评判另一个模型的输出质量,降低评测成本但引入评判模型自身的偏见问题81% 相似待验证LLM-as-a-judge通过将Agent执行轨迹和评判标准组成提示词交由独立裁判模型打分或给出通过/拒绝决策来评估Agent行为78% 相似待验证评分函数往往需要精心设计,甚至借助另一个 LLM 来打分,即 LLM-as-judge 模式77% 相似待验证LLM裁判仅作辅助,不可单独作为最终评判依据,缓解策略包括多模型交叉打分、结构化评分Rubric、定期与人工标注对齐76% 相似待验证一些团队引入LLM-as-Judge方式,用另一个模型评估Agent输出质量以形成自动化质量闭环75% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/456480API
curl https://kongchang.com/api/v1/knowledge/claims/456480MCP
get_claim(id=456480)