待验证50% 置信事实精确时间

GPT-4等模型在作为评判者时会系统性地偏好特定位置的回答

1

来源数

50%

置信度

长期有效

时效性

2026/8/6

首次发现

来源

代码偏好数据集：人工审核的DPO/RLHF微调训练素材

相关事实

已验证LLM-as-Judge方法利用GPT-4等大语言模型作为裁判对Agent输出质量进行自动化评分79% 相似待验证GPT-4级别的模型作为Judge时，其评判结果与人类专家的一致性超过80%77% 相似待验证每次推理需要将模型权重加载到GPU显存并按Token逐步生成回答，GPT-4级别模型参数量通常在数千亿量级76% 相似待验证GPT-5.1引入了内部一致性检查机制，在生成最终答案前对推理链路进行自我审计76% 相似待验证不同大模型（GPT-4、Claude、Llama等）对Prompt的响应特性有所不同，实践中需要针对具体模型进行调优76% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/696960

API

curl https://kongchang.com/api/v1/knowledge/claims/696960

MCP

get_claim(id=696960)