待验证50% 置信事实精确时间
LLM裁判本身可能犯错，包括将正确行为误判为违规、漏掉真实违规、对相似情境给出不一致判断；论文用人工校验的合成黄金对话验证裁判，但成本高且难以规模化。
1
来源数
50%
置信度
长期有效
时效性
2026/10/20
首次发现
来源
SIT-Eval：对话Agent评测的管道缺口与逐轮评估新范式
rss2026/10/20
涉及实体
相关事实
待验证部分审稿人直接使用LLM生成审稿意见，这些意见往往表面流畅却包含事实性错误，对数学证明类工作尤为有害79% 相似待验证LLM裁判不应作为唯一评估手段，因为它成本高、有随机性，且可能被Agent的输出风格欺骗。76% 相似待验证LLM-as-a-Judge方法引入额外的推理成本，并可能出现攻守同质化问题——攻击者可用语言不可读性手段欺骗充当裁判的模型73% 相似待验证LLM评判者的选择对最终研究结论有重大影响，使用质量不够高的LLM作为评判者可能高估上下文-记忆冲突的强度73% 相似已验证LLM因幻觉、提示注入或上下文误解可能做出错误判断，若无独立验证机制，错误推理会直接转化为错误的生产操作73% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1074918API
curl https://kongchang.com/api/v1/knowledge/claims/1074918MCP
get_claim(id=1074918)