待验证50% 置信事实精确时间
LLM-as-judge 的版本耦合问题:裁判模型本身也会随版本更新,其评分标准和对措辞的宽容度可能偏移;当被评模型和裁判模型同时升级时,评估结果的变化难以归因。
1
来源数
50%
置信度
长期有效
时效性
2026/10/16
首次发现
来源
涉及实体
相关事实
待验证LLM-as-a-Judge方式的缺点是评估本身消耗算力,且评判模型自身可能引入偏差78% 相似待验证RAG评估中传统F1-score难以衡量自然语言回答,当前主流做法是LLM-as-Judge,让大模型从忠实度、相关性、完整性等维度打分,但会引入评委模型本身的偏差。72% 相似待验证模型回归问题在LLMOps领域尤为突出,因为一次变更可能同时涉及切换基座模型、更新system prompt、替换检索库内容等多个维度,且这种影响在单元测试层面几乎无法捕获71% 相似待验证基于提示词的LLM ASR后编辑方式存在三个脆弱性:top-1正确时可能过度编辑、参考文本不在候选列表中时可能产生幻觉、以及通常依赖参数量极大的模型才能稳定工作。66% 相似待验证模型静默退化可由供应商更新模型、提示词被误改或上游数据分布变化引起,接口本身不会报错66% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1049502API
curl https://kongchang.com/api/v1/knowledge/claims/1049502MCP
get_claim(id=1049502)