待验证50% 置信事实精确时间
Chatbot Arena（LMSYS）通过大量人类盲测对比部分弥补了LLM-as-a-judge的偏差缺陷，但其成本使其难以成为开发者日常工作流的一部分
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/5
首次发现
有效期至：2027/1/3
来源
涉及实体
相关事实
待验证Chatbot Arena（LMSYS）、HumanEval、MMLU等主流基准测试往往无法充分反映真实生产环境中的长尾问题80% 相似待验证基于LLM的多智能体系统面临模型输出随机性、上下文窗口限制、幻觉传播放大以及协调开销等挑战65% 相似待验证LLM本身输出具有随机性，叠加多个智能体交互路径，状态空间呈指数级膨胀，使穷举测试几乎不可能覆盖所有潜在失效场景65% 相似已验证LLM输出具有概率性，存在幻觉风险，可能误判情境并调用本不该调用的工具65% 相似待验证根据LMSYS Chatbot Arena的经验，需要积累数万次有效投票才能使排名前列模型之间的分数差异达到统计显著性64% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/976193API
curl https://kongchang.com/api/v1/knowledge/claims/976193MCP
get_claim(id=976193)