Unverified50% confidenceFactExact time
Chatbot Arena（LMSYS）通过大量人类盲测对比部分弥补了LLM-as-a-judge的偏差缺陷，但其成本使其难以成为开发者日常工作流的一部分
1
Sources
50%
Confidence
Medium-term (~90 days)
Relevance
10/5/2026
First Seen
Valid until: 1/3/2027
Sources
Related Entities
Related Claims
UnverifiedChatbot Arena（LMSYS）、HumanEval、MMLU等主流基准测试往往无法充分反映真实生产环境中的长尾问题80% similarUnverified基于LLM的多智能体系统面临模型输出随机性、上下文窗口限制、幻觉传播放大以及协调开销等挑战65% similarUnverifiedLLM本身输出具有随机性，叠加多个智能体交互路径，状态空间呈指数级膨胀，使穷举测试几乎不可能覆盖所有潜在失效场景65% similarVerifiedLLM输出具有概率性，存在幻觉风险，可能误判情境并调用本不该调用的工具65% similarUnverified根据LMSYS Chatbot Arena的经验，需要积累数万次有效投票才能使排名前列模型之间的分数差异达到统计显著性64% similar
Cite This Claim
Stable URI
https://kongchang.com/claim/976193API
curl https://kongchang.com/api/v1/knowledge/claims/976193MCP
get_claim(id=976193)