LMSYS Chatbot Arena
基于人类偏好投票的大模型评测平台，用户通过盲测对比两个模型的回复质量进行投票，结果以Elo评分呈现
核心事实
时间轴 (近 90 天)
LMSYS Chatbot Arena 采用人工盲测作为评测方式。
厂商宣传中的'对标'与实际第三方评测结果之间常有落差，宣传可能基于内部选定的基准或特定任务，而独立评测（如LMSYS Chatbot Arena、HELM等）往往呈现更复杂的图景。
Leaderboard泛指各类公开排行榜，如Hugging Face Open LLM Leaderboard、LMSYS Chatbot Arena等
在LMSYS Chatbot Arena上，Sol得分1362，仅比上一代GPT-5高1分，而旗舰Astra得分1442，两者相差80分
LMSYS Chatbot Arena的核心机制是让真实用户在不知道模型身份的情况下与两个匿名模型同时对话并投票选出更满意的一方
Arena榜单采用人类盲测对战制，以Elo积分排名，相比固定测试集更难刷榜
对于企业选型，最可靠的验证方式是在自身真实业务数据和任务上进行小规模A/B测试，而非直接依赖公开排行榜排名
盲测两两对比结合Elo排名被LMSYS Chatbot Arena等大语言模型评测平台广泛采用
ELO评分系统最初由物理学家Arpad Elo为国际象棋设计，近年被引入LLM评测领域如LMSYS Chatbot Arena
评估各国模型差距通常借助MMLU、HumanEval、MATH及LMSYS Chatbot Arena等标准化基准测试
还有 11 条时间轴事件
全部知识事实 (20)
MMLU评估模型在57个学科领域的知识广度，HumanEval测量代码生成正确率，GSM8K考察数学推理，HELM构建综合多维评估框架
90%已验证2024年Chatbot Arena已累积超过100万次人类偏好投票
80%已验证Chatbot Arena是由LMSYS运营的基于众包的实时评测平台，用户同时与两个匿名模型对话并投票选出更好的一方
75%已验证LMSys Chatbot Arena由UC Berkeley的LMSYS组织创建，自2023年上线以来已收集超过百万次人类投票
75%已验证LLM-as-a-Judge评估范式最早由LMSYS团队在MT-Bench和Chatbot Arena中大规模应用
65%已验证LMSys Chatbot Arena采用Elo评分系统（源自国际象棋排名体系）对大语言模型进行排名
65%已验证LMARENA（原LMSYS Chatbot Arena）是由加州大学伯克利分校发起的大模型能力评测平台，采用人类盲测对战机制
65%待验证LMSYS Chatbot Arena是业界评估AI模型能力的知名评测榜单，核心机制是使用同一prompt横向测试多个模型
85%待验证LMSYS 的 Chatbot Arena 采用实时用户对战而非固定题库的评测模式
60%待验证LMSYS Chatbot Arena 采用人工盲测作为评测方式。
50%待验证厂商宣传中的'对标'与实际第三方评测结果之间常有落差，宣传可能基于内部选定的基准或特定任务，而独立评测（如LMSYS Chatbot Arena、HELM等）往往呈现更复杂的图景。
50%待验证Leaderboard泛指各类公开排行榜，如Hugging Face Open LLM Leaderboard、LMSYS Chatbot Arena等
50%待验证在LMSYS Chatbot Arena上，Sol得分1362，仅比上一代GPT-5高1分，而旗舰Astra得分1442，两者相差80分
50%待验证LMSYS Chatbot Arena的核心机制是让真实用户在不知道模型身份的情况下与两个匿名模型同时对话并投票选出更满意的一方
50%待验证Arena榜单采用人类盲测对战制，以Elo积分排名，相比固定测试集更难刷榜
50%待验证对于企业选型，最可靠的验证方式是在自身真实业务数据和任务上进行小规模A/B测试，而非直接依赖公开排行榜排名
50%待验证盲测两两对比结合Elo排名被LMSYS Chatbot Arena等大语言模型评测平台广泛采用
50%待验证ELO评分系统最初由物理学家Arpad Elo为国际象棋设计，近年被引入LLM评测领域如LMSYS Chatbot Arena
50%待验证评估各国模型差距通常借助MMLU、HumanEval、MATH及LMSYS Chatbot Arena等标准化基准测试
50%待验证社区中较受认可的公开评测框架包括LMSYS Chatbot Arena、EleutherAI的LM Evaluation Harness以及HuggingFace Open LLM Leaderboard
50%