LMSYS Chatbot Arena
基于人类偏好投票的大模型评测平台，用户通过盲测对比两个模型的回复质量进行投票，结果以Elo评分呈现
核心事实
时间轴 (近 90 天)
LMSYS Chatbot Arena采用基于匿名两两对战、由真实用户投票产生的Elo排名。
业界形成了更严格的参考框架：优先看独立评测机构（如 LMSYS Chatbot Arena、Artificial Analysis）的结果，其次看是否公布评测代码与运行环境，最后才参考厂商自报的榜单。
目前Qwen4和Kimi3.1在Arena上的出现仅为社区观察，官方尚未确认。
Reddit用户发帖称在LMSYS Chatbot Arena平台上发现了Qwen4和Kimi3.1的条目。
模型厂商常在正式发布前将新模型以代号或临时名称接入Arena进行测试，但Arena条目本身不构成官方发布确认。
Arena平台采用匿名盲测机制，用户对两个匿名模型的回答投票，最终通过Elo类排名体系形成模型榜单。
厂商自测成绩受测试集选择、提示词设计和评测协议影响，独立评测如 LMSYS Chatbot Arena 采用统一协议，可比性更强。
LMSYS Chatbot Arena 采用人工盲测作为评测方式。
厂商宣传中的'对标'与实际第三方评测结果之间常有落差，宣传可能基于内部选定的基准或特定任务，而独立评测（如LMSYS Chatbot Arena、HELM等）往往呈现更复杂的图景。
Leaderboard泛指各类公开排行榜，如Hugging Face Open LLM Leaderboard、LMSYS Chatbot Arena等
还有 17 条时间轴事件
全部知识事实 (20)
MMLU评估模型在57个学科领域的知识广度，HumanEval测量代码生成正确率，GSM8K考察数学推理，HELM构建综合多维评估框架
90%已验证Chatbot Arena是由LMSYS运营的基于众包的实时评测平台，用户同时与两个匿名模型对话并投票选出更好的一方
75%已验证LMSys Chatbot Arena由UC Berkeley的LMSYS组织创建，自2023年上线以来已收集超过百万次人类投票
75%已验证LM Arena（原 Chatbot Arena）是由加州大学伯克利分校团队开发的大模型匿名对战评测平台
75%已验证LLM-as-a-Judge评估范式最早由LMSYS团队在MT-Bench和Chatbot Arena中大规模应用
65%已验证LMSys Chatbot Arena采用Elo评分系统（源自国际象棋排名体系）对大语言模型进行排名
65%已验证LMARENA（原LMSYS Chatbot Arena）是由加州大学伯克利分校发起的大模型能力评测平台，采用人类盲测对战机制
65%待验证LMSYS Chatbot Arena是业界评估AI模型能力的知名评测榜单，核心机制是使用同一prompt横向测试多个模型
85%待验证LMSYS 的 Chatbot Arena 采用实时用户对战而非固定题库的评测模式
60%待验证LMSYS Chatbot Arena采用基于匿名两两对战、由真实用户投票产生的Elo排名。
50%待验证业界形成了更严格的参考框架：优先看独立评测机构（如 LMSYS Chatbot Arena、Artificial Analysis）的结果，其次看是否公布评测代码与运行环境，最后才参考厂商自报的榜单。
50%待验证Arena平台采用匿名盲测机制，用户对两个匿名模型的回答投票，最终通过Elo类排名体系形成模型榜单。
50%待验证目前Qwen4和Kimi3.1在Arena上的出现仅为社区观察，官方尚未确认。
50%待验证模型厂商常在正式发布前将新模型以代号或临时名称接入Arena进行测试，但Arena条目本身不构成官方发布确认。
50%待验证厂商自测成绩受测试集选择、提示词设计和评测协议影响，独立评测如 LMSYS Chatbot Arena 采用统一协议，可比性更强。
50%待验证LMSYS Chatbot Arena 采用人工盲测作为评测方式。
50%待验证厂商宣传中的'对标'与实际第三方评测结果之间常有落差，宣传可能基于内部选定的基准或特定任务，而独立评测（如LMSYS Chatbot Arena、HELM等）往往呈现更复杂的图景。
50%待验证Leaderboard泛指各类公开排行榜，如Hugging Face Open LLM Leaderboard、LMSYS Chatbot Arena等
50%待验证LMSYS Chatbot Arena的核心机制是让真实用户在不知道模型身份的情况下与两个匿名模型同时对话并投票选出更满意的一方
50%待验证Arena榜单采用人类盲测对战制，以Elo积分排名，相比固定测试集更难刷榜
50%