Chatbot Arena
由加州大学伯克利分校LMSYS团队创建的AI模型评测平台，采用盲测对战机制，通过用户偏好投票生成ELO积分排行榜，是目前最权威的综合性AI评测之一
核心事实
时间轴 (近 90 天)
LMArena（前身为Chatbot Arena）是加州大学伯克利分校等机构的研究项目，最初用于以众包方式评估大语言模型的相对能力。
LLM-as-judge 与 Arena 相关性约 98%，成本低于 10 美元、3 分钟内出结果，但有长度偏好和自家风格偏好。
Chatbot Arena 是最受信任的评估信号，但慢、贵、且偏向技术用户。
Chatbot Arena 使用 Elo 评分系统将大量投票结果转化为模型排名，Elo 最初用于国际象棋。
Chatbot Arena（LMSYS）通过大量人类盲测对比部分弥补了LLM-as-a-judge的偏差缺陷，但其成本使其难以成为开发者日常工作流的一部分
LLM-as-a-Judge方法在MT-Bench、Chatbot Arena等基准中被广泛采用
LMArena的前身与Chatbot Arena相关
Gemini 4.0 Pro已在大模型竞技场Arena中开启匿名灰度测试（幽灵测试）
各大实验室热衷于在正式发布前将新模型以匿名变体形式投入Arena预热，以收集真实用户反馈并积累Elo分数
幽灵测试是大模型上线正式版本前的一种匿名灰度验证方式，模型以匿名变体身份在Arena中接受盲测
还有 33 条时间轴事件
全部知识事实 (20)
LMSYS运营的Chatbot Arena通过真实用户对匿名模型盲评投票，采用源自国际象棋的ELO评分体系排名
85%已验证Zheng et al.（2023）在MT-Bench和Chatbot Arena的研究中系统化提出了LLM-as-a-Judge方法
80%已验证Chatbot Arena是由LMSYS运营的基于众包的实时评测平台，用户同时与两个匿名模型对话并投票选出更好的一方
75%已验证Arena（Chatbot Arena）是由加州大学伯克利分校LMSYS团队创建的AI模型评测平台，采用盲测对战机制生成ELO积分排行榜
75%已验证LMSys Chatbot Arena由UC Berkeley的LMSYS组织创建，自2023年上线以来已收集超过百万次人类投票
75%已验证LM Arena（原 Chatbot Arena）是由加州大学伯克利分校团队开发的大模型匿名对战评测平台
75%已验证Chatbot Arena项目由UC Berkeley的LMSYS团队在2023年推出
70%已验证LLM-as-a-Judge评估范式最早由LMSYS团队在MT-Bench和Chatbot Arena中大规模应用
65%已验证Chatbot Arena项目由UC Berkeley的LMSYS团队在2023年推出，通过用户盲测投票积累人类偏好数据并衍生出Elo评分榜单
65%已验证Chatbot Arena由LMSYS Org维护，采用ELO评分体系
65%待验证Chatbot Arena was introduced by a research team at UC Berkeley in 2023 and is one of the earliest platforms to implement large-scale LLM battle evaluation
90%待验证As of 2024, Chatbot Arena has accumulated over one million human votes
85%待验证WebDev Arena借鉴Chatbot Arena的人类偏好投票机制，通过盲测投票并以ELO积分排名
70%待验证Chatbot Arena采用ELO评分机制，通过大量匿名对战确定模型排名
60%待验证Arena类平台采用成对盲测机制，用户在不知道模型身份的情况下投票选出更好的回答
60%待验证LLM-as-judge方法最早在MT-Bench和Chatbot Arena中被大规模采用
60%待验证Chatbot Arena works by having a user submit a question, the system randomly selects two anonymous models to generate responses, and the user votes for the better answer without knowing which model produced it
60%待验证LMArena（前身为Chatbot Arena）是加州大学伯克利分校等机构的研究项目，最初用于以众包方式评估大语言模型的相对能力。
50%待验证Chatbot Arena 是最受信任的评估信号，但慢、贵、且偏向技术用户。
50%待验证LLM-as-judge 与 Arena 相关性约 98%，成本低于 10 美元、3 分钟内出结果，但有长度偏好和自家风格偏好。
50%