Chatbot Arena
由加州大学伯克利分校LMSYS团队创建的AI模型评测平台，采用盲测对战机制，通过用户偏好投票生成ELO积分排行榜，是目前最权威的综合性AI评测之一
核心事实
时间轴 (近 90 天)
Chatbot Arena（LMSYS）通过大量人类盲测对比部分弥补了LLM-as-a-judge的偏差缺陷，但其成本使其难以成为开发者日常工作流的一部分
LLM-as-a-Judge方法在MT-Bench、Chatbot Arena等基准中被广泛采用
LMArena的前身与Chatbot Arena相关
各大实验室热衷于在正式发布前将新模型以匿名变体形式投入Arena预热，以收集真实用户反馈并积累Elo分数
幽灵测试是大模型上线正式版本前的一种匿名灰度验证方式，模型以匿名变体身份在Arena中接受盲测
Gemini 4.0 Pro已在大模型竞技场Arena中开启匿名灰度测试（幽灵测试）
Chatbot Arena（原LMSYS Arena）由UC伯克利团队开发
LLM-as-Judge 范式由 MT-Bench、Chatbot Arena 等研究推广，能捕捉语义等价、逻辑推理和事实一致性
Chatbot Arena由UC Berkeley开发，通过让用户对比不同模型的输出来建立排名体系
H3加速竞技场借鉴了大语言模型领域的Chatbot Arena评测思路，采用盲测投票机制
还有 30 条时间轴事件
全部知识事实 (20)
LMSYS运营的Chatbot Arena通过真实用户对匿名模型盲评投票，采用源自国际象棋的ELO评分体系排名
85%已验证2024年Chatbot Arena已累积超过100万次人类偏好投票
80%已验证Zheng et al.（2023）在MT-Bench和Chatbot Arena的研究中系统化提出了LLM-as-a-Judge方法
80%已验证Chatbot Arena是由LMSYS运营的基于众包的实时评测平台，用户同时与两个匿名模型对话并投票选出更好的一方
75%已验证Arena（Chatbot Arena）是由加州大学伯克利分校LMSYS团队创建的AI模型评测平台，采用盲测对战机制生成ELO积分排行榜
75%已验证LMSys Chatbot Arena由UC Berkeley的LMSYS组织创建，自2023年上线以来已收集超过百万次人类投票
75%已验证LM Arena（原 Chatbot Arena）是由加州大学伯克利分校团队开发的大模型匿名对战评测平台
75%已验证Chatbot Arena项目由UC Berkeley的LMSYS团队在2023年推出
70%已验证LLM-as-a-Judge评估范式最早由LMSYS团队在MT-Bench和Chatbot Arena中大规模应用
65%已验证Chatbot Arena由LMSYS Org维护，采用ELO评分体系
65%待验证Chatbot Arena was introduced by a research team at UC Berkeley in 2023 and is one of the earliest platforms to implement large-scale LLM battle evaluation
90%待验证As of 2024, Chatbot Arena has accumulated over one million human votes
85%待验证WebDev Arena借鉴Chatbot Arena的人类偏好投票机制，通过盲测投票并以ELO积分排名
70%待验证Arena类平台采用成对盲测机制，用户在不知道模型身份的情况下投票选出更好的回答
60%待验证LLM-as-judge方法最早在MT-Bench和Chatbot Arena中被大规模采用
60%待验证Chatbot Arena works by having a user submit a question, the system randomly selects two anonymous models to generate responses, and the user votes for the better answer without knowing which model produced it
60%待验证Chatbot Arena（LMSYS）通过大量人类盲测对比部分弥补了LLM-as-a-judge的偏差缺陷，但其成本使其难以成为开发者日常工作流的一部分
50%待验证LLM-as-a-Judge方法在MT-Bench、Chatbot Arena等基准中被广泛采用
50%待验证LMArena的前身与Chatbot Arena相关
50%待验证各大实验室热衷于在正式发布前将新模型以匿名变体形式投入Arena预热，以收集真实用户反馈并积累Elo分数
50%