Elo
一种用于评估对弈者相对技能水平的评分系统，最初用于国际象棋，通过对局结果与预期结果的偏差迭代调整分数，广泛应用于竞技排名和AI模型评测
时间轴 (近 90 天)
在主观性强的任务中，成对比较正逐渐取代绝对打分成为主流评测范式，其统计学结果可直接输入 Bradley-Terry 模型或 Elo 系统输出具有传递性的全局排名。
Chatbot Arena 使用 Elo 评分系统将大量投票结果转化为模型排名，Elo 最初用于国际象棋。
在盲测成对Elo研究中，PWM-WROP在延续式模型中排名第一，总排名第三，仅次于两个参考视频生成模型之间的统计平局。
知识工作类基准通常基于 Elo 分制，用于衡量模型在代码审查、技术文档、系统设计等专业任务上的综合表现
Code Arena是聚焦前端代码生成的对战竞技场，采用盲测用户投票产生Elo分数
Chatbot Arena采用真实用户盲评对比，让用户同时与两个匿名模型对话并投票，通过Elo评分系统排名
Elo系统假设能力是一维标量，无法反映模型在不同任务维度上的差异化表现，LMSYS后续引入了分类别排名机制来弥补这一不足
LMSYS Chatbot Arena是由UC Berkeley主导的评测平台，采用类似国际象棋的Elo评分制，让真实用户在不知道模型身份的情况下进行两两对比投票
LMSYS团队通常要求每个模型至少积累数千次对比投票才认为其Elo评分具有统计显著性
当对局样本量足够大时，Elo评分会收敛到最大似然估计值
还有 2 条时间轴事件
全部知识事实 (12)
Text Arena uses an Elo-like scoring mechanism to dynamically calculate comprehensive rankings based on head-to-head model competitions
85%待验证在主观性强的任务中，成对比较正逐渐取代绝对打分成为主流评测范式，其统计学结果可直接输入 Bradley-Terry 模型或 Elo 系统输出具有传递性的全局排名。
50%待验证Chatbot Arena 使用 Elo 评分系统将大量投票结果转化为模型排名，Elo 最初用于国际象棋。
50%待验证在盲测成对Elo研究中，PWM-WROP在延续式模型中排名第一，总排名第三，仅次于两个参考视频生成模型之间的统计平局。
50%待验证知识工作类基准通常基于 Elo 分制，用于衡量模型在代码审查、技术文档、系统设计等专业任务上的综合表现
50%待验证Code Arena是聚焦前端代码生成的对战竞技场，采用盲测用户投票产生Elo分数
50%待验证Chatbot Arena采用真实用户盲评对比，让用户同时与两个匿名模型对话并投票，通过Elo评分系统排名
50%待验证LMSYS Chatbot Arena是由UC Berkeley主导的评测平台，采用类似国际象棋的Elo评分制，让真实用户在不知道模型身份的情况下进行两两对比投票
50%待验证Elo系统假设能力是一维标量，无法反映模型在不同任务维度上的差异化表现，LMSYS后续引入了分类别排名机制来弥补这一不足
50%待验证当对局样本量足够大时，Elo评分会收敛到最大似然估计值
50%待验证Elo系统基于Bradley-Terry模型，假设选手A击败选手B的概率仅取决于两者评分之差，具体为logistic函数
50%待验证LMSYS团队通常要求每个模型至少积累数千次对比投票才认为其Elo评分具有统计显著性
50%