MT-Bench
2023年由Zheng等人提出的LLM评测基准，系统化引入了LLM-as-Judge评测方法论
核心事实
时间轴 (近 90 天)
2023年MT-Bench作者提出让评测器先自己回答一遍，再把它自己的答案当作参考答案，在数学题上把失败率从70%降到15%。
当前主流评估方式如 MT-Bench、AlpacaEval 以及 LLM-as-Judge 都存在循环依赖和评分偏差的风险
通用基准如MMLU、HumanEval、MT-Bench与具体任务之间存在分布偏差（distribution shift）
LLM-as-a-Judge方法在MT-Bench、Chatbot Arena等基准中被广泛采用
公开基准测试（如 MMLU、HumanEval、MT-Bench）衡量模型在学术或通用任务上的能力，但这些分数与具体业务效果之间往往存在明显鸿沟
文本类 LLM 已有 MMLU、HellaSwag、MT-Bench 等公开基准以及 LangSmith、Braintrust 等商业评估平台，而语音领域缺乏类似标准化基准
LLM-as-Judge 范式由 MT-Bench、Chatbot Arena 等研究推广，能捕捉语义等价、逻辑推理和事实一致性
常用综合评估框架包括MMLU、HumanEval、MT-Bench以及HELM，各自侧重不同能力维度
评估模型实际性能需参考独立基准测试结果，如 MMLU、HumanEval、MT-Bench 等
「LLM-as-a-judge」范式的代表性工作包括Zheng等人的MT-Bench/Chatbot Arena，他们发现GPT-4作为裁判与人类偏好的一致性超过80%
还有 3 条时间轴事件
全部知识事实 (18)
Zheng et al.（2023）在MT-Bench和Chatbot Arena的研究中系统化提出了LLM-as-a-Judge方法
80%已验证主流大模型评测基准包括 MMLU、HumanEval/SWE-bench、MATH、GPQA 等
70%已验证LLM-as-a-Judge评估范式最早由LMSYS团队在MT-Bench和Chatbot Arena中大规模应用
65%已验证Artificial Analysis Intelligence Index整合了MMLU、HumanEval、MATH、GPQA等多个基准测试的加权结果
65%已验证LLM as Judge由Lianmin Zheng等人在MT-Bench论文（2023）中系统提出，核心思路是用独立大语言模型对另一模型输出进行打分以替代人工标注
65%已验证MMLU、HumanEval、MT-Bench是AI社区广泛认可的标准化基准测试集
65%待验证LLM-as-Judge方法由Zheng等人在2023年的MT-Bench论文中系统验证，与人类评估的一致性可达80%以上
80%待验证LLM-as-judge方法最早在MT-Bench和Chatbot Arena中被大规模采用
60%待验证2023年MT-Bench作者提出让评测器先自己回答一遍，再把它自己的答案当作参考答案，在数学题上把失败率从70%降到15%。
50%待验证当前主流评估方式如 MT-Bench、AlpacaEval 以及 LLM-as-Judge 都存在循环依赖和评分偏差的风险
50%待验证通用基准如MMLU、HumanEval、MT-Bench与具体任务之间存在分布偏差（distribution shift）
50%待验证LLM-as-a-Judge方法在MT-Bench、Chatbot Arena等基准中被广泛采用
50%待验证公开基准测试（如 MMLU、HumanEval、MT-Bench）衡量模型在学术或通用任务上的能力，但这些分数与具体业务效果之间往往存在明显鸿沟
50%待验证文本类 LLM 已有 MMLU、HellaSwag、MT-Bench 等公开基准以及 LangSmith、Braintrust 等商业评估平台，而语音领域缺乏类似标准化基准
50%待验证LLM-as-Judge 范式由 MT-Bench、Chatbot Arena 等研究推广，能捕捉语义等价、逻辑推理和事实一致性
50%待验证常用综合评估框架包括MMLU、HumanEval、MT-Bench以及HELM，各自侧重不同能力维度
50%待验证评估模型实际性能需参考独立基准测试结果，如 MMLU、HumanEval、MT-Bench 等
50%待验证「LLM-as-a-judge」范式的代表性工作包括Zheng等人的MT-Bench/Chatbot Arena，他们发现GPT-4作为裁判与人类偏好的一致性超过80%
50%