LiveCodeBench
LiveCodeBench是一个面向大语言模型的编程能力综合评测基准，持续从LeetCode、AtCoder、CodeForces等主流编程竞赛平台收集题目，以避免模型对静态测试集的过拟合。该基准不仅评估代码生成能力，还涵盖代码修复、测试用例生成等多维度编程任务，旨在提供更动态、全面的模型编程能力评估方案。
核心事实
时间轴 (近 90 天)
IQ3S档位在GPQA Diamond上得92.93（BF16基线91.92），LiveCodeBench V6为86.86（对比87.43），三项任务平均93.26对93.12，体积不到BF16的四分之一（约22%）
学界和业界较为认可的代码能力基准包括 HumanEval、SWE-bench 和 LiveCodeBench，但这些基准尚未涵盖3D游戏生成这类综合性任务
2.0 的知识类能力下滑（MMLU-Pro 72.5 对比基础 78.5），竞赛级代码能力下降（LiveCodeBench 51 对比 56）
SWE-bench和LiveCodeBench是业界较为公认的代码大模型评测基准
LiveCodeBench采用时间截止策略，只使用模型训练截止日期之后发布的竞赛题来防止数据泄露
SWE-bench和LiveCodeBench等新型基准试图评估模型在真实场景中的能力，但仍无法完全覆盖工程复杂性
LiveCodeBench持续从LeetCode、Codeforces、AtCoder等竞赛平台抓取新题目以防止数据泄露
LiveCodeBench持续从LeetCode、Codeforces、AtCoder等竞赛平台抓取新题目以防止模型刷分，评测涵盖代码生成、自我修复、代码执行推理和测试输出预测四大维度
Qwen2.5-Max-0902在LiveCodeBench编程榜单以1691分登顶总榜第一
Qwen3 27B 在编程与智能体基准上表现为 SWE-bench Pro 61.7、Terminal-Bench 2.1 为 73.0、LiveCodeBench V6 为 90.3
还有 3 条时间轴事件
全部知识事实 (14)
评估编程大模型的主流基准包括HumanEval、MBPP、SWE-bench和LiveCodeBench
80%已验证Qwen3 27B在LiveCodeBench V6上取得90.3分，略超Opus 4.6 Max的88.8分
65%待验证LiveCodeBench持续从LeetCode、Codeforces、AtCoder等竞赛平台抓取新题目以防止模型刷分，评测涵盖代码生成、自我修复、代码执行推理和测试输出预测四大维度
60%待验证LiveCodeBench使用竞赛编程平台上持续更新的新题目来避免训练数据泄露问题
60%待验证SWE-bench评估模型解决真实GitHub issue的能力，LiveCodeBench使用竞赛编程题目防止数据泄露
60%待验证LiveCodeBench、EvoEval 等动态基准通过持续更新题库或实时生成变体题目来减少数据污染
60%待验证IQ3S档位在GPQA Diamond上得92.93（BF16基线91.92），LiveCodeBench V6为86.86（对比87.43），三项任务平均93.26对93.12，体积不到BF16的四分之一（约22%）
50%待验证学界和业界较为认可的代码能力基准包括 HumanEval、SWE-bench 和 LiveCodeBench，但这些基准尚未涵盖3D游戏生成这类综合性任务
50%待验证2.0 的知识类能力下滑（MMLU-Pro 72.5 对比基础 78.5），竞赛级代码能力下降（LiveCodeBench 51 对比 56）
50%待验证SWE-bench和LiveCodeBench是业界较为公认的代码大模型评测基准
50%待验证LiveCodeBench采用时间截止策略，只使用模型训练截止日期之后发布的竞赛题来防止数据泄露
50%待验证SWE-bench和LiveCodeBench等新型基准试图评估模型在真实场景中的能力，但仍无法完全覆盖工程复杂性
50%待验证LiveCodeBench持续从LeetCode、Codeforces、AtCoder等竞赛平台抓取新题目以防止数据泄露
50%待验证Qwen3 27B 在编程与智能体基准上表现为 SWE-bench Pro 61.7、Terminal-Bench 2.1 为 73.0、LiveCodeBench V6 为 90.3
50%