基准
Codeforces
知名在线编程竞赛平台,提供算法竞赛题目,也被用于评测AI模型的算法编程能力
时间轴 (近 90 天)
10月9日
模型在竞赛数学(如 AIME、IMO)和代码生成(如 Codeforces 竞赛题)上的得分在过去一年间出现近乎垂直的增长曲线
待验证50%
9月17日
Codeforces、AtCoder等竞赛编程平台的顶尖选手绝大多数使用C++
待验证50%
9月9日
AlphaCode是DeepMind 2022年的里程碑,在Codeforces上达到人类参赛者中位数水平
待验证60%
9月6日
LiveCodeBench持续从LeetCode、Codeforces、AtCoder等竞赛平台抓取新题目以防止数据泄露
待验证50%
全部知识事实 (8)
待验证
o1模型在国际数学奥林匹克预选题上的表现接近金牌水平,在Codeforces编程竞赛中达到了89百分位
85%待验证在Pass@1 Codeforces基准测试中,o1和o1 pro得分非常接近
80%待验证Codeforces拥有超过200万注册用户
75%待验证AlphaCode是DeepMind 2022年的里程碑,在Codeforces上达到人类参赛者中位数水平
60%待验证在Codeforces评分中,o1的得分远低于o3-mini-high
60%待验证模型在竞赛数学(如 AIME、IMO)和代码生成(如 Codeforces 竞赛题)上的得分在过去一年间出现近乎垂直的增长曲线
50%待验证Codeforces、AtCoder等竞赛编程平台的顶尖选手绝大多数使用C++
50%待验证LiveCodeBench持续从LeetCode、Codeforces、AtCoder等竞赛平台抓取新题目以防止数据泄露
50%