基准
Program Bench
评估AI模型编程能力的基准测试,用于横向对比代码生成与编程任务表现。
时间轴 (近 90 天)
10月18日
DeepSeek V4.1 Flash 1017在Terminal Bench 4.0上从31.2升至42.3,Program Bench从20.2升至42.3,Agent's Last Exam从31.8升至35.4,Apex Bench从64.6升至72.1,Chartography从78.9升至83.0,Baby Vision从89.6升至92.5。
待验证50%
10月18日
Program Bench分数从20.3分升至29.1分,提升8.8分,使用的是'Almost'口径(9次测试中5次通过即算通过)。
待验证50%
10月18日
第三方用最严格的'Fully'口径测试9月版本时,Program Bench通过率仅为0.5%。
待验证50%
全部知识事实 (3)
待验证
DeepSeek V4.1 Flash 1017在Terminal Bench 4.0上从31.2升至42.3,Program Bench从20.2升至42.3,Agent's Last Exam从31.8升至35.4,Apex Bench从64.6升至72.1,Chartography从78.9升至83.0,Baby Vision从89.6升至92.5。
50%待验证Program Bench分数从20.3分升至29.1分,提升8.8分,使用的是'Almost'口径(9次测试中5次通过即算通过)。
50%待验证第三方用最严格的'Fully'口径测试9月版本时,Program Bench通过率仅为0.5%。
50%