基准
NL2Repo-Bench
衡量从自然语言规格生成可运行代码仓库能力的基准
时间轴 (近 90 天)
10月19日
在 ProgramBench、NL2Repo-Bench、Automation-Bench、Agents' Last Exam 四个基准上,V4.1 Flash 1017 得分分别为 29.1、68.2、60.5、35.4,均高于 V4 Pro 0813 的 15.5、61.5、43.2、25.7
待验证50%
衡量从自然语言规格生成可运行代码仓库能力的基准
在 ProgramBench、NL2Repo-Bench、Automation-Bench、Agents' Last Exam 四个基准上,V4.1 Flash 1017 得分分别为 29.1、68.2、60.5、35.4,均高于 V4 Pro 0813 的 15.5、61.5、43.2、25.7