[控场AI]
基准

Parsimony

开源基准测试项目,用于衡量AI模型在代码生成任务中实际新增的代码量,以代码增量作为独立评估维度

时间轴 (近 90 天)

10月13日

Parsimony是一个开源基准测试项目,核心目标是衡量AI模型在代码生成任务中实际新增的代码量。

待验证50%
10月13日

Parsimony在Hacker News上以Show HN形式发布。

已过期50%
10月13日

Parsimony把'代码增量'作为独立指标提出,使开发者能比较不同AI模型在完成相同任务时的代码增删倾向。

待验证50%
10月13日

Parsimony的评估维度与HumanEval、MBPP、SWE-bench等现有基准形成互补而非替代关系。

待验证50%
10月13日

Parsimony目前展示的信息量有限,其能否成为AI代码生成评估的标准工具取决于测试用例覆盖广度、评估方法严谨性和社区采纳程度。

待验证50%

全部知识事实 (4)

来源文章