论文去污染数据集仍含52道HumanEval题:基准测试污染被低估
论文
Strife Technologies旗下trifero.ai实验室发布的关于代码基准测试数据污染问题的研究文章,发现标注为去污染的数据集仍包含52道HumanEval题目。
时间轴 (近 90 天)
10月1日
论文将研究定位为单实例案例研究,核心目的是建立一套区分猜想、数值验证与证明的可复现协议
待验证50%
Strife Technologies旗下trifero.ai实验室发布的关于代码基准测试数据污染问题的研究文章,发现标注为去污染的数据集仍包含52道HumanEval题目。
论文将研究定位为单实例案例研究,核心目的是建立一套区分猜想、数值验证与证明的可复现协议