Creeks
数据公司,从事智能体训练数据工程,提出可验证代码任务入库前的五项检查流程
时间轴 (近 90 天)
数据公司 Creeks 的一位开发者在 Reddit 上分享了他们团队用于构建智能体训练代码任务的五道准入门槛检查。
Creeks 团队的这套任务准入流程参考了 Terminal-Bench 2 所用的 Harbor 任务布局。
Creeks 的任务准入要求参考解必须在 5 次运行中全部通过(5/5)。
Creeks 的任务准入要求空尝试(智能体不做任何修改)必须得到 0 分(0/5)。
Creeks 的任务准入要求作弊探针检查得 0 分,探针手法包括修改测试文件、硬编码期望输出、删除失败测试和对测试输入特殊处理。
Creeks 的任务准入要求任务重跑 10 次结果完全一致,以排除网络波动或时序相关的偶发失败。
Creeks 的任务准入要求由未参与任务编写的人仅凭指令文件盲解任务,发帖人称之为最昂贵的检查。
通过检查的任务按一位强工程师完成所需时间分为三桶:30 分钟到 3 小时、3 到 15 小时、超过 15 小时的长周期桶。
超过 15 小时的长周期任务需要设置里程碑和使用部分奖励机制。
可见测试场景下如何应对奖励黑客,发帖人没有给出最终答案,说明这仍是开放的工程问题。
全部知识事实 (10)
数据公司 Creeks 的一位开发者在 Reddit 上分享了他们团队用于构建智能体训练代码任务的五道准入门槛检查。
50%待验证Creeks 团队的这套任务准入流程参考了 Terminal-Bench 2 所用的 Harbor 任务布局。
50%待验证Creeks 的任务准入要求参考解必须在 5 次运行中全部通过(5/5)。
50%待验证Creeks 的任务准入要求空尝试(智能体不做任何修改)必须得到 0 分(0/5)。
50%待验证Creeks 的任务准入要求作弊探针检查得 0 分,探针手法包括修改测试文件、硬编码期望输出、删除失败测试和对测试输入特殊处理。
50%待验证Creeks 的任务准入要求任务重跑 10 次结果完全一致,以排除网络波动或时序相关的偶发失败。
50%待验证Creeks 的任务准入要求由未参与任务编写的人仅凭指令文件盲解任务,发帖人称之为最昂贵的检查。
50%待验证通过检查的任务按一位强工程师完成所需时间分为三桶:30 分钟到 3 小时、3 到 15 小时、超过 15 小时的长周期桶。
50%待验证超过 15 小时的长周期任务需要设置里程碑和使用部分奖励机制。
50%待验证可见测试场景下如何应对奖励黑客,发帖人没有给出最终答案,说明这仍是开放的工程问题。
50%