Zoroval
一家专注于LLMOps与AI编码质量保障的团队，开创了基于评估门禁替代人工代码审查的实践方法
时间轴 (近 90 天)
Zoroval团队数据显示智能体生成的PR中位数仅改动133行代码
大约每八个智能体变更中就有一个会改动超过1000行代码
7月13日Zoroval的裁判模型漏掉了所有已被人工确认的失败，运行1138次裁判调用，对黄金数据集中四个人工确认的失败全部回答否且未报任何错误
该事故的根因是上下文构造器的修改，而团队的评估只在模型或prompt模板变化时才触发，修改上下文构造器从不触发评估
Zoroval采用名为Intelligence Change Gate的评估门禁机制，分五步运作：声明受保护范围、对精确变更做指纹、要求匹配指纹的评估报告、让证据自动过期、保留可见的破窗式越权
Zoroval的staging分支上有43份评估报告，其中9个PR使用了所有者越权
Zoroval测试的一个便宜约六倍的裁判模型在同时包含正例和负例的评估通过后进入生产，将监控成本削减约83%
Zoroval的门禁分布在本地、PR、staging、生产四层，一个变更必须全部通过
全部知识事实 (8)
Zoroval的门禁分布在本地、PR、staging、生产四层，一个变更必须全部通过
50%待验证大约每八个智能体变更中就有一个会改动超过1000行代码
50%待验证Zoroval团队数据显示智能体生成的PR中位数仅改动133行代码
50%待验证该事故的根因是上下文构造器的修改，而团队的评估只在模型或prompt模板变化时才触发，修改上下文构造器从不触发评估
50%待验证Zoroval采用名为Intelligence Change Gate的评估门禁机制，分五步运作：声明受保护范围、对精确变更做指纹、要求匹配指纹的评估报告、让证据自动过期、保留可见的破窗式越权
50%待验证Zoroval的staging分支上有43份评估报告，其中9个PR使用了所有者越权
50%待验证Zoroval测试的一个便宜约六倍的裁判模型在同时包含正例和负例的评估通过后进入生产，将监控成本削减约83%
50%待验证7月13日Zoroval的裁判模型漏掉了所有已被人工确认的失败，运行1138次裁判调用，对黄金数据集中四个人工确认的失败全部回答否且未报任何错误
50%