[控场AI]
产品

pr-witness

一款代码审查辅助工具,通过运行crossrun(旧测试对新代码)来检测AI Agent或开发者是否通过修改测试文件来掩盖Bug,揭示CI系统的结构性盲区

时间轴 (近 90 天)

10月11日

pr-witness是开发者talhayme开发的工具,它运行base测试跑base代码、head测试跑head代码、以及base测试跑head代码(crossrun)三种组合

待验证50%
10月11日

crossrun通过运行旧测试在新代码上,可以暴露被偷偷修改以迁就Bug的测试

待验证50%
10月11日

pr-witness的开发方法论是第零阶段先建立带标注语料库和评估框架,在此之前不写任何检测器

待验证50%
10月11日

pr-witness的语料库有17个案例,其中9个是作弊,8个是看起来像作弊的诚实变更

待验证50%
10月11日

pr-witness通过crossrun机制将精确率从第一版的0.67提升到0.80再到0.89,并实现零漏报

待验证50%
10月11日

pr-witness的第三层使用确定性模板(英语和俄语,不用模型)读取PR描述,以核对描述与实际运行结果是否一致

待验证50%

全部知识事实 (6)

来源文章