[控场AI]
概念Differential Testing

差分测试

软件测试方法,通过对两个不同实现同时输入相同测试用例并比对输出差异来发现错误,常用于编译器和解释器测试

时间轴 (近 90 天)

10月18日

差分测试中curl非零退出时用例应直接判失败,因为两个相同的错误在diff看来像是一致。

待验证50%
10月18日

信任diff之前应先让旧版本自己和自己比,以识别并消除归一化不足带来的噪音。

待验证50%
10月18日

差分测试的diff只覆盖录制的输入,用例文件中没有的场景(如多行发票)不会被检测到。

待验证50%
10月18日

有副作用的路径(如邮件、队列任务、支付、共享数据库写入)在差分测试中会在两侧各跑一次,需要隔离到假实现或独立副本。

待验证50%
10月14日

差分测试指用刻意变化的输入观察输出差异以反推系统不变量;等价类划分指把大量相似输入归为几类,只关注类别边界上的行为。

待验证50%
10月13日

差分测试(对照测试)构造仅在所属章节等单一维度不同的输入对,断言系统给出不同答案,比普通问答准确率测试更能暴露检索层面的系统性缺陷

待验证50%

全部知识事实 (6)

来源文章