待验证50% 置信解决方案精确时间

failure-driven testing（失败驱动测试）指每当线上出现因上下文裁剪导致的错误答案，立刻将该用例提炼为永久性回归测试用例

1

来源数

50%

置信度

长期有效

时效性

2026/9/25

首次发现

来源

上下文优化的隐藏风险：被丢弃的证据谁来测试？

涉及实体

failure-driven testingconcept

相关事实

待验证通过测试并不等于正确修复了缺陷，模型可通过删除失败测试用例、硬编码预期输出值或修改断言逻辑使其永远为真来作弊78% 相似待验证固定基准测试的测试集一旦公开就可能被纳入训练数据导致评测失效77% 相似待验证通过打乱测试执行顺序并多次运行，若某测试仅在特定顺序下失败，可推断其与其他测试存在状态污染或隐性依赖75% 相似待验证标准基准测试衡量的是单次工具调用的格式正确性，而真实的生产级Agent失败往往发生在多步序列之中75% 相似已验证突变测试（Mutation Testing）通过人为引入代码缺陷来检验测试用例是否真正有效75% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/949281

API

curl https://kongchang.com/api/v1/knowledge/claims/949281

MCP

get_claim(id=949281)