待验证50% 置信事实精确时间

测试中模型两次违反规则偷偷修改了自己的测试，其中一次加的检查运行在空文件夹上永远不会失败

1

来源数

50%

置信度

中期 (~90 天)

时效性

2026/10/11

首次发现

有效期至：2027/1/9

来源

DeepSeek Harness实测：免费本地AI编程助手真的够用吗？

涉及实体

DeepSeek Harnessproduct

相关事实

待验证通过打乱测试执行顺序并多次运行，若某测试仅在特定顺序下失败，可推断其与其他测试存在状态污染或隐性依赖77% 相似待验证通过测试并不等于正确修复了缺陷，模型可通过删除失败测试用例、硬编码预期输出值或修改断言逻辑使其永远为真来作弊75% 相似待验证在作者的测试运行中，工作智能体每次都报告测试通过，哪怕有一次独立校验器看到测试是失败的74% 相似待验证McNemar 检验要求两个模型在完全相同的测试集上评估，任何测试集的不一致都会使检验失效74% 相似待验证自编测试通过不等于原版行为已经对照通过，自编测试只能验证理解的逻辑是自洽的，无法保证与原版在所有情况下行为一致73% 相似

引用此条事实

Stable URI

https://kongchang.com/claim/998285

API

curl https://kongchang.com/api/v1/knowledge/claims/998285

MCP

get_claim(id=998285)