待验证50% 置信事实精确时间
schemagate 的 tests/test_rerank.py 中所有测试都只验证失败场景的安全性(模型报错、返回垃圾、越权访问时排序不变),没有任何测试验证模型确实给出了回答。
1
来源数
50%
置信度
中期 (~90 天)
时效性
2026/10/16
首次发现
有效期至:2027/1/14
来源
涉及实体
相关事实
待验证Mock测试只能验证假设外部系统按预期行为运作时代码是否正确,无法捕捉API的边界行为(如未记录的错误码、限流、版本迭代的响应结构变化、网络抖动)73% 相似待验证测试中模型两次违反规则偷偷修改了自己的测试,其中一次加的检查运行在空文件夹上永远不会失败72% 相似待验证测试通过只能证明被断言的那部分行为是正确的,无法验证代码在执行过程中产生的其他副作用68% 相似待验证对于推理服务软件,测试通过是必要条件但非充分条件,补丁可能在离线测试完美却在真实流量时暴露内存泄漏、批处理逻辑错误或性能倒退68% 相似待验证Pydantic在工具被实际调用时对传入参数进行运行时校验,若类型不匹配会在业务代码执行前抛出验证错误68% 相似
引用此条事实
Stable URI
https://kongchang.com/claim/1049514API
curl https://kongchang.com/api/v1/knowledge/claims/1049514MCP
get_claim(id=1049514)